कम traffic में landing page का A/B testing कैसे करें

सबसे पहले sample size निकालें

किसी landing page का A/B test थोड़े से हिसाब से शुरू होता है। कुछ भी बदलने से पहले नंबर निकाल लें। 3% conversion rate पर, 95% confidence और 80% power के साथ 20% relative lift पकड़ने के लिए हर variant पर करीब 14,000 visitors चाहिए। यानी एक test के लिए 28,000 visitors। अगर आपके landing page पर महीने के 2,000 visitors आते हैं, तो यह test साल भर से ज़्यादा चलेगा। यह बात पहले ही दिन पता हो, तो आप ऐसा test शुरू करने से बच जाते हैं जो कभी पूरा होना ही नहीं था।

बड़े बदलाव में traffic कम लगता है

बदलाव जितना बड़ा होगा, यही हिसाब उतना ही आपके हक़ में जाएगा। उसी 3% baseline पर, 4.5% तक की छलांग पकड़ने के लिए हर variant पर करीब 2,500 visitors लगते हैं। 6% तक ले जाइए तो सिर्फ़ 750 चाहिए। नया headline, नया offer और दोबारा बना हुआ page नंबर को इतना हिला सकते हैं। button का रंग नहीं हिला सकता। कम traffic आपको पूरे pages आमने-सामने test करने की तरफ़ धकेलता है, और असल में यही सवाल ज़्यादा काम का भी होता है।

एक बार में एक ही landing page A/B test चलाएँ

traffic कम हो और आप उसे तीन variants में बाँट दें, तो हर हिस्सा इतना कमज़ोर रह जाता है कि उससे कुछ पढ़ा ही नहीं जा सकता। एक test चलाएँ, फिर अगला। हर test को पूरे हफ़्तों में रखें, क्योंकि मंगलवार का traffic और रविवार का traffic एक जैसा नहीं होता। दो से चार पूरे हफ़्ते salary वाले दिन, campaign की उछाल और कोई इक्का-दुक्का viral post, सबका असर बराबर कर देते हैं। एक quarter में एक के बाद एक चले चार test उन चार tests से बेहतर हैं जो साथ-साथ चले और जिनका नतीजा साफ़ ही नहीं निकला।

शुरू करने से पहले ही end date तय कर लें

रोज़ नतीजे देखना और जिस पल कोई variant 95% छू ले, वहीं test रोक देना, खुद को धोखा देने का सबसे तेज़ तरीका है। छोटे sample पर random noise यह लाइन बार-बार पार करता है, और वहीं रोक देने से वही noise नतीजे में पक्का हो जाता है। sample size और end date पहले ही तय करें। दोनों लिखकर रखें, और वहाँ पहुँचने तक significance का नंबर न देखें। मन न माने तो dashboard ही छिपा दें।

ऐसी चीज़ track करें जो ज़्यादा बार होती है

purchase कम होते हैं, इसलिए significance तक पहुँचने में उन्हें बहुत लंबा समय लगता है। funnel में ऊपर के events कहीं ज़्यादा बार होते हैं: primary CTA के clicks, form शुरू करना, pricing section देखना, demo video चलाना। इनका पढ़ने लायक़ sample बहुत जल्दी बन जाता है। इन्हें इशारा मानें, फ़ैसला नहीं, क्योंकि कोई headline clicks तो बढ़ा सकता है और अंदर गलत लोगों को भेज सकता है। अगले महीने के revenue से इसकी पुष्टि करें।

बराबरी वाले नतीजे से बेहतर हैं पाँच user tests

जब traffic से सवाल हल न हो, तो लोगों से पूछ लें। अपने target से मिलते-जुलते पाँच buyers के साथ moderated sessions करें, वही दो-तीन अड़चनें बार-बार सामने आ जाएँगी। session recordings बताती हैं कि scroll कहाँ रुक जाता है। एक सवाल वाला exit survey वह objection पकड़ लेता है जो आपके दिमाग़ में कभी आया ही नहीं। sales calls के notes में ठीक वही शब्द भरे होते हैं जो आपके page पर होने चाहिए। इनमें से किसी को statistical power की ज़रूरत नहीं।

test फ़ैसला न दे पाए तो अपनी समझ पर ship करें

कम traffic वाले ज़्यादातर tests बिना किसी साफ़ winner के ख़त्म होते हैं, और यह सामान्य बात है। नंबर अपनी तरफ़ झुकने तक test को खींचते न रहें। जो सीखा वह लिख लें, qualitative सबूत जिस version के हक़ में हैं उसे चुनें, ship करें और अगले test पर चले जाएँ। साल भर में सोच-समझकर किए गए छह page rewrites उन छह महीनों से बेहतर रहेंगे जो ऐसे नतीजे का इंतज़ार करते बीते जो 1,200 visitors के sample से मिलने ही नहीं वाला था।