A/B test su una landing page quando hai poco traffico

Calcola prima la dimensione del campione

Un A/B test su una landing page parte da due conti. Falli prima di toccare qualsiasi cosa. Con un tasso di conversione del 3%, per vedere un aumento relativo del 20% con il 95% di confidenza e l'80% di potenza servono circa 14.000 visitatori per variante. Sono 28.000 visitatori per un test solo. Se la tua landing page riceve 2.000 visitatori al mese, il test durerebbe più di un anno. Saperlo il primo giorno ti evita un test che non sarebbe mai arrivato in fondo.

I cambiamenti grandi richiedono meno traffico

Lo stesso calcolo gioca a tuo favore quando il cambiamento è grosso. Su quella base del 3%, per vedere un salto al 4,5% servono circa 2.500 visitatori per variante. Portalo al 6% e ne bastano circa 750. Un titolo nuovo, un'offerta nuova e una pagina rifatta possono spostare il numero di tanto. Il colore di un pulsante no. Il traffico basso ti spinge a testare pagine intere una contro l'altra, e di solito è comunque la domanda più utile.

Un A/B test alla volta sulla landing page

Quando il traffico è poco, dividerlo su tre varianti lascia ogni braccio troppo debole da leggere. Fai un test, poi il successivo. Lascia che ogni test copra settimane intere, perché il traffico del martedì e quello della domenica raramente si somigliano. Da due a quattro settimane piene livellano il giorno di paga, i picchi delle campagne e il post virale capitato per caso. Quattro test fatti uno dopo l'altro in un trimestre battono quattro test in parallelo che finiscono tutti nel dubbio.

Scegli la data di fine prima di partire

Controllare i risultati ogni giorno e fermarsi appena una variante tocca il 95% è il modo più veloce per prendersi in giro da soli. Sui campioni piccoli il rumore casuale supera quella soglia spesso, e fermarsi lì lo congela dentro il risultato. Decidi in anticipo la dimensione del campione e la data di fine. Scrivile tutte e due e non guardare il numero della significatività finché non ci arrivi. Se non resisti, nascondi la dashboard.

Misura qualcosa che succede più spesso

Gli acquisti sono rari, quindi ci mettono un'eternità ad arrivare alla significatività. Gli eventi più in alto nel funnel scattano molto più spesso: clic sulla CTA principale, form iniziati, visualizzazioni della sezione prezzi, play sul video demo. Quelli raggiungono un campione leggibile molto prima. Trattali come un segnale e non come un verdetto, perché un titolo può alzare i clic e mandare dentro comunque le persone sbagliate. Conferma con il fatturato del mese successivo.

Cinque test con gli utenti battono un pareggio

Quando il traffico non chiude la questione, chiedi alle persone. Cinque sessioni moderate con acquirenti in target fanno uscire gli stessi due o tre blocchi, una volta dopo l'altra. Le registrazioni di sessione ti mostrano dove si ferma lo scroll. Un sondaggio di uscita con una domanda sola intercetta l'obiezione a cui non avevi pensato. Gli appunti delle chiamate di vendita sono pieni delle parole esatte che dovrebbe usare la tua pagina. Niente di tutto questo ha bisogno di potenza statistica.

Quando il test non decide, decidi tu

La maggior parte dei test con poco traffico finisce senza un vincitore chiaro, ed è un esito normale. Evita di allungare la corsa finché il numero non gira dalla tua parte. Scrivi cosa hai imparato, scegli la versione che le prove qualitative sostengono, pubblicala e passa al test dopo. Nell'arco di un anno, sei riscritture di pagina scelte bene battono sei mesi passati ad aspettare un risultato che un campione da 1.200 visitatori non ti avrebbe mai dato.