Faire de l'A/B testing sur une landing page avec peu de trafic

Calculez d'abord la taille d'échantillon

L'A/B testing sur une landing page commence par un petit calcul. Faites-le avant de toucher à quoi que ce soit. À 3 % de conversion, détecter un gain relatif de 20 % avec 95 % de confiance et 80 % de puissance demande environ 14 000 visiteurs par variante. Soit 28 000 visiteurs pour un seul test. Si votre landing page reçoit 2 000 visiteurs par mois, le test durerait plus d'un an. Le savoir dès le premier jour vous évite de lancer un test qui n'avait aucune chance d'aboutir.

Les gros changements demandent moins de trafic

Le même calcul joue en votre faveur quand le changement est important. Sur cette base de 3 %, détecter un passage à 4,5 % demande environ 2 500 visiteurs par variante. Montez à 6 % et il en faut seulement 750 environ. Un nouveau titre, une nouvelle offre et une page refaite peuvent déplacer le chiffre à ce point. La couleur d'un bouton, non. Le manque de trafic vous pousse à tester des pages entières l'une contre l'autre, et c'est de toute façon la question la plus utile.

Un seul A/B test à la fois

Quand le trafic est faible, le répartir sur trois variantes rend chaque groupe illisible. Lancez un test, puis le suivant. Faites tourner chaque test sur des semaines entières, parce que le trafic du mardi et celui du dimanche se ressemblent rarement. Deux à quatre semaines complètes lissent les jours de paie, les pics de campagne et le post viral inattendu. Quatre tests menés l'un après l'autre sur un trimestre valent mieux que quatre tests en parallèle qui finissent tous sans réponse.

Fixez la date de fin avant de commencer

Regarder les résultats tous les jours et arrêter dès qu'une variante touche 95 % est le meilleur moyen de se mentir à soi-même. Sur de petits échantillons, le bruit aléatoire franchit cette barre souvent, et arrêter là fige le bruit. Décidez la taille d'échantillon et la date de fin à l'avance. Notez les deux, et ne regardez pas la significativité avant d'y être arrivé. Si vous n'arrivez pas à résister, masquez le tableau de bord.

Suivez un événement qui se produit plus souvent

Les achats sont rares, donc ils mettent une éternité à devenir significatifs. Les événements plus haut dans le tunnel se déclenchent bien plus souvent : clics sur le CTA principal, formulaires commencés, vues de la section tarifs, lectures de la vidéo démo. Ils atteignent un échantillon lisible beaucoup plus vite. Prenez-les comme un signal et pas comme un verdict, parce qu'un titre peut faire monter les clics tout en faisant passer les mauvaises personnes. Confirmez avec le chiffre d'affaires du mois suivant.

Cinq tests utilisateurs valent mieux qu'un match nul

Quand le trafic ne tranche pas, demandez aux gens. Cinq sessions modérées avec des acheteurs qui correspondent à votre cible font ressortir les deux ou trois mêmes blocages, encore et encore. Les enregistrements de session montrent où le scroll s'arrête. Un sondage de sortie avec une seule question attrape l'objection à laquelle vous n'aviez pas pensé. Les notes d'appels commerciaux sont pleines des mots exacts que votre page devrait employer. Rien de tout cela ne demande de puissance statistique.

Tranchez au jugement quand le test ne décide pas

La plupart des tests à faible trafic finissent sans gagnant net, et c'est un résultat normal. N'étirez pas la durée jusqu'à ce que le chiffre penche de votre côté. Notez ce que vous avez appris, choisissez la version que vos éléments qualitatifs soutiennent, mettez-la en ligne et passez au test suivant. Sur un an, six réécritures de page bien choisies valent mieux que six mois passés à attendre un résultat qu'un échantillon de 1 200 visiteurs n'allait jamais donner.