Teste A/B em landing page quando você tem pouco tráfego

Calcule o tamanho da amostra antes

Todo teste A/B em landing page começa com uma conta rápida. Faça os números antes de mudar qualquer coisa. Com uma taxa de conversão de 3%, detectar um ganho relativo de 20% com 95% de confiança e 80% de poder exige cerca de 14.000 visitantes por variante. São 28.000 visitantes para um teste só. Se a sua landing page recebe 2.000 visitantes por mês, o teste levaria mais de um ano. Saber disso no primeiro dia evita um teste que nunca ia terminar.

Mudanças grandes precisam de menos tráfego

A mesma conta joga a seu favor quando a mudança é grande. Sobre a mesma base de 3%, detectar um salto para 4,5% exige cerca de 2.500 visitantes por variante. Para chegar a 6%, bastam uns 750. Um novo título, uma nova oferta e uma página refeita movem o número nessa escala. A cor de um botão não move. Pouco tráfego empurra você a testar páginas inteiras uma contra a outra, e essa costuma ser a pergunta mais útil de qualquer jeito.

Rode um teste A/B por vez

Quando o tráfego é curto, dividir esse tráfego entre três variantes deixa todos os braços fracos demais para ler. Rode um teste, depois o próximo. Deixe cada teste cobrir semanas inteiras, porque o tráfego de terça e o de domingo raramente se comportam igual. De duas a quatro semanas cheias diluem o dia de pagamento, os picos de campanha e aquele post que viralizou. Quatro testes em sequência ao longo de um trimestre valem mais do que quatro em paralelo que terminam todos sem resposta.

Escolha a data de encerramento antes de começar

Olhar o resultado todo dia e parar no instante em que uma variante bate 95% é o jeito mais rápido de se enganar. Em amostras pequenas, o ruído aleatório cruza essa linha o tempo todo, e parar ali congela o ruído. Defina o tamanho da amostra e a data de fim logo no começo. Anote os dois e não olhe o número de significância até chegar lá. Se não conseguir resistir, esconda o painel.

Meça algo que acontece com mais frequência

Compras são raras, então demoram uma eternidade para alcançar significância. Os eventos mais no topo do funil disparam muito mais: cliques no CTA principal, formulários iniciados, visualizações da seção de preços, plays no vídeo de demonstração. Esses chegam a uma amostra legível bem antes. Trate como sinal, e não como veredito, porque um título pode aumentar cliques e ainda assim mandar as pessoas erradas adiante. Confirme com a receita do mês seguinte.

Cinco testes com usuários valem mais que um empate

Quando o tráfego não resolve a pergunta, pergunte para as pessoas. Cinco sessões moderadas com compradores do seu perfil revelam os mesmos dois ou três bloqueios várias vezes. As gravações de sessão mostram onde a rolagem para. Uma pesquisa de saída com uma pergunta só captura a objeção que você nunca imaginou. As anotações das ligações de vendas estão cheias das palavras exatas que a sua página deveria usar. Nada disso precisa de poder estatístico.

Decida no seu critério quando o teste não decide

A maioria dos testes com pouco tráfego termina sem vencedor claro, e isso é um desfecho normal. Evite esticar a rodada até o número pender para o seu lado. Anote o que você aprendeu, escolha a versão que a sua evidência qualitativa sustenta, publique e vá para o próximo teste. Ao longo de um ano, seis páginas bem reescritas valem mais do que seis meses esperando um resultado que uma amostra de 1.200 visitantes nunca ia dar.