トラフィックが少ないときのランディングページA/Bテスト

まず必要なサンプル数を計算する

ランディングページのA/Bテストは、ちょっとした計算から始まります。何かを変える前に、先に数字を出してください。コンバージョン率が3%のとき、20%の相対的な改善を有意水準95%、検出力80%で見つけるには、1パターンあたり約14,000人の訪問者が必要です。テスト1本で28,000人ということです。そのページの訪問者が月2,000人なら、テストは1年以上かかります。これを初日に知っておけば、最初から終わるはずのなかったテストを避けられます。

変更が大きいほど、必要なトラフィックは減る

同じ計算は、変更が大きいときには味方になります。ベースラインが3%なら、4.5%への上昇を見つけるのに必要なのは1パターンあたり約2,500人です。6%まで上げるなら約750人で足ります。見出しを変える、オファーを変える、ページ全体を作り直す。ここまでやれば数字はそれだけ動きます。ボタンの色では動きません。トラフィックが少ないと、自然とページ全体どうしを比べるテストになります。そして多くの場合、そちらのほうが本当に知りたい問いです。

LPのA/Bテストは1度に1本だけ

トラフィックが細いのに3パターンに分けると、どのパターンも読めないほど薄くなります。1本終わらせてから、次の1本へ。期間は必ず週単位で区切ってください。火曜日の訪問者と日曜日の訪問者は、まず同じ動きをしません。2週間から4週間をまるごと回せば、給料日、広告の山、たまたま伸びた投稿もならされます。四半期のあいだに4本を順番に回すほうが、4本を同時に回して全部あいまいに終わるより結果が出ます。

始める前に終了日を決める

毎日結果をのぞいて、どちらかが95%に届いた瞬間に止める。これが自分をだます一番早い方法です。サンプルが小さいうちは、ただのノイズがその線をしょっちゅう越えます。そこで止めれば、ノイズをそのまま結論にしてしまいます。サンプル数と終了日は先に決めてください。両方を書き出して、その日が来るまで有意差の数字は見ない。我慢できないなら、ダッシュボードを閉じておきましょう。

もっと頻繁に起きる指標を追う

購入はめったに起きないので、有意差が出るまでいつまでもかかります。ファネルの上のほうにある行動は、はるかに多く発生します。メインCTAのクリック、フォームの入力開始、料金セクションの表示、デモ動画の再生です。こうした指標なら、読めるだけのサンプルがずっと早くたまります。ただし判定ではなく、手がかりとして扱ってください。見出しを変えるとクリックは増えても、通ってくる人の質が下がることがあります。翌月の売上で答え合わせをしましょう。

引き分けの結果より、5人のユーザーテスト

トラフィックで決着がつかないなら、人に聞いてください。ターゲットに合う見込み客5人に立ち会い形式でテストすれば、同じ2つ3つのつまずきが何度も出てきます。セッション録画を見れば、スクロールがどこで止まるか分かります。設問1つの離脱アンケートは、思いつきもしなかった反論を拾ってくれます。商談メモには、ページに載せるべき言葉がそのまま並んでいます。どれも統計的な検出力はいりません。

テストで決まらないときは、判断で出す

トラフィックが少ないテストは、はっきりした勝者が出ないまま終わることがほとんどです。これは普通の結果です。数字が自分に傾くまで期間を延ばすのはやめましょう。分かったことを書き出し、定性的な材料が支持するほうを選び、公開して、次のテストに移る。1年で見れば、よく考えて書き直した6本のページのほうが、1,200人のサンプルでは出るはずのない結果を半年待つより成果が出ます。