A/B-Testing einer Landing Page, wenn du wenig Traffic hast

Rechne zuerst die Stichprobengröße aus

A/B-Testing einer Landing Page fängt mit einer kurzen Rechnung an. Rechne nach, bevor du irgendetwas änderst. Bei einer Conversion Rate von 3 % brauchst du rund 14.000 Besucher pro Variante, um einen relativen Uplift von 20 % mit 95 % Konfidenz und 80 % Power zu erkennen. Das sind 28.000 Besucher für einen einzigen Test. Wenn deine Landing Page 2.000 Besucher im Monat bekommt, läuft der Test über ein Jahr. Wer das an Tag eins weiß, startet keinen Test, der nie fertig geworden wäre.

Große Änderungen brauchen weniger Traffic

Dieselbe Rechnung arbeitet für dich, sobald die Änderung groß ist. Auf derselben Basis von 3 % reichen rund 2.500 Besucher pro Variante, um einen Sprung auf 4,5 % zu erkennen. Bei 6 % sind es nur noch etwa 750. Eine neue Headline, ein neues Angebot und eine neu gebaute Seite bewegen die Zahl in dieser Größenordnung. Eine Button-Farbe schafft das nicht. Wenig Traffic drängt dich dazu, ganze Seiten gegeneinander zu testen, und das ist meistens sowieso die nützlichere Frage.

Immer nur ein A/B-Test auf der Landing Page

Wenn der Traffic dünn ist und du ihn auf drei Varianten aufteilst, wird jeder Arm zu schwach zum Ablesen. Mach einen Test, dann den nächsten. Lass jeden Test über volle Wochen laufen, denn Dienstags-Traffic und Sonntags-Traffic verhalten sich selten gleich. Zwei bis vier komplette Wochen glätten Zahltag, Kampagnenspitzen und den einen Post, der plötzlich viral geht. Vier Tests nacheinander über ein Quartal schlagen vier parallele Tests, die am Ende alle unklar sind.

Leg das Enddatum fest, bevor du startest

Jeden Tag ins Ergebnis schauen und abbrechen, sobald eine Variante 95 % erreicht, ist der schnellste Weg, dich selbst zu täuschen. Bei kleinen Stichproben reißt zufälliges Rauschen diese Grenze ständig, und wer da stoppt, friert das Rauschen ein. Leg Stichprobengröße und Enddatum vorher fest. Schreib beides auf und schau bis dahin nicht auf die Signifikanz. Wenn du der Versuchung nicht widerstehst, blende das Dashboard aus.

Miss etwas, das häufiger passiert

Käufe sind selten, deshalb dauert es ewig, bis sie signifikant werden. Events weiter oben im Funnel feuern viel öfter: Klicks auf den Haupt-CTA, gestartete Formulare, Aufrufe des Preisbereichs, gestartete Demo-Videos. Die erreichen eine lesbare Stichprobe deutlich früher. Behandle sie als Signal und nicht als Urteil, denn eine Headline kann Klicks heben und trotzdem die falschen Leute durchschicken. Prüf im Monat danach gegen den Umsatz.

Fünf Nutzertests schlagen ein Unentschieden

Wenn der Traffic die Frage nicht klärt, frag Menschen. Fünf moderierte Sessions mit Käufern aus deiner Zielgruppe bringen immer wieder dieselben zwei, drei Blocker hoch. Session Recordings zeigen dir, wo das Scrollen aufhört. Eine Exit-Umfrage mit einer einzigen Frage fängt den Einwand ein, an den du nie gedacht hast. In den Notizen deiner Sales Calls stehen genau die Wörter, die auf deine Seite gehören. Nichts davon braucht statistische Power.

Entscheide nach Urteil, wenn der Test es nicht kann

Die meisten Tests mit wenig Traffic enden ohne klaren Gewinner, und das ist ein ganz normales Ergebnis. Zieh die Laufzeit nicht so lange, bis die Zahl in deine Richtung kippt. Schreib auf, was du gelernt hast, nimm die Version, für die deine qualitativen Belege sprechen, stell sie live und geh zum nächsten Test. Über ein Jahr gerechnet schlagen sechs gut gewählte Rewrites einer Seite sechs Monate Warten auf ein Ergebnis, das eine Stichprobe von 1.200 Besuchern nie hergegeben hätte.