A/B-Test

Wie funktioniert ein A/B-Test?

Ein A/B-Test teilt den Traffic per Zufall in zwei Gruppen. Die eine Gruppe sieht die bestehende Version A, die Kontrollversion, die andere die veränderte Version B. Verglichen wird, wie oft jede Gruppe das festgelegte Ziel erreicht, meist gemessen als Conversion Rate.

Weil der Zufall entscheidet, wer welche Variante sieht, verteilen sich Wochentage, Geräte und Herkunft der Besucher gleichmäßig auf beide Gruppen. Ein Unterschied im Ergebnis geht deshalb auf die Änderung zurück.

1. Hypothese ableiten. Sie stützt sich auf Daten, etwa aus der Formularanalyse: „Besucher brechen ab, weil das Formular zu viele Pflichtfelder hat.“
2. Zielgröße, Stichprobe und Laufzeit festlegen, bevor der Test startet.
3. Variante B bauen. Geändert wird ein Element oder eine zusammenhängende Idee, damit sich das Ergebnis eindeutig zuordnen lässt.
4. Test laufen lassen, bis die geplante Stichprobe erreicht ist, mindestens über volle Wochen.
5. Auswerten und dokumentieren, auch wenn Variante B nicht gewinnt.

Wie viele Besucher braucht ein A/B-Test?

Eine feste Mindestzahl gibt es nicht. Die Stichprobe ergibt sich aus vier Werten, die vor dem Test feststehen: der bisherigen Conversion Rate, dem kleinsten Effekt, den der Test erkennen soll, dem Signifikanzniveau und der Teststärke.

• Basisrate: die bisherige Conversion Rate der Seite. Je niedriger sie ist, desto mehr Besucher braucht der Test.
• Mindesteffekt: der kleinste Unterschied, den der Test zuverlässig erkennen soll. Kleine Effekte verlangen deutlich größere Stichproben.
• Signifikanzniveau: das akzeptierte Risiko, einen Unterschied zu sehen, den es nicht gibt. Üblich sind 5 %.
• Teststärke (Power): die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu erkennen. Üblich sind 80 %.

Wie stark diese Werte die Stichprobe verändern, zeigt die Tabelle.

Eigene Berechnung nach der Standardformel für den Vergleich zweier Anteile (zweiseitiger Test). Frei verfügbare Stichprobenrechner wie der von Evan Miller kommen auf vergleichbare Werte.

Ergibt die Rechnung eine Laufzeit von mehreren Monaten, ist ein A/B-Test für diese Seite nicht die richtige Methode.

Wann lohnt sich ein A/B-Test und wann nicht?

Ein A/B-Test lohnt sich, wenn eine Seite genug Besucher und Conversions hat und eine konkrete Hypothese vorliegt. Typische Einsatzfelder sind Onlineshops, stark beworbene Landingpages, Anzeigentexte und Betreffzeilen von E-Mails.

Weniger geeignet ist ein A/B-Test in diesen Fällen:

• B2B-Seiten mit wenigen Anfragen im Monat, auf denen ein Test Monate bräuchte
• grundlegende Neugestaltungen, bei denen viele Elemente gleichzeitig wechseln
• Fragen nach dem Warum, die Nutzertests, Befragungen oder Sitzungsaufzeichnungen schneller beantworten

Viele Websites im B2B-Geschäft gehören zur ersten Gruppe. Dort finden qualitative Methoden die Gründe für Abbrüche oft schneller, und größere Änderungen lassen sich anschließend im Vorher-nachher-Vergleich beobachten. In der Conversion-Optimierung wählen wir die Methode deshalb nach Traffic und Fragestellung.

Welche Fehler verfälschen A/B-Tests?

• Zu frühes Beenden: Wer den Test stoppt, sobald ein Tool „signifikant“ meldet, erhöht das Risiko falscher Gewinner erheblich (Evan Miller). Die Stichprobe sollte vorher feststehen, oder der Test nutzt ein sequenzielles Verfahren, das Zwischenauswertungen einrechnet.
• Zu viele Varianten oder Zielgrößen: Mit jeder zusätzlichen Auswertung steigt die Wahrscheinlichkeit, einen Zufallstreffer für einen echten Effekt zu halten.
• Ungleiche Aufteilung: Erhält eine Variante deutlich weniger Besucher als geplant, deutet das auf einen technischen Fehler hin. Das Ergebnis ist dann nicht verwertbar.
• Saison- und Kampagneneffekte: Ein Test während einer Messe oder Rabattaktion lässt sich nicht auf normale Wochen übertragen.
• Flackern: Die Originalversion ist kurz sichtbar, bevor die Variante lädt. Besucher bemerken den Wechsel, und das verfälscht das Ergebnis.
• Fehlende Dokumentation: Ohne Protokoll gehen auch die Erkenntnisse aus Tests verloren, die keinen Gewinner hatten.

Worin unterscheiden sich A/B-Test, Split-URL-Test und multivariater Test?

Die Begriffe werden oft vermischt. „Split-Test“ meint meist dasselbe wie A/B-Test, manchmal aber speziell den Split-URL-Test. Den Unterschied machen die Zahl der getesteten Elemente und der Ort, an dem die Varianten liegen.

Wie ein Nutzertest abläuft und was er zeigt, erklärt unser Beitrag Usability Test: Nutzerfreundlichkeit messen.

Was ist bei A/B-Tests für SEO zu beachten?

Google erlaubt A/B-Tests ausdrücklich und nennt vier Regeln, damit sie das Ranking nicht beeinträchtigen (Google Search Central).

• Kein Cloaking: Googlebot sieht dieselben Inhalte wie die Besucher.
• rel=“canonical“: Varianten unter eigenen URLs verweisen auf die Originalseite.
• 302-Weiterleitung: Leitet der Test auf eine Variante weiter, ist die Weiterleitung als vorübergehend gekennzeichnet und nicht als dauerhafte 301.
• Begrenzte Laufzeit: Der Test läuft nur so lange wie nötig. Danach wird die bessere Version übernommen, und die Testvarianten verschwinden.

Welche Tools gibt es für A/B-Tests?

Verbreitete Testing-Tools sind VWO, AB Tasty, Optimizely und Kameleoon. Matomo bietet A/B-Tests als kostenpflichtige Erweiterung an. Google Optimize hat Google am 30. September 2023 eingestellt.

Werbeplattformen testen direkt im Konto. Google Ads teilt bei Kampagnentests Traffic und Budget zwischen Originalkampagne und Testversion auf, und auch Meta bietet A/B-Tests für Anzeigen an. Viele E-Mail-Programme testen Betreffzeilen ohne Zusatztool.