---
title: A/B-Test
url: https://eom.de/glossar/ab-test/
anbieter: EOM, Effektiv Online-Marketing GmbH, Hannover
---

# A/B-Test

> Ein A/B-Test ist ein Experiment, bei dem Besucher zufällig auf zwei Varianten einer Webseite, Anzeige oder E-Mail verteilt werden. Gemessen wird, welche Variante ein vorher festgelegtes Ziel wie Anfragen oder Käufe besser erreicht und ob der Unterschied statistisch belastbar ist.

Ein Anbieter von Software für die Zeiterfassung bewirbt eine kostenlose Demo mit Google Ads. Die Anzeigen führen auf eine Landingpage, deren Formular acht Pflichtfelder abfragt. Rund 3 % der Besucher fordern die Demo an. Das Marketingteam vermutet, dass ein Formular mit drei Feldern mehr Anfragen bringt, und plant einen A/B-Test.

Vor dem Start rechnet das Team die Stichprobe aus. Um eine Steigerung von 3 auf 3,6 % zuverlässig zu erkennen, bräuchte jede Variante rund 14.000 Besucher. Bei 4.000 Besuchern im Monat liefe der Test sieben Monate. Das Team plant den Test deshalb auf einen größeren Effekt. Für eine Steigerung auf 4,5 % reichen rund 2.500 Besucher je Variante, beim gleichen Traffic also etwa sechs Wochen.

Zeigt der Test keinen signifikanten Unterschied, ist auch das ein Ergebnis. Das Team weiß dann, dass weniger Felder allein sehr wahrscheinlich keinen großen Sprung bringen, und sucht mit Nutzertests nach weiteren Gründen für Abbrüche.

## Wie funktioniert ein A/B-Test?

Ein A/B-Test teilt den Traffic per Zufall in zwei Gruppen. Die eine Gruppe sieht die bestehende Version A, die Kontrollversion, die andere die veränderte Version B. Verglichen wird, wie oft jede Gruppe das festgelegte Ziel erreicht, meist gemessen als [Conversion Rate](https://eom.de/glossar/conversion-rate/).

Weil der Zufall entscheidet, wer welche Variante sieht, verteilen sich Wochentage, Geräte und Herkunft der Besucher gleichmäßig auf beide Gruppen. Ein Unterschied im Ergebnis geht deshalb auf die Änderung zurück.

1. **Hypothese ableiten.** Sie stützt sich auf Daten, etwa aus der Formularanalyse: „Besucher brechen ab, weil das Formular zu viele Pflichtfelder hat.“
2. **Zielgröße, Stichprobe und Laufzeit festlegen**, bevor der Test startet.
3. **Variante B bauen.** Geändert wird ein Element oder eine zusammenhängende Idee, damit sich das Ergebnis eindeutig zuordnen lässt.
4. **Test laufen lassen**, bis die geplante Stichprobe erreicht ist, mindestens über volle Wochen.
5. **Auswerten und dokumentieren**, auch wenn Variante B nicht gewinnt.

## Wie viele Besucher braucht ein A/B-Test?

Eine feste Mindestzahl gibt es nicht. Die Stichprobe ergibt sich aus vier Werten, die vor dem Test feststehen: der bisherigen Conversion Rate, dem kleinsten Effekt, den der Test erkennen soll, dem Signifikanzniveau und der Teststärke.

- **Basisrate:** die bisherige Conversion Rate der Seite. Je niedriger sie ist, desto mehr Besucher braucht der Test.
- **Mindesteffekt:** der kleinste Unterschied, den der Test zuverlässig erkennen soll. Kleine Effekte verlangen deutlich größere Stichproben.
- **Signifikanzniveau:** das akzeptierte Risiko, einen Unterschied zu sehen, den es nicht gibt. Üblich sind 5 %.
- **Teststärke (Power):** die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu erkennen. Üblich sind 80 %.

Wie stark diese Werte die Stichprobe verändern, zeigt die Tabelle.

| Bisherige Conversion Rate | Ziel nach der Änderung | Besucher je Variante |
| --- | --- | --- |
| 2 % | 2,4 % (+20 %) | rund 21.100 |
| 3 % | 3,6 % (+20 %) | rund 13.900 |
| 5 % | 6,0 % (+20 %) | rund 8.200 |
| 3 % | 4,5 % (+50 %) | rund 2.500 |

Eigene Berechnung nach der Standardformel für den Vergleich zweier Anteile (zweiseitiger Test). Frei verfügbare Stichprobenrechner wie der von Evan Miller kommen auf vergleichbare Werte.

Ergibt die Rechnung eine Laufzeit von mehreren Monaten, ist ein A/B-Test für diese Seite nicht die richtige Methode.

## Wann lohnt sich ein A/B-Test und wann nicht?

Ein A/B-Test lohnt sich, wenn eine Seite genug Besucher und Conversions hat und eine konkrete Hypothese vorliegt. Typische Einsatzfelder sind Onlineshops, stark beworbene [Landingpages](https://eom.de/glossar/landingpage/), Anzeigentexte und Betreffzeilen von E-Mails.

Weniger geeignet ist ein A/B-Test in diesen Fällen:

- B2B-Seiten mit wenigen Anfragen im Monat, auf denen ein Test Monate bräuchte
- grundlegende Neugestaltungen, bei denen viele Elemente gleichzeitig wechseln
- Fragen nach dem Warum, die Nutzertests, Befragungen oder Sitzungsaufzeichnungen schneller beantworten

Viele Websites im B2B-Geschäft gehören zur ersten Gruppe. Dort finden qualitative Methoden die Gründe für Abbrüche oft schneller, und größere Änderungen lassen sich anschließend im Vorher-nachher-Vergleich beobachten. In der [Conversion-Optimierung](https://eom.de/online-marketing/cro/) wählen wir die Methode deshalb nach Traffic und Fragestellung.

## Welche Fehler verfälschen A/B-Tests?

- **Zu frühes Beenden:** Wer den Test stoppt, sobald ein Tool „signifikant“ meldet, erhöht das Risiko falscher Gewinner erheblich (Evan Miller). Die Stichprobe sollte vorher feststehen, oder der Test nutzt ein sequenzielles Verfahren, das Zwischenauswertungen einrechnet.
- **Zu viele Varianten oder Zielgrößen:** Mit jeder zusätzlichen Auswertung steigt die Wahrscheinlichkeit, einen Zufallstreffer für einen echten Effekt zu halten.
- **Ungleiche Aufteilung:** Erhält eine Variante deutlich weniger Besucher als geplant, deutet das auf einen technischen Fehler hin. Das Ergebnis ist dann nicht verwertbar.
- **Saison- und Kampagneneffekte:** Ein Test während einer Messe oder Rabattaktion lässt sich nicht auf normale Wochen übertragen.
- **Flackern:** Die Originalversion ist kurz sichtbar, bevor die Variante lädt. Besucher bemerken den Wechsel, und das verfälscht das Ergebnis.
- **Fehlende Dokumentation:** Ohne Protokoll gehen auch die Erkenntnisse aus Tests verloren, die keinen Gewinner hatten.

## Worin unterscheiden sich A/B-Test, Split-URL-Test und multivariater Test?

Die Begriffe werden oft vermischt. „Split-Test“ meint meist dasselbe wie A/B-Test, manchmal aber speziell den Split-URL-Test. Den Unterschied machen die Zahl der getesteten Elemente und der Ort, an dem die Varianten liegen.

| Methode | Was verglichen wird | Traffic-Bedarf | Geeignet für |
| --- | --- | --- | --- |
| A/B-Test | zwei Varianten derselben Seite mit einer zentralen Änderung | mittel | Überschrift, Formular, Button, Angebot |
| Split-URL-Test | zwei Seiten unter verschiedenen URLs | mittel | stark unterschiedliche Entwürfe, neue Seitenvorlagen |
| Multivariater Test | mehrere Elemente in allen Kombinationen, etwa drei Überschriften und zwei Bilder (sechs Varianten) | hoch | Seiten mit sehr viel Traffic |
| Nutzertest (Usability-Test) | Verhalten einzelner Personen bei konkreten Aufgaben | gering | Gründe für Abbrüche finden, Hypothesen entwickeln |

Wie ein Nutzertest abläuft und was er zeigt, erklärt unser Beitrag [Usability Test: Nutzerfreundlichkeit messen](https://eom.de/insights/usability-tests-nutzerfreundlichkeit-messen-zielgruppe-verstehen/).

## Was ist bei A/B-Tests für SEO zu beachten?

Google erlaubt A/B-Tests ausdrücklich und nennt vier Regeln, damit sie das Ranking nicht beeinträchtigen (Google Search Central).

- **Kein Cloaking:** Googlebot sieht dieselben Inhalte wie die Besucher.
- **rel="canonical":** Varianten unter eigenen URLs verweisen auf die Originalseite.
- **302-Weiterleitung:** Leitet der Test auf eine Variante weiter, ist die Weiterleitung als vorübergehend gekennzeichnet und nicht als dauerhafte 301.
- **Begrenzte Laufzeit:** Der Test läuft nur so lange wie nötig. Danach wird die bessere Version übernommen, und die Testvarianten verschwinden.

## Welche Tools gibt es für A/B-Tests?

Verbreitete Testing-Tools sind VWO, AB Tasty, Optimizely und Kameleoon. Matomo bietet A/B-Tests als kostenpflichtige Erweiterung an. Google Optimize hat Google am 30. September 2023 eingestellt.

Werbeplattformen testen direkt im Konto. Google Ads teilt bei Kampagnentests Traffic und Budget zwischen Originalkampagne und Testversion auf, und auch Meta bietet A/B-Tests für Anzeigen an. Viele E-Mail-Programme testen Betreffzeilen ohne Zusatztool.

## Verwandte Begriffe

- [Conversion Rate und Conversion-Optimierung (CRO)](https://eom.de/glossar/conversion-rate/)
- [Landingpage](https://eom.de/glossar/landingpage/)
- [Customer Journey](https://eom.de/glossar/customer-journey/)
- [Google Analytics 4 (GA4)](https://eom.de/glossar/google-analytics-4/)
- [Matomo](https://eom.de/glossar/matomo/)
- [SEA (Suchmaschinenwerbung)](https://eom.de/glossar/sea/)
- [Meta Ads](https://eom.de/glossar/meta-ads/)
- [CTR (Click-Through-Rate)](https://eom.de/glossar/ctr/)
- [Heatmap](https://eom.de/glossar/heatmap/)
- [Call to Action (CTA)](https://eom.de/glossar/call-to-action/)

## Quellen

- [Google Search Central: Minimize A/B testing impact in Google Search](https://developers.google.com/search/docs/crawling-indexing/website-testing)
- [Google Analytics Help: Sunset of Google Optimize (September 2023)](https://support.google.com/analytics/answer/12979939?hl=en)
- [Google Ads-Hilfe: Kampagnentests einrichten](https://support.google.com/google-ads/answer/6261395?hl=de)
- [Evan Miller: How Not To Run an A/B Test](https://www.evanmiller.org/how-not-to-run-an-ab-test.html)
- [Evan Miller: Sample Size Calculator](https://www.evanmiller.org/ab-testing/sample-size.html)
- [Matomo: Who is InnoCraft? (Premium-Funktionen inkl. A/B-Tests)](https://matomo.org/faq/new-to-piwik/who-is-innocraft/)

## Häufige Fragen

### Was ist ein A/B-Test?

Ein A/B-Test ist ein kontrolliertes Experiment. Besucher sehen per Zufall eine von zwei Varianten einer Seite, Anzeige oder E-Mail, und gemessen wird, welche Variante ein festgelegtes Ziel besser erreicht. Entscheidungen beruhen so auf dem Verhalten echter Besucher.

### Was ist der Unterschied zwischen A/B-Test und Split-Test?

Meist keiner, viele verwenden beide Begriffe gleichbedeutend. Manche meinen mit Split-Test aber speziell den Split-URL-Test, bei dem die Varianten unter verschiedenen URLs liegen. Er eignet sich, wenn sich die Entwürfe stark unterscheiden.

### Was kann man mit einem A/B-Test testen?

Überschriften, Formulare mit weniger Feldern, die Anordnung von Kundenstimmen, den Text auf einem Button oder die Bildsprache. Ebenso lassen sich Anzeigentexte, Preisdarstellungen im Shop und Betreffzeilen von E-Mails testen.

### Wie lange sollte ein A/B-Test laufen?

Bis die vorab berechnete Stichprobe erreicht ist, und mindestens über volle Wochen, damit sich Unterschiede zwischen Wochentagen ausgleichen. Ein Test sollte nicht enden, nur weil ein Tool zwischendurch ein signifikantes Ergebnis anzeigt. Sehr lange Laufzeiten sind ebenfalls ungünstig, weil sich Saison und Traffic-Mix ändern.

### Was bedeutet statistische Signifikanz bei A/B-Tests?

Ein Ergebnis gilt als statistisch signifikant, wenn ein so großer Unterschied kaum zu erwarten wäre, falls beide Varianten in Wahrheit gleich gut sind. Das Signifikanzniveau, meist 5 %, legt fest, wie hoch das Risiko eines solchen Fehlalarms sein darf. Ob der Unterschied wirtschaftlich relevant ist, sagt die Signifikanz nicht.

### Schaden A/B-Tests dem Google-Ranking?

Nein, wenn Sie die Empfehlungen von Google einhalten. Googlebot sieht dieselben Inhalte wie die Besucher, Varianten unter eigenen URLs verweisen per rel="canonical" auf das Original, Weiterleitungen sind 302-Weiterleitungen, und der Test endet, sobald das Ergebnis feststeht. Riskant sind vor allem Cloaking und Tests, die ohne Ende weiterlaufen.

### Kann man in Google Ads A/B-Tests durchführen?

Ja. Mit Kampagnentests teilt Google Ads Traffic und Budget zwischen der Originalkampagne und einer Testversion auf, etwa um eine andere Gebotsstrategie oder neue Anzeigentexte zu prüfen. Die Auswertung zeigt, ob der Unterschied statistisch signifikant ist.

### Was tun, wenn die Website zu wenig Traffic für A/B-Tests hat?

Dann sind Nutzertests, Befragungen, Heatmaps und Sitzungsaufzeichnungen meist der bessere Weg. Sie zeigen, warum Besucher zögern, und liefern schneller Ideen für Verbesserungen. Größere Änderungen können Sie anschließend im Vorher-nachher-Vergleich beobachten, der allerdings weniger belastbar ist als ein Test.