Coupon-A/B-Tests: Varianten sauber vergleichen
Ein Coupon-A/B-Test vergleicht zwei Varianten einer Kampagne unter sonst gleichen Bedingungen – eine Variable pro Test. So findest Du heraus, ob Prozent- oder Fixrabatt, welcher Mindestbestellwert oder welche Botschaft besser wirkt, statt es zu raten.
Was Du testen kannst
- Prozent versus fixer Rabatt bei gleichem rechnerischem Rabattwert,
- Mindestbestellwert: z. B. 60 € gegen 80 € Schwelle,
- Laufzeit: 7 gegen 14 Tage,
- Nachricht und CTA: Nutzenargument gegen Preisargument,
- Zielsegment: gleiche Mechanik in unterschiedlichen Segmenten.
Regeln für belastbare Tests
- Eine Variable pro Test. Wer Rabatt, Schwelle und Betreff gleichzeitig ändert, kann das Ergebnis keiner Ursache zuordnen.
- Zufällige Aufteilung. Segmente per Zufall zuweisen, nicht nach Alphabet, Region oder Kaufhistorie.
- Kontrollgruppe mitführen. Neben A und B eine Gruppe ohne Coupon – sonst weißt Du nur, welche Variante besser ist, nicht ob sich überhaupt eine lohnt (Incrementality).
- Vorab festlegen: Ziel-KPI (idealerweise Deckungsbeitrag, nicht nur Conversion), Mindestlaufzeit und benötigte Stichprobengröße.
- Nicht vorzeitig stoppen. Frühe Zwischenstände schwanken stark; wer beim ersten „Sieg“ stoppt, misst Rauschen.
- Saisonfaktoren beachten: Beide Varianten müssen im selben Zeitraum laufen; Vergleich über verschiedene Wochen ist kein A/B-Test.
Statistische Unsicherheit ehrlich behandeln
Kleine Stichproben liefern keine belastbaren Aussagen: Bei wenigen hundert Bestellungen pro Variante sind Unterschiede von wenigen Prozentpunkten meist nicht vom Zufall unterscheidbar. Wir berechnen bewusst keine „garantierte Signifikanz“ – ohne ausreichende Stichprobengröße und ein passendes Modell wäre jede solche Angabe Scheingenauigkeit. Als Faustregel gilt: Je kleiner der erwartete Effekt, desto größer die nötige Stichprobe; dokumentiere Annahmen und Ergebnis unabhängig vom Ausgang.
Struktur für Deine Tests: A/B-Test-Plan (Markdown). Ergebnisse fließen in den nächsten Durchlauf des C.O.U.P.O.N.-Zyklus.