“Sie glauben also, Sie wüssten, wie man testet?”

A/B vs. A/A-Tests … das fragt der holländische Testexperte Lukas Vermeer provokativ und lädt ein, sich in einem von ihm programmierten Onlinespiel der Herausforderung zu stellen, unter hohem Zeitdruck acht simulierte Tests danach zu bewerten, ob die Unterschiede zwischen zwei Gruppen unter Berücksichtigung des Effektunterschiedes ("Sales") und der Gruppengrößen signifikant sind oder nur zufällig (A/A-Test) . Im Stil eines Automatenspiels wird die [pvd: von Anfang an etwas übertriebene] Herausforderung im Spielverlauf immer größer, weil die Abstände zwischen den beiden A/B-Testgruppen immer kleiner und damit weniger augenfällig werden.

Themengebiete

Analysen und Daten