Die praktische Wirksamkeit von A/B-Testing

A/B-Tests Tests können auch scheitern Tests können scheitern – Wie man Scheitern vermeidet A/B-Tests sind ein wirkmächtiges Optimierungs-Instrument; "wie Plutonium" zitieren wir dazu gerne den ehemaligen Test-Chef des Wall Street Journal. 'Verlässliche A/B-Tests' müsste es eigentlich heißen. Denn jeder, der sich ernsthaft mit diesem Thema beschäftigt, weiß, dass Tests auch scheitern können. Fehlerquellen sind z.B.: Fehler in der Testanlage und im -prozess Dabei ist gar nicht so klar, was 'scheitern' in diesem Zusammenhang bedeutet. Unzweifelhaft gescheitert sind Tests, die sich aufgrund eines Fehlers in der Testdurchführung nicht bewerten lassen. Ein Beispiel dafür haben wir zum Ende unsere Berichts über die wirksamsten drei A/B-Tests in der letzten Ausgabe vorgestellt: Datenfehler können dazu führen, dass sich Test- und Kontrollgruppe nicht sauber auseinanderhalten lassen. Möglich sind auch Fehler in der Maßnahmensteuerung, die dazu führen, dass Test- und Kontrollgruppe sich mehr als nur um die getestete Variable unterscheiden. Am gefährlichsten sind Fehler, die gar nicht auffallen wichtig: Warnsignale beachten, z.B. ungleich große A- und B-Gruppen Besonders gravierend sind Fehler, die gar nicht auffallen. Denn die führen womöglich zu Testergebnissen, die zwar nicht gültig sind,