A/B-Tests von Artikelüberschriften wirken. Sie machen aber nicht schlauer.

Im März berichtete der Programmierer und Blogger Tom Cleveland über seine Auswertung zum Thema 'Überschriften-Tests bei der NYT' ("How the New York Times A/B tests their headlines", ). Cleveland hatte dafür mit Hilfe einer Programmroutine zunächst alle Texte und Metadaten des Webangebotes der New York Times heruntergeladen und diese anschließend datanalytisch unter die Lupe genommen. Was er dabei herausfand, das war unter anderem, wie viel Aufwand die Renommierzeitung auf dieses Thema verwendet. Bei fast einem Drittel (29%) aller Artikel auf nyt.com fand er verschiedene Alternativüberschriften. In der Spitze hatte er zu einem einzigen Artikel nicht weniger als acht Artikelvarianten entdeckt. Je mehr Überschriften getestet wurden, desto höher war die Wahrscheinlichkeit, dass der betreffende Artikel auch in der 'Die populärsten Artikel'-Liste auftauchte, berichtet Cleveland in seinem Blogpost. Das könnte ein Zeichen dafür sein, dass die Tests zu mehr geklickten Artikeln geführt haben; es könnte aber auch nur eine Folge davon sein, dass bei populären Artikeln mehr getestet wird als bei weniger populären Beiträgen. Die Frage, ob die Tests ursächlich zu wirksamen Verbesserungen geführt haben, konnte Cleveland nicht beantworten. Was Cleveland glaubt