Signifikanz berechnen: A/B-Test-Rechner für statistische Signifikanz

Statistische Signifikanz ist bei A/B-Tests entscheidend, denn sie ist Zeichen dafür, ob die Ergebnisse gesichert oder zufällig entstanden sind. 

Mit dem obigen AB-Test-Rechner von SurveyMonkey erhalten Sie problemlos Ihre Antworten.

In A/B-Tests wird die Wirkung zweier Versionen beispielsweise von Produktkonzepten oder Anzeigen verglichen, um zu ermitteln, welche Variante bei der Zielgruppe besser ankommt.

Forschergruppen, CX-Profis und Marketingfachleute testen mit A/B-Tests, wie kleine Änderungen aufgenommen werden. Dies könnte beispielsweise eine neue Schaltfläche auf Ihrer Website sein oder eine Designänderung der Startseite. Die Tests liefern direktes Feedback und beeinflussen die Entscheidung darüber, welche Variante letztendlich verwendet wird. 

In A/B-Tests wird durch die statistische Signifikanz die Wahrscheinlichkeit von Unterschieden gemessen, die zwischen der Kontrollversion und der Testversion tatsächlich bestehen und nicht durch Fehler oder Zufall entstanden sind.

Wenn Sie beispielsweise einen Test mit einem Signifikanzniveau von 95 % durchführen, können Sie zu 95 % sicher sein, dass die Unterschiede real sind.

Anhand der statistischen Signifikanz wird beobachtet, wie sich die Tests auf Ihre Konversionsraten auswirken. In Umfragen dient die statistische Signifikanz dazu aufzuzeigen, inwieweit Sie den gewonnenen Resultate vertrauen können. 

Angenommen, Sie möchten von Ihren Befragten wissen, ob sie Anzeigenkonzept A oder Anzeigenkonzept B bevorzugen würden. Anhand der Ergebnisse möchten Sie entscheiden, welche der Anzeigen Sie am Ende einsetzen. Dann sollten Sie gewährleisten, dass die Unterschiede in den Ergebnissen statistisch signifikant sind.

Als Erstes müssen Sie eine Hypothese aufstellen. Bei jedem Versuch gibt es eine Nullhypothese, die besagt, dass es keine Beziehung zwischen den beiden Dingen gibt, die Sie miteinander vergleichen, und es gibt eine Alternativhypothese.

Die Alternativhypothese versucht typischerweise nachzuweisen, dass es eine Beziehung gibt. Dies ist die Aussage, die Sie zu belegen versuchen. 

So könnten zum Beispiel die Hypothesen für einen A/B-Test im Hinblick auf die Konversionsrate so aussehen:

Nach dem Formulieren von Null- und Alternativhypothese führen Statistiker gelegentlich Tests durch, um zu gewährleisten, dass ihre Hypothesen solide sind.

Der z-Wert steht dabei für das Konfidenzniveau und bewertet die Gültigkeit Ihrer Nullhypothese. Anhand dieses Werts können Sie feststellen, ob es tatsächlich keine Beziehung zwischen den Dingen gibt, die Sie miteinander vergleichen. Und der p-Wert teilt Ihnen mit, ob der Nachweis für den Beleg Ihrer Alternativhypothese stark ist.

In diesem Schritt legen Sie fest, ob Sie einen einseitigen oder zweiseitigen Test durchführen. Bei einem einseitigen Test wird davon ausgegangen, dass Ihre Alternativhypothese eine einseitige (bspw. positive) Auswirkung hat, während bei einem zweiseitigen Test berücksichtigt wird, dass Ihre Hypothese einen zweiseitigen Effekt (bspw. sowohl negativ als auch positiv) auf Ihre Resultate haben kann.

Im oben genannten Beispiel des A/B-Tests im Hinblick auf die Konversionsrate könnte der Test so aussehen:

In diesem Schritt erfassen Sie die Ergebnisse aus Ihrem A/B-Test. Dazu gehören die relevanten Kennzahlen für die Kontrollversion (A) und die Testversion (B). 

In unserem Beispiel könnten die Ergebnisse des A/B-Tests so aussehen: 

In diesem Schritt ermitteln Sie den z-Wert. Er misst, wie sich die beobachteten Ergebnisse von der Nullhypothese unterscheiden, und bestimmt dadurch, ob der Unterschied zwischen A und B statistisch signifikant ist. 

Anschließend berechnen Sie den p-Wert. Dieser gibt die Wahrscheinlichkeit an, mit der der beobachtete Unterschied zufällig entstanden ist. Ein kleiner p-Wert ist ein starker Hinweis darauf, dass die Nullhypothese verworfen werden kann. 

In unserem Beispiel:

Dafür muss zunächst ein Signifikanzniveau (alpha) festgelegt werden. In der Regel wird dies auf 0,05 (5 %) gesetzt und steht für das annehmbare Risiko, dass die Nullhypothese fälschlicherweise verworfen wird.

Als Nächstes vergleichen Sie den p-Wert mit dem Alpha-Niveau. Ist der p-Wert kleiner als das Alpha-Niveau, verwerfen Sie die Nullhypothese und folgern, dass der Unterschied statistisch signifikant ist. 

Für unser Beispiel bedeutet dies: Ist der p-Wert kleiner als das Alpha-Niveau, dann ist der Unterschied von 14 % statistisch signifikant.

Jetzt werden die Ergebnisse interpretiert. Wenn Sie signifikante Resultate erhalten haben, weist dies darauf hin, dass der beobachtete Unterschied wahrscheinlich nicht auf Zufall beruht und damit das Zutreffen der Alternativhypothese erwiesen ist. Sind die Ergebnisse nicht statistisch signifikant, gibt es nicht ausreichend Belege für ein Verwerfen der Nullhypothese. Der beobachtete Unterschied könnte also durch Zufall entstanden sein.

Die Berechnung gelingt am effizientesten, wenn Sie geeignete Tools einsetzen:

Noch einmal zusammengefasst: Die statistische Signifikanz validiert Ihre A/B-Testergebnisse. Sie ist unerlässlich, um anhand der Resultate fundierte Entscheidungen treffen zu können.

Testen Sie den Rechner oben auf dieser Seite, um die Signifikanz Ihrer Ergebnisse automatisch berechnen zu lassen.