A/B-Test-Rechner

Bei Versuchen mit A/B-Tests ist statistische Signifikanz die Wahrscheinlichkeit, mit der der Unterschied zwischen der Kontrollversion Ihres Versuchs und der Testversion nicht aufgrund eines Fehlers oder Zufalls besteht.

Wenn Sie beispielsweise einen Test mit einem Signifikanzniveau von 95 % durchführen, können Sie zu 95 % sicher sein, dass die Unterschiede real sind.

Mit der statistischen Signifikanz wird häufig im Unternehmensbereich beobachtet, wie Ihre Versuche sich auf die Konversionsraten Ihres Geschäfts auswirken. In Umfragen wird mit der statistischen Signifikanz üblicherweise dafür gesorgt, dass Ihre Umfrageergebnisse zuverlässig sind. Wenn Sie beispielsweise von Ihren Umfrageteilnehmern wissen wollen, ob sie Anzeigenkonzept A oder B bevorzugen würden, müssen Sie darauf achten, dass die Unterschiede in den Ergebnissen statistisch signifikant sind, bevor Sie sich für die Verwendung einer der beiden Anzeigen entscheiden.

Im ersten Schritt formulieren Sie eine Hypothese. Bei jedem Versuch gibt es eine Nullhypothese, die besagt, dass es keine Beziehung zwischen den beiden Dingen gibt, die Sie miteinander vergleichen, und es gibt eine Alternativhypothese. Eine Alternativhypothese versucht typischerweise nachzuweisen, dass es eine Beziehung gibt. Dies ist die Aussage, die Sie zu belegen versuchen. Wenn es um A/B-Tests im Hinblick auf die Konversionsrate geht, können Sie für die Hypothese eine Schaltfläche, ein Bild oder einen Text auf einer Seite hinzufügen, um zu ermitteln, ob die Konversionsraten dadurch beeinflusst werden. Wenn Sie wie im Beispiel oben Umfragen für Konzepttests einsetzen, kann Ihre Hypothese auch bedeuten, dass Sie verschiedene Anzeigenvarianten testen, um festzustellen, welche Anzeige die Teilnehmer am meisten anspricht.

Nach dem Formulieren von Null- und Alternativhypothese führen Statistiker gelegentlich Tests durch, um zu gewährleisten, dass ihre Hypothesen solide sind. Ein z-Wert bewertet die Gültigkeit Ihrer Nullhypothese. Anhand dieses Werts können Sie feststellen, ob es tatsächlich keine Beziehung zwischen den Dingen gibt, die Sie miteinander vergleichen. Anhand des p-Werts können Sie erkennen, ob der Nachweis für den Beleg Ihrer Alternativhypothese stark ist.

Bei der Durchführung von Tests für die statistische Signifikanz ist es sinnvoll zu entscheiden, ob Ihr Test einseitig oder zweiseitig sein soll. Bei einem einseitigen Test wird davon ausgegangen, dass Ihre Alternativhypothese nur eine (positive) Wirkungsrichtung hat, während bei einem zweiseitigen Test auch berücksichtigt wird, dass Ihre Hypothese eine negative Auswirkung auf Ihre Ergebnisse haben kann. Im Allgemeinen handelt es sich bei einem zweiseitigen Test um die vorsichtigere Wahl.

Selbst professionelle Statistiker nutzen statistische Modellierungssoftware zur Berechnung der Signifikanz und der belegenden Tests. Deshalb tauchen wir hier nicht zu tief in die Materie ein. Wenn Sie jedoch einen A/B-Test durchführen, können Sie mit dem Rechner oben auf dieser Seite die statistische Signifikanz Ihrer Ergebnisse berechnen. Wenn Sie die Signifikanz Ihrer Umfrageergebnisse berechnen möchten, kann SurveyMonkey dies automatisch für Sie durchführen.