Stellen Sie sich dieses Szenario vor: Sie befassen sich detailliert mit Analysen und Statistiken und versuchen, aus den vielen Zahlen und Datenpunkten fundierte Erkenntnisse zu gewinnen. Und dann ist da plötzlich Licht am Ende des Tunnels: Ein Glitzern und Schimmern, ein Juwel: der p-Wert. Man könnte ihn auch als Geheimcode bezeichnen, mit dessen Hilfe Hypothesentests und der Signifikanz Geheimnisse entlockt werden.

Der p-Wert wird hauptsächlich für Entscheidungen in Hypothesentests eingesetzt. Er hilft bei der Beurteilung, ob die ermittelten Daten ausreichen, um die Nullhypothese (es gibt keinen nachweisbaren Effekt in der Grundgesamtheit) zugunsten einer Alternativhypothese abzulehnen. Er wird auch verwendet, um Gruppen zu vergleichen oder auf Korrelationen zu testen.

Der p-Wert-Rechner von SurveyMonkey hilft Ihnen weiter!

p-Wert steht für den Wert der Wahrscheinlichkeit (p=probabilitas, lateinisch für Wahrscheinlichkeit). Er misst, wie wahrscheinlich Ihr Ergebnis unter der Annahme ist, dass es keine wirkliche Differenz gibt (was der Nullhypothese entspricht).

Der p-Wert quantifiziert, wie hoch die Evidenz gegenüber der Nullhypothese ist. In der Regel dient als Vergleichswert ein vorher festgelegtes Signifikanzniveau, wie zum Beispiel 0,05. Ein niedriger p-Wert sagt aus: „Dieses Ergebnis ist nicht durch Zufall zustande gekommen.“ Sie erhalten dadurch grünes Licht, die Nullhypothese zu verwerfen und davon auszugehen, dass Ihre Hypothese wahr sein könnte. 

Der p-Wert ist deshalb so wichtig, weil er die Entscheidung ermöglicht, ob die Nullhypothese bestätigt oder verworfen wird. Hier einige Beispiele für Forschungsfragen, bei denen der p-Wert eingesetzt werden kann:

Ein niedriger p-Wert ist ein Zeichen dafür, dass zwischen den getesteten Gruppen Unterschiede herrschen. Er weist darauf hin, dass zwischen den Variablen tatsächliche, prognostizierbare Beziehungen bestehen könnten.

Forscher:innen können dann die Signifikanz ihrer Ergebnisse interpretieren und den Stakeholdern sowie Fachkolleginnen und Fachkollegen die Stärke der Evidenz mitteilen.

Zur Berechnung des p-Werts müssen Sie zunächst festlegen, mit welcher Wahrscheinlichkeit Sie Ihre Daten erhalten, wenn die Nullhypothese wahr ist. Dann vergleichen Sie diese Wahrscheinlichkeit mit dem ausgewählten Signifikanzniveau (in der Regel 0,05), um zu entscheiden, ob Ihre Ergebnisse statistisch signifikant, also bedeutsam sind.

Zur Berechnung des p-Werts aus dem z-Wert, schauen Sie zunächst in einer Normalverteilungstabelle den z-Wert nach. Alternativ können Sie auch mithilfe einer Software die entsprechende Wahrscheinlichkeit ermitteln. Dieser Wert gibt an, wie wahrscheinlich es ist, unter der Nullhypothese einen so extremen Wert wie den z-Wert zu beobachten.

Mit den folgenden Formeln wird der p-Wert berechnet:

Im Folgenden haben wir die einzelnen Schritte für die Berechnung des p-Werts aus dem z-Wert aufgeführt:

Um den p-Wert aus dem t-Wert zu berechnen, muss zunächst der t-Wert bestimmt werden. Dieser stellt die Differenz zwischen dem Mittelwert Ihrer Stichprobe und dem Mittelwert der Grundgesamtheit dar. Ermitteln Sie dann anhand einer Tabelle der t-Verteilung oder mittels Software, mit welcher Wahrscheinlichkeit der t-Wert auftritt. Dies zeigt die Wahrscheinlichkeit, mit der Sie die Ergebnisse Ihrer Stichprobe unter der Nullhypothese erhalten.

Mit der folgenden Formel berechnen Sie den p-Wert aus dem t-Wert:

Wobei cdft,d die kumulative Verteilungsfunktion der studentschen t-Verteilung mit d Freiheitsgraden darstellt.

Im Folgenden haben wir die einzelnen Schritte für die Berechnung des p-Werts aus dem t-Wert aufgeführt:

Um den p-Wert für einen Pearson-Korrelationskoeffizienten zu erhalten, müssen Sie zunächst den berechneten Koeffizienten nutzen, um eine t-Statistik abzuleiten. Dann können Sie den zugehörigen p-Wert finden, indem Sie die t-Verteilung mit (n-2) Freiheitsgraden nutzen.

Die Formel zur Berechnung der t-Statistik aus einem Pearson-Korrelationskoeffizienten sieht folgendermaßen aus:

Wobei:

Nachdem Sie die t-Statistik bestimmt haben, können Sie den p-Wert mithilfe der kumulativen Verteilungsfunktion der t-Verteilung berechnen. Hierbei werden n-2 Freiheitsgrade verwendet, wobei n die Stichprobengröße ist.

Hier das allgemeine Vorgehen:

Um den p-Wert anhand des Chi-Quadrat-Werts zu berechnen, bestimmen Sie die Freiheitsgrade, die mit der Chi-Quadrat-Verteilung verknüpft sind. Nutzen Sie dann Statistiktabellen oder -software, um die Wahrscheinlichkeit zu ermitteln, mit der Sie einen Chi-Quadrat-Wert erhalten, der so extrem ist wie der beobachtete Wert.

Den p-Wert können Sie anhand der folgenden Formel berechnen:

p-Wert=1− cdfχ² (x; df)

Wobei:

​Sie subtrahieren die kumulative Wahrscheinlichkeit von 1, weil die Chi-Quadrat-Verteilung rechtsschief ist, das bedeutet, dass der Ausläufer der Verteilung rechts vom beobachteten Chi-Quadrat-Wert dem p-Wert entspricht.

Im Folgenden wird Schritt für Schritt erklärt, wie der p-Wert aus dem Chi-Quadrat-Wert berechnet wird:

Ist der p-Wert kleiner oder gleich 0,05 (oder ein anderes gewähltes Signifikanzniveau), weist dies darauf hin, dass das Ergebnis statistisch signifikant ist. Das bedeutet, dass das beobachtete Ergebnis auf dem α-Niveau signifikant ist.

Das wiederum bedeutet, dass die Wahrscheinlichkeit unter der Annahme, dass die Nullhypothese wahr ist, ein extremes Ergebnis zu erhalten, sehr gering ist. Die Wahrscheinlichkeit liegt in der Regel unter 5 %.

Sie ist ein Hinweis darauf, dass eine bestimmte Evidenz vorhanden ist, um die Annahme der Alternativhypothese zu stützen. Daher verwerfen Sie die Nullhypothese zugunsten der Alternativhypothese.

Wenn der p-Wert größer als 0,05 ist, weist dies darauf hin, dass das beobachtete Ergebnis für das gewählte Signifikanzniveau nicht statistisch signifikant ist. Anders gesagt, gibt es nicht genügend Belege, um die Nullhypothese zu verwerfen. Sie können also nicht folgern, dass das beobachtete Ergebnis sich von dem unterscheidet, das Sie bei Zutreffen der Nullhypothese erhalten würden.

Passend dazu: Umfragen auswerten – so geht’s

Einige glauben, dass ein p-Wert von 0,05 bedeutet, dass die Testhypothese mit einer Wahrscheinlichkeit von 95 % wahr ist und mit einer Wahrscheinlichkeit von 5 % falsch. Dabei handelt es sich jedoch um eine Fehlinterpretation des p-Werts.

p-Werte sagen aus, wie hoch die Wahrscheinlichkeit ist, bestimmte Daten zu beobachten, wenn die Nullhypothese zutrifft. Sie sind kein direktes Maß für die Wahrscheinlichkeit, dass Hypothesen wahr oder falsch sind.

Häufig wird der p-Wert fälschlicherweise als synonym zur Effektstärke gesehen. Dadurch wird der Unterschied zwischen statistischer Signifikanz und praktischer Signifikanz verwischt.

Ein kleiner p-Wert weist darauf hin, dass es unwahrscheinlich ist, dass das beobachtete Ergebnis rein durch Zufall zustande gekommen ist. Er ist kein Hinweis auf die Größe des Effekts. Darüber hinaus spiegelt er nicht die praktische Bedeutung dieses Effekts wider.

So können zum Beispiel schon geringste Abweichungen von der Nullhypothese in großen Datenmengen statistisch signifikante p-Werte erzeugen, obwohl diese in der Praxis nicht signifikant sind. Und werden in einem Experiment mehrfach signifikante Unterschiede festgestellt, können aufgrund der Wahrscheinlichkeit manchmal dennoch auch nicht signifikante Ergebnisse beobachtet werden.

Dagegen bedeutet ein großer p-Wert nicht unbedingt, dass der beobachtete Effekt zu vernachlässigen ist. Er weist stattdessen nur darauf hin, dass die die Daten nicht genug Beweiskraft haben, um die Nullhypothese zu widerlegen. 

Damit die praktische Bedeutung der Ergebnisse richtig eingeschätzt werden kann, ist es wichtig, neben den p-Werten auch die Effektstärke zu messen. Die Effektstärke quantifiziert das Ausmaß eines beobachteten Effekts. Sie ermöglicht, die Ergebnisse in den Kontext des erweiterten Rahmens der Forschungsfrage oder Anwendung zu setzen. 

Durch diese Unterscheidung wird sichergestellt, dass die statistische Signifikanz mit signifikanten realen Auswirkungen übereinstimmt. Sie unterstützt informierte Entscheidungsprozesse und Interpretationen der Forschungsergebnisse.

Das Problem multiplen Testens tritt dann auf, wenn für ein und denselben Datensatz mehrere Tests durchgeführt werden, ohne das Signifikanzniveau entsprechend anzupassen. Durch dieses Vorgehen wird die Wahrscheinlichkeit falsch-positiver Ergebnisse erhöht, dies wird auch Fehler 1. Art bezeichnet. In diesen Fällen wird die Nullhypothese fälschlicherweise verworfen.

Stellen Sie sich eine Situation vor, in der verschiedene voneinander unabhängige Tests gleichzeitig durchgeführt werden. Auch wenn für jeden Test ein niedriges Signifikanzniveau gilt (z. B. α = 0,05), ist die kumulative Wahrscheinlichkeit, dass mindestens eines der beobachteten Ergebnisse rein durch Zufall zustande gekommen ist, erhöht. Diese Wahrscheinlichkeit steigt mit der Anzahl der Tests.

Daher werden in der Forschung statistische Korrekturverfahren angewendet, wie die Bonferroni-Korrektur, die es schwieriger machen, die Nullhypothese zu verwerfen. Durch solche Lösungen wird die Gesamtrate falsch-positiver Ergebnisse strenger kontrolliert. Sie sorgen dafür, dass die Wahrscheinlichkeit falsch-positiver Ergebnisse über alle Tests hinweg unter dem festgelegten Schwellenwert liegt.

Betrachten Sie die praktische Auswirkung Ihrer Ergebnisse unter Berücksichtigung des erweiterten Kontext der Forschungsfrage oder Anwendung. Vermeiden Sie eine Überinterpretation statistisch signifikanter Ergebnisse oder das Verwerfen nicht signifikanter Ergebnisse, ohne sich zuvor das Ganze sehr genau angesehen zu haben.

Angenommen Sie stellen eine statistisch signifikante Verbesserung der Prüfungsergebnisse von Studierenden fest, die mit einer neuen Lehrmethode unterrichtet wurden. Diese Verbesserung wird mit der Gruppe derjenigen Studierenden verglichen, die mit der klassischen Lehrmethode unterrichtet wurden.

Achten Sie darauf, die Ergebnisse nicht zu überinterpretieren und berücksichtigen Sie bei Ihrer Interpretation auch Größen wie die Effektstärke. Ist die Verbesserung groß genug, um die neue Lehrmethode im großen Maßstab zu implementieren? Konnten die Ergebnisse durch andere Studien, die unter ähnlichen Bedingungen durchgeführt wurden, bestätigt werden? Gibt es noch weitere Faktoren wie die zu erwartenden Kosten, die in die Überlegungen einbezogen werden müssen?

Umgekehrt könnten nicht signifikante Ergebnisse durch andere Faktoren verursacht worden sein, beispielsweise durch eine zu kleine Stichprobengröße oder Messfehler. 

Daher ist es wichtig, den Aufbau der Studie, die Datenqualität und mögliche Quellen für Verzerrungen genau zu untersuchen, bevor Folgerungen gezogen werden.

Unabhängig von ihrer Signifikanz sollten alle p-Werte für alle Variablen in eine Studie aufgenommen werden. Sie erhalten so ein umfassendes Bild der Analyse. Wer die Studie liest, kann so auch die Belastbarkeit der Erkenntnisse beurteilen.

Durch die Angabe aller p-Werte wird das gesamte Spektrum statistischer Analysen vermittelt, auch derjenigen, die nicht signifikante Resultate geliefert haben. Dank dieser Transparenz können die Leser und Leserinnen die Konsistenz und Verlässlichkeit der Ergebnisse für die verschiedenen Variablen und Analysen einschätzen. Außerdem wird die Integrität der Forschung dadurch erhöht, dass die Daten vollständig und ohne Verzerrungen präsentiert werden.

Bei der Interpretation kleiner p-Werte ist Vorsicht geboten, denn diese können mitunter irreführende Hinweise auf die Signifikanz der beobachteten Effekte geben. 

Es ist wichtig zu wissen, dass kleine p-Werte aus tatsächlichen Effekten in Kombination mit großen Stichprobengrößen entstehen können. Große Stichprobengrößen erhöhen die statistische Aussagekraft und erleichtern das Erkennen trivialer Abweichungen von der Nullhypothese.

Daher spiegeln kleine p-Werte aus Studien mit kleinen Stichproben nicht notwendigerweise bedeutsame oder in der Praxis signifikante Effekte wider.