Was ist ein t-Test? Ihr Leitfaden zur Auswertung von Umfrageergebnissen

Einfach nur zwei Zahlen zu vergleichen, ist einfach, aber herauszufinden, ob die Differenz auch statistisch signifikant ist, ist nicht so leicht.

Angenommen, Sie haben eine Kundenzufriedenheitsumfrage durchgeführt. Ihre Chefin oder Ihr Chef möchte wissen, ob Männer Ihrem Unternehmen einen niedrigeren Net Promoter Score® (NPS) geben als Frauen. 

In den Daten sehen Sie, dass der Durchschnittswert bei männlichen Teilnehmenden 9 beträgt, während Frauen im Schnitt 12 vergeben haben. Wie lässt sich feststellen, ob 9 tatsächlich signifikant niedriger als 12 ist? Zur Beantwortung dieser Frage kommen t-Tests ins Spiel.

In diesem Artikel erklären wir, was t-Tests sind und wofür sie eingesetzt werden, zeigen Beispiele und erläutern, wie Sie Befragungsergebnisse interpretieren können. 

Ein t-Test ist ein statistisches Verfahren, das prüft, ob die Differenz zwischen zwei Mittelwerten signifikant ist, und dabei die t-Verteilung nutzt. So können Sie feststellen, ob ein beobachteter Unterschied zwischen Gruppen tatsächlich besteht oder nur zufällig entstanden ist.

Das Testen auf statistische Signifikanz ist üblich bei Konzepttests und Produkttests. Bei Konzepttests werden oft A/B-Tests eingesetzt, um herauszufinden, ob ein Werbekonzept besser ist als ein anderes. Und in Produkttests kann geprüft werden, ob sich ein Produkt nach der Markteinführung behaupten kann. 

Bei t-Tests werden spezielle Formeln verwendet, um Mittelwerte zu vergleichen und festzustellen, ob eine Differenz statistisch signifikant ist. In der Umfrageanalyse ist der Zweistichproben-t-Test am gebräuchlichsten:

Dies sind die Formeln für den Einstichproben-t-Test und den t-Differenzentest:

Sowohl beim Einstichproben-t-Test als auch beim t-Differenzentest wird der berechnete t-Wert mit einem kritischen Wert aus der t-Verteilung verglichen, um die Signifikanz zu beurteilen.

Verwenden Sie einen t-Test, wenn Sie wissen möchten, ob sich zwei Durchschnittswerte in Ihren Befragungsergebnissen aus relevanten Gründen unterscheiden und nicht einfach nur numerisch voneinander abweichen. t-Tests helfen Ihnen, Gruppenmittelwerte zu vergleichen, Stichprobendifferenzen zu bewerten und anhand von p-Wert und Konfidenzniveau zu entscheiden, ob ein Unterschied statistisch signifikant ist.

Typische Szenarien in Umfragen:

Verwenden Sie einen t-Test, wenn Sie eine Mittelwertdifferenz bewerten, einen Benchmark-Vergleich testen oder eine Hypothese mit kleinen Stichproben absichern möchten. Er ist ideal für die Analyse von Erhebungen, A/B-Tests und überall dort, wo Sie Belege dafür brauchen, dass tatsächlich eine signifikante Differenz in den Daten besteht.

Bevor Sie einen t-Test durchführen, müssen Sie prüfen, ob Ihre Daten grundlegende Voraussetzungen erfüllen, damit die Ergebnisse zuverlässig sind.

Eine kurze Überprüfung dieser Voraussetzungen sorgt dafür, dass eine gefundene Differenz tatsächlich ein echtes Signal ist und kein Rauschen in den Daten.

Es gibt drei t-Test-Arten, die von Forschenden häufig verwendet werden. Sie haben jeweils unterschiedliche Einsatzzwecke, die wir im Folgenden erläutern.

Beim Einstichproben-t-Test wird ermittelt, ob der Mittelwert (bzw. Durchschnitt) von Daten aus einer Gruppe (in diesem Fall der Gesamt-CES) sich von einem für Sie relevanten Wert unterscheidet.

Beispiel: Der durchschnittliche Customer Effort Score (CES) Ihres Unternehmens liegt bei 4,2. Ist der Wert 4,2 signifikant schlechter als der Branchenstandard von 5,0?

Mit Zweistichproben-t-Tests wird geprüft, ob sich die Mittelwerte zweier unabhängiger Gruppen signifikant voneinander unterscheiden. Falls die Varianzen der Gruppen ungleich sind oder die Stichprobengrößen stark abweichen, empfiehlt sich der Welch-t-Test (in den meistens Tools verfügbar), da er keine gleichen Varianzen voraussetzt.

Beispiel: Ihre Hypothese ist, dass Männer Ihrem Unternehmen einen niedrigeren NPS vergeben als Frauen. Der durchschnittliche NPS von männlichen Befragten liegt bei 9, während die durchschnittliche Bewertung von Frauen bei 12 liegt. Unterscheidet sich 9 signifikant von 12?

Dieser Test wird eingesetzt, wenn Sie derselben Gruppe zweimal dieselbe Befragung vorlegen. Mit einem t-Differenzentest erkennen Sie, ob sich der Mittelwert zwischen der ersten und zweiten Befragung verändert hat.

Beispiel: Sie haben derselben Kundengruppe zweimal eine Erhebung geschickt: einmal im April und ein zweites Mal im Mai, nachdem sie eine Werbung für Ihr Unternehmen gesehen hat. Hat sich der NPS Ihres Unternehmens verändert, nachdem die Befragten die Werbung gesehen haben?

Für die Durchführung eines t-Tests sind vier Schritte notwendig.

In diesem Abschnitt werden die vier Schritte anhand des NPS-Beispiels vom Anfang durchgespielt: 

Ihre Hypothese lautet, dass Männer Ihrem Unternehmen einen niedrigeren NPS geben als Frauen. Der durchschnittliche NPS von Männern beträgt 9, während er bei Frauen bei 12 liegt. Ist die Differenz zwischen 9 und 12 signifikant? Dies ist ein Beispiel für einen Zweistichproben-t-Test.

Schauen wir uns die einzelnen Schritte und das t-Test-Beispiel genauer an.

Jede t-Test-Variante nutzt eine eigene Formel zur Berechnung der t-Statistik. In unserem Beispiel verwenden wir die Formel für den Zweistichproben-t-Test, bei der gilt: 

Wahrscheinlich führen Sie die t-Tests in einer Tabellenkalkulation oder einem Statistikprogramm (wie Excel oder SPSS) durch. Möchten Sie die Berechnung aber manuell machen, finden Sie unten die Formeln für die anderen beiden t-Test-Typen.

Die Freiheitsgrade sind die Anzahl der Möglichkeiten, die der Mittelwert variieren kann. In diesem Fall sind die Freiheitsgrade die Anzahl der NPS-Bewertungen, die in einer gegebenen Gruppe von Befragten vorkommen kann. Ähnlich wie die t-Statistik unterscheidet sich die Formel für die Freiheitsgrade abhängig von der Art des t-Tests, den Sie durchführen.

Bei Zweistichproben-t-Tests muss zur Bestimmung der Freiheitsgrade diese Formel verwendet werden:

Der kritische Wert ist die Schwelle, ab der die Differenzen zwischen zwei Zahlen als statistisch signifikant gilt. 

Nach dieser Tabelle liegt der kritische Wert bei einem zweiseitigen t-Test mit einem Alpha-Niveau von 0,05 mit 41 Freiheitsgraden bei 2,02. Beachten Sie, dass die meisten Analysten statt eines einseitigen t-Tests einen zweiseitigen t-Test verwenden, da dieser konservativer ist.

Weitere Informationen zu den Unterschieden zwischen einseitigen und zweiseitigen Tests finden Sie in diesem Video von der Khan Academy.

Ist Ihre t-Statistik größer als der kritische Wert, ist die Differenz signifikant. Ist sie kleiner, sind die beiden Zahlen aus statistischer Sicht nicht unterschiedlich.

In unserem Beispiel beträgt der absolute Wert der t-Statistik 0,86. Dieser liegt unter dem kritischen Wert von 2,02. Daraus können Sie schließen, dass Männer keinen signifikant niedrigeren NPS vergeben als Frauen.

Die Interpretation von t-Test-Ergebnissen umfasst die Auswertung von t-Wert, p-Wert und Konfidenzintervall. Damit lässt sich erkennen, ob die Differenz zwischen Ihren Gruppen auf einen echten Effekt oder auf Zufall zurückzuführen ist. Diese Messgrößen zeigen die Größe des Unterschieds, die Stärke der Evidenz und das Konfidenzniveau für Ihr Ergebnis. In den folgenden Fragen und Antworten lesen Sie, was diese Werte bedeuten und wie Sie t-Test-Ergebnisse analysieren können.

Der t-Wert zeigt, wie groß die Differenz zwischen den Gruppenmittelwerten im Verhältnis zur Streuung Ihrer Daten ist. Ein hoher absoluter t-Wert bedeutet, dass das Signal wesentlich mehr als ein Rauschen ist, während ein niedriger Wert darauf hinweist, dass der Unterschied eher zufällig sein könnte.

Der p-Wert zeigt, wie wahrscheinlich es ist, dass die beobachteten Ergebnisse nur zufällig sind, sofern die Nullhypothese (kein echter Unterschied) zutrifft. Oft wird ein Schwellenwert von 0,05 verwendet: p ≤ 0,05 spricht für eine signifikante Differenz, p > 0,05 deutet auf keine bedeutsame Differenz in dieser Stichprobe hin.

Ein Konfidenzintervall gibt einen wahrscheinlichen Bereich für die tatsächliche Mittelwertdifferenz an und liefert somit mehr Kontext als nur ein Ja/Nein zur Signifikanz. Schneidet das Intervall den Nullwert, ist der Effekt nicht eindeutig, liegt es über oder unter Null, ist das Ergebnis bei dem gewählten Konfidenzniveau signifikant.

Eine bedeutsame Differenz ist sowohl statistisch signifikant als auch praktisch relevant. Schauen Sie sich die geschätzte Effektgröße und das Konfidenzintervall an, um zu verstehen, wie groß der Unterschied sein könnte und ob er für Ihre Entscheidung eine Rolle spielt.

Größere Stichproben verringern die Streuung, engen die Konfidenzintervalle ein und erleichtern das Erkennen tatsächlicher Differenzen. Kleinere Stichproben führen zu mehr Unsicherheit, wodurch sich grenzwertige Effekte schwerer interpretieren lassen.

Eine aussagekräftige Zusammenfassung der t-Test-Ergebnisse erklärt, warum Sie den Vergleich durchgeführt haben, was der Test ergeben hat und wie sicher Sie sich bezüglich der Differenz zwischen den Gruppen sein können. Ihre Aufgabe ist es, die statistischen Resultate verständlich zu machen, sie mit der Ursprungsfrage zu verknüpfen und zu verdeutlichen, welche Schlüsse sich daraus für weitere Entscheidungen ziehen lassen.

Nehmen Sie diese Kernelemente in Ihre Zusammenfassung der t-Test-Ergebnisse auf:

Wenn Sie einige einfache Fehler vermeiden, erhalten Sie sauberere und verlässlichere t-Test-Ergebnisse aus Ihren Erhebungsdaten.

t-Tests werden eingesetzt, um festzustellen, ob die Differenz zwischen den Mittelwerten zweier Stichprobengruppen statistisch signifikant ist. Sie können t-Tests bei der Analyse von Befragungsergebnissen nutzen, um die Aussagekraft Ihrer Daten zu validieren. 

Dank SurveyMonkey können Sie den gesamten Prozess der Erstellung und Versendung von Befragungen an Stichprobengruppen für die Forschungsbedürfnisse Ihres Unternehmens effizient gestalten. Sie haben die Möglichkeit, Marktforschungserhebungen und Fragebögen ganz neu zu erstellen oder auf unsere große Auswahl von hunderten Umfragevorlagen zurückzugreifen.

Beginnen auch Sie noch heute mit der Datenerhebung und Analyse, um bessere Wachstumsentscheidungen für Ihre Firma zu treffen. Erstellen Sie jetzt kostenlos ein Konto.

NPS, Net Promoter und Net Promoter Score sind eingetragene Marken von Satmetrix Systems, Inc., Bain & Company und Fred Reichheld.