Wie vertrauenswürdig sind die Umfrageteilnehmer von SurveyMonkey weltweit?

blog_story3_multicultural-copyMit SurveyMonkey Audience kann man Antworten für jede Umfrage kaufen, die man bei SurveyMonkey entwickelt. SurveyMonkey Audience ist ein Pool aus potenziellen Umfrageteilnehmern, in dem man passgenau Zielgruppen befragen kann, die relevant für die gewünschten Umfragethemen sind. Bisher sind es vor allem Gruppen in Amerika, Australien und Großbritannien, die als Umfrageteilnehmer zur Verfügung stehen*. Das ist vor allem interessant für international operierende Unternehmen.

Doch wie vertrauenswürdig und aussagekräftig sind internationale Umfragen, die mit Hilfe von SurveyMonkey Audience erstellt werden? Um diese Frage zu beantworten, haben wir zwischen Dezember 2015 und Februar 2016 jeden Monat eine Woche lang ein und dieselbe Umfrage an die Teilnehmer von SurveyMonkey Audience geschickt. Im Fokus standen Brasilien, Australien, China, die Vereinigten Staaten, Indien und Großbritannien. In jedem Land nahmen mehr als 1.000 Menschen pro Befragungsphase teil. Hier ist der Link zur amerikanischen Umfrage. Die Befragung wurde in der  jeweiligen Landessprache durchgeführt.

Vertrauenswürdigkeit

Um die Vertrauenswürdigkeit zu überprüfen, haben wir Fragen zu Eigenschaften gestellt, die sich nicht ändern – beispielsweise Fragen zur natürlichen Haarfarbe oder zum Geburtsdatum..

bildschirmfoto-2016-10-24-um-10-21-46

Bei einer großen Stichprobe und einer repräsentativen Bevölkerung, wie wir sie ausgewählt haben, sollten sich die aggregierten Antworten auf Fragen, wie in unserem Beispiel oben, von Monat zu Monat nicht stark verändern.

Und das war genau der Fall, wie unsere Ergebnisse zeigen. Wir benutzten den Chi-Quadrat-Test, um die Aussagekraft jeder Variable bei Unterschieden in den Ergebnissen von einem Monat zum anderen zu überprüfen. Die Mehrheit der Variablen hat diese Prüfung bestanden.

bildschirmfoto-2016-10-24-um-11-18-30

Die Tabelle oben zeigt den prozentualen Anteil der Variablen, die unseren Chi-Quadrat-Test in jedem Land bestanden haben. Zum Beispiel liegt die Vertrauenswürdigkeit der Antworten in den USA bei 85 Prozent von einer Befragungsphase zur nächsten. Anders gesagt: es gibt keine signifikante Veränderung bei den Antworten in den Vereinigten Staaten über die drei Phasen unserer Umfragen. Die demographische Gewichtung (Geschlecht, Alter und Bildung) verbesserte die Vertrauenswürdigkeit der Antworten in den meisten Fällen.

Validität

Um die Validität der Antworten zu überprüfen, stellten wir einige Fragen, die einfach mit anderen Bezugswerten verifiziert werden konnten.

Ein Beispiel: Wir haben eine Frage nach dem Geburtstag im Februar gestellt. Wenn wir davon ausgehen, dass die Geburtstagdaten der Umfrageteilnehmer zufällig über alle Monate verteilt sind, dann sollte jeder 12. Befragte (8,33 Prozent aller Teilnehmer) im Monat Februar geboren sein. Und das ist auch fast genau das Ergebnis, das wir in den meisten Ländern erhalten haben.

bildschirmfoto-2016-10-24-um-11-41-44

Wir sind sehr zufrieden mit diesen Ergebnissen, denn sie zeigen das SurveyMonkey Audience international vertrauenswürdig und valide ist.

*SurveyMonkey Audience ist in Deutschland noch nicht erhältlich.

Hast Du noch Anmerkungen oder Fragen zu diesem Thema? Dann hinterlasse uns gerne einen Kommentar oder kontaktiere uns via Twitter.

Tags: , ,

Inspiriert? Mach Deine eigene Umfrage!

Inspiriert? Mach Deine eigene Umfrage!

Hinterlassen Sie einen Kommentar