So gelangt SurveyMonkey an Daten

Jeden Tag führen mehr als 2 Millionen Menschen Unterhaltungen via SurveyMonkey.

Hierbei handelt es sich nicht bloß um Kunden, Mitarbeiter, Marktforscher oder Veranstaltungsteilnehmer – weltweit geben Menschen via SurveyMonkey Feedback zu allen möglichen Themen. Wir bitten nur einen Bruchteil dieser Menschen um Ihre Meinung zu wichtigen Themen und erhalten auf diese Weise nie dagewesenen Zugriff auf eine Stichprobe der US-Bevölkerung.

So können wir die US-amerikanische Öffentlichkeit über ihre Meinung zu wichtigen aktuellen Ereignissen befragen. Unser Team aus Umfrageexperten sorgt dafür, dass die Stichproben repräsentativ für die Gesamtbevölkerung der USA sind.

Wie ermittelt SurveyMonkey diese Daten? Die Antwort darauf sehen wir uns Schritt für Schritt an.

1. Mehr als 2 Millionen Menschen nehmen täglich an Umfragen auf der Plattform von SurveyMonkey teil.

Unser Team aus Umfragemethodikern und Befragungsexperten steht hinter unseren Daten, weil wir drei Grundsätze beachten:

Skalierbarkeit und Vielfalt: Während der Millionen von Umfragegesprächen, die wir jeden Tag führen, sprechen wir mit Personen aus verschiedenen demografischen Gruppen – Ärzte unter 30, Bauarbeiter in Maine oder asiatisch-amerikanische Pensionäre. Unsere Teilnehmer decken alle folgenden Aspekte ab:

Offene Stichprobenentnahme: Im Gegensatz zu anderen Anbietern nehmen wir nicht einfach personenbezogene Informationen von den Teilnehmern, sondern fragen danach. Wir sammeln demografische Informationen zu allen Befragten und erhalten auf diese Weise wichtige Kontextinformationen für unsere Ergebnisse. Außerdem können wir unsere Daten besser gewichten, wodurch sie noch genauer werden.

Transparenz: Wir gehen transparent mit unseren Methoden für die Gewichtung und Stichprobenentnahme um. Die Details unserer Umfragenmethodik sind für alle einsehbar. Möchten Sie sie genauer kennenlernen? Dann lesen sie einfach weiter.

Unser SurveyMonkey-Rechercheteam führt Tag für Tag Umfragen zu Politik, Sport, aktuellen Ereignissen, Medien und sonstigen interessanten Themen durch. Im Verlauf des Jahres 2016 haben wir mehr als 1 Million Wähler befragt. Seitdem ist unser Umfragetempo nicht zurückgegangen, wir haben nur unsere Methodik leicht geändert. Diese Seite ist eine Ressource für alle, die an unserem Stichproben-Design, unserem Fragebogen, unserer Gewichtungsmethodik und der Datenverfügbarkeit interessiert sind. Lesen Sie weiter!

Mehr als 2 Millionen Personen nehmen Tag für Tag an von Nutzern erstellten Umfragen auf der SurveyMonkey-Plattform teil. Von diesen bitten wir eine zufällige Stichprobe an Befragten, freiwillig an unseren Recherche-Umfrage teilzunehmen. Nachdem sie die Ersterhebung abgeschlossen haben, werden sie auf einer „Danke“-Seite dazu eingeladen, an einer weiteren optionalen Umfrage teilzunehmen. Hierbei handelt es sich um unsere Recherche-Umfragen, die wir gemeinsam mit Medien-Outlets und anderen Organisationen durchführen.

Unser Prozess zur Stichprobenentnahme gleicht dem, der traditionell bei Meinungsumfragen zum Einsatz kommt. Statt zufällig Teilnehmer aus einer Liste mit Telefonnummern zu wählen, greifen wir auf unsere vielfältige Basis der täglichen Umfrageteilnehmer zurück. Wir fragen die Teilnehmer, wie alt sie sind, ob sie sich als Wähler haben registrieren lassen, in welchem Bundesstaat sie leben usw. – genau wie bei einer Telefonumfrage.

Unsere Umfrageteilnehmer stammen aus allen 50 Bundesstaaten – gleichermaßen städtisch wie ländlich geprägten Gegenden. Da SurveyMonkey eine Online-Plattform ist, können nur Teilnehmer mit Internetanschluss die Umfragen abschließen. Diese Einschränkung wird aber immer irrelevanter, weil die Zahl der Internetzugänge steigt und immer mehr Teilnehmer Mobiltelefone oder -geräte zur Beantwortung nutzen.

Die Recherche-Umfragen von SurveyMonkey sind kontinuierlich im Einsatz. Teilnehmer füllen die freiwilligen Umfragen zu jeder Tages- und Nachtzeit aus. Alle Umfragen sind in englischer Sprache verfasst; einige sind auch auf Spanisch verfügbar. Wir befragen die Teilnehmer immer zu Geschlecht, ethnischer Herkunft, Alter, Bundesstaat und Bildungsniveau, um die Ergebnisse besser gewichten zu können und auf nationaler Ebene repräsentativ zu gestalten.

Meist fragen wir, zu welcher Partei die Befragten tendieren, wie zufrieden sie mit der Arbeit des Präsidenten sind und welche Themen ihnen besonders am Herzen liegen. Dadurch können wir regelmäßig untersuchen, wie sich die Antworten auf diese Frage im Laufe der Zeit entwickeln. Wenn mehrere Umfragen gleichzeitig durchgeführt werden, fassen wir die Antworten auf diese Fragen zusammen. Es besteht keine Gefahr, dass die Antworten durch Fragen aus den vorangegangenen Umfragen beeinflusst werden, weil diese Fragen immer zuerst gestellt werden.

Wir haben mehrere Gewichtungsoptionen, die je nach Stichprobengröße und Grundgesamtheit für die einzelne Umfrage eingesetzt werden können. Für die unten angegebenen Gewichtungsoptionen erzeugen wir Schätzungen, die die aktuelle demografische Zusammenstellung in den USA nach Alter, ethnischer Zugehörigkeit, Geschlecht, Bildungsniveau und Geografie widerspiegeln, gemäß dem American Community Survey (ACS) des Census Bureau aus dem Jahr 2015. Wir fordern sämtliche Teilnehmer dazu auf, die Fragen zu beantworten, mit denen diese Parameter in den einzelnen Umfragen gewichtet werden.

Bei Umfragen, die auf Wahrscheinlichkeiten basieren, kann für jede daraus abgeleitete Statistik eine Fehlerspanne berechnet werden. Häufig lesen Sie Hinweise wie „diese Umfrage hat eine Fehlerspanne von +/-3,5 Prozentpunkten“. Das bedeutet: Wenn zwei Schätzungen weniger als die Fehlerspanne auseinanderliegen, lässt sich nicht mit Gewissheit sagen, welcher der beiden Werte tatsächlich höher ist.

Recherche-Umfragen von SurveyMonkey basieren nicht auf Wahrscheinlichkeiten, da für diese Umfragen kein gut definierter Stichprobenrahmen für die Teilnehmer vorhanden ist. Aus diesem Grund geben wir keine Fehlerspanne an, um Missverständnisse zu vermeiden. Wir nutzen stattdessen eine „modellierte Fehlerabschätzung“, die mithilfe eines Bootstrap-Konfidenzintervalls errechnet wird. Laut American Association for Public Opinion Research (AAPOR) gehört diese Methode zu den Best Practices für nicht auf Wahrscheinlichkeiten basierende Umfragen, da sie „einen Näherungswert für die Varianz einer Umfragenschätzung ermittelt, der sich aus der Veränderlichkeit dieser Schätzung auf der Grundlage einer Reihe von Unterstichproben aus der Gesamtdatenmenge der Umfrage errechnet“.

Beispiel für die Zusammenfassung einer typischen Methodik:

Diese Online-Umfrage von SurveyMonkey wurde am 5. und 6. Januar 2017 mit einer nationalen Stichprobe von 1.725 Erwachsenen (ab 18 Jahren) durchgeführt. Die Teilnehmer wurden aus einer Gruppe von knapp 3 Millionen Personen, die jeden Tag auf der SurveyMonkey-Plattform an Umfragen teilnehmen, ausgewählt. Die Daten für diese Woche wurden anhand von Alter, ethnischer Herkunft, Geschlecht, Bildungsniveau und Geografie unter Berücksichtigung des American Community Survey des Census Bureau gewichtet und an die demografische Zusammensetzung in den USA angepasst. Die modellierte Fehlerabschätzung für diese Umfrage beträgt +/-3,5 Prozentpunkte.

In diesem Fall kann die modellierte Fehlerabschätzung von +/-3,5 Prozentpunkten genauso interpretiert werden wie beim Fehlerspannen-Beispiel weiter oben. In Blog-Beiträgen und Berichten geben wir stets an, wann die Umfrage durchgeführt wurde und wie viele Personen teilgenommen haben. Außerdem beschreiben wir kurz die Gewichtungsmethodik und geben den Wert der modellierten Fehlerabschätzung an.

Hinweis: Weil wir Online-Umfragen durchführen, gehen viele Personen davon aus, dass unsere Recherche-Umfragen auf der Basis eines nicht auf Wahrscheinlichkeiten beruhenden Panels durchgeführt werden. Das ist falsch. SurveyMonkey verfügt zwar über ein Teilnehmer-Panel, das Kunden zur Verfügung gestellt werden kann, aber wir nutzen dieses Panel selten dafür, Teilnehmer für Umfragen zu gewinnen. Wie die Stichprobe zustande gekommen ist und wie die Ergebnisse gewichtet werden, ist immer bei den Hinweisen zur Methodik angegeben.

Nachfolgend finden Sie beispielhafte Erkenntnissen aus einigen unserer regelmäßigen Befragungen.

Zustimmung zu Präsident Trump: Wöchentliche Daten mit den Zustimmungswerten zu Präsident Trump: Archiv anzeigen.

Verbraucherzuversicht: Index der Verbraucherzuversicht auf der Grundlage von Fragen zur individuellen finanziellen Situation und zu den Erwartungen an die Zukunft: Archiv anzeigen.

Zuversicht kleiner Unternehmen: Quartalsweise Befragung der Inhaber kleiner Unternehmen zu ihrem geschäftlichen Umfeld und ihren Erwartungen an die Zukunft in Partnerschaft mit CNBC: Archiv anzeigen.

Partner: Wir haben mehr Partnerschaften als jemals zuvor abgeschlossen. Ergebnisse werden in bzw. bei NBC News, Axios, FiveThirtyEight, The New York Times, ESPN, Vanity Fair’s Hive & theSkimm, OZY und CNBC veröffentlicht.

SurveyMonkey Audience ist ein eigenständiges Tool, bei dem die Umfrageteilnehmer auf eine andere Methode gewonnen werden. In Audience erfolgt die Teilnahme im Austausch für Spenden an gemeinnützige Organisationen. Die Kunden zahlen also, wenn sie die Meinung der Befragten wissen wollen. Die auf dieser Seite erläuterte Befragungsmethode ist keine Kaufoption. Sie ist das perfekte Tool, um an Rechercheergebnisse für Konzepttests, Content Marketing u. v. m. zu gelangen.

Bei SurveyMonkey arbeitet ein Team aus Umfragemethodikern – Wissenschaftler, die sich eingehend mit Umfragen, Meinungsumfragen, der öffentlichen Meinung und der Datensammlung beschäftigen. Diese Experten wissen genau, wie Umfragen strukturiert werden sollten, wie Fragen richtig gestellt werden und wie Daten so analysiert werden, dass exakte Ergebnisse dabei herauskommen.