Experteninterview: Jon Cohen über Online-Umfragen im Wahlkampf

jon cohen interviewIn unserem aktuellen Experteninterview hat uns Jon Cohen, Vice Präsident “Survey Research” bei SurveyMonkey, die Bedeutung von Online-Umfragen bei politischen Wahlkämpfen erklärt.

SurveyMonkey hat eine Online-Umfrage zu den Unterhauswahlen im Vereinigten Königreich durchgeführt – sozusagen ein Wahlexperiment. Sind Online-Umfragen inzwischen soweit, dass sie mit traditionelleren Methoden konkurrieren und sie schlagen können? Sind Telefon-Umfragen ein archaisches Konzept und wie unterscheiden sich SurveyMonkeys Wahl-Umfrage-Methoden von konventionellen Herangehensweisen?

Bei Wahl-Prognosen sind Online-Umfragen absolut wettbewerbsfähig gegenüber den bisher gängigen Umfrage-Typen. Wenn man sich die Genauigkeit von Umfragen vor einer Wahl in den USA, dem Vereinigten Königreich und anderen Ländern mit fast kompletter Internet-Abdeckung ansieht, fällt auf, dass Umfragen, die online durchgeführt wurden, weitestgehend Übereinstimmungen zu Telefonbefragungen aufweisen. In Sachen Komplexität sind Online-Umfragen oft überlegen, zum Beispiel im Hinblick auf Details – zum Beispiel wie bestimmte Wählergruppen die Kandidaten wahrnehmen.

Früher bot die Kenntnis darüber, ob eine Umfrage online oder telefonisch durchgeführt wurde, eine klare methodologische Unterscheidung; dem ist nicht mehr so. Natürlich sollte jede Auswertung von Befragungen immer noch ein Interview beinhalten, aber die grundlegenden Charakteristika des Samples, einschließlich wie die Teilnehmer ausgesucht und Anpassungen gemacht wurden, sind weitaus wichtiger.

Telefonische Befragungen können immer noch sehr effektiv sein, zumindest in den USA. Die Frage, die über allem steht, ist nicht in erster Linie, ob sie veraltet sind oder nicht, sondern es geht mehr darum, dass sie außerordentlich teuer für einen großen Teil der Forschungszwecke geworden sind.

Es ist sehr einfach für jeden geworden, eine Online-Befragung durchzuführen. Es kann sehr verlockend sein, bei der Interpretation der Daten zu voreiligen Schlüssen zu kommen. Was ist Ihrer Meinung nach der am häufigsten verbreitete Fehler? Und was ist eine gute Methode, um die Fehlinterpretation von Ergebnissen aus eigenen Umfragen zu vermeiden?

Es gibt eine große Vielzahl an Situationen, in denen die Datenanalyse schiefgehen kann; deshalb ist es schwierig, einen einzelnen typischen Fehler zu identifizieren. Aber woran viele Umfrageanalysen leiden, ist ein mangelndes Verständnis für die Unsicherheit von Schätzungen. Ganz gleich, wie stringent die Methodik ist oder wie rein das Sample: Schätzungen bleiben einfach Schätzungen – und sie beinhalten immer einen Fehlerspielraum. Davon auszugehen, dass es punktgenaue Exaktheit gibt, ist ein Fehler – besonders wenn es um das Vergleichen von Untergruppen geht, wie zum Beispiel: Wie denken die Menschen in einem Teil des Landes über Einwanderung im Vergleich zu einem anderen Teil.

Was sind, aus Ihrer Sicht, die neuesten und wichtigsten Insights im Bereich der Marktforschung, welche die Kunden in ihre Umfragen einfließen lassen können?

In erster Linie ermutigen wir unsere Kunden dazu, die Länge ihrer Fragebögen und die Intervalle, in denen sie Umfragen raus schicken, zu überdenken. Die Tage der 50, 60 oder sogar 70-Frage-Erhebungen sind und sollten vorbei sein. Der Weg hin zu mobiler Kommunikation – mehr als ein Drittel all unserer Teilnehmer füllt die Fragebögen über ein mobiles Endgerät aus –, beschleunigt die Notwendigkeit, Umfragen schlanker zu gestalten. Die Chance, die sich im Gegenzug ergibt, ist dass Befragungen öfter durchgeführt werden können – und dies nicht nur, wenn große Budgets für umfangreiche Umfragen zur Verfügung stehen.

Wie können Sie sicherstellen, dass Umfragen, die mit SurveyMonkey durchgeführt wurden, in der Erstellung, Verbreitung und Analyse höchsten Standards genügen?

Wir arbeiten mit hochqualifizierten Produkt- und Ingenieurs-Teams zusammen, um Qualitätstools direkt in SurveyMonkey zu integrieren. Außerdem veröffentlichen wir regelmäßig Beiträge mit Tipps und Tricks zur Erstellung von Umfragen auf unserer Website und unserem Blog – so bekommen unsere Kunden die Grundlagen dafür vermittelt, wie man die richtigen Fragen formuliert, Stichproben erstellt und die erhaltenen Daten so analysiert, dass mit diesen Ergebnissen bessere Entscheidungen gefällt werden können. Unsere Fragendatenbank ist nur ein Beispiel dafür. Vor ein paar Jahren haben wir festgestellt, dass viele Kunden zwar bei SurveyMonkey einen Account, aber keine Umfragen erstellt haben. Als wir nachgehakt haben, woran das liegen mag, haben wir herausgefunden, dass für viele Kunden die größte Herausforderung darin lag, mit dem Schreiben der Fragen zu beginnen. Um unseren Kunden diese Hemmschwelle niedriger zu gestalten, haben wir ein einfach auffindbares Set tausender Fragen zur Verfügung gestellt, die alle methodologisch getestet wurden und eine weite Bandbreite an Themen abdeckt.

Welche neuen Produkte können wir bei SurveyMonkey in den nächsten Monaten erwarten?

Da sich unser Business seit der SurveyMonkey-Gründung 1999 enorm weiterentwickelt hat, haben wir eine neue Palette an SurveyMonkey-Services für Geschäftskunden hinzugefügt. Im Dezember haben wir eine neue „SurveyMonkey for Business“-Website gelauncht, die besonders unsere Produkte featured, die für Geschäftskunden interessant sind.

Was meinen Sie: Warum ist SurveyMonkey so erfolgreich und was unterscheidet das Unternehmen von seiner Konkurrenz?

Der Erfolg von SurveyMonkey liegt in verschiedenen Faktoren begründet – wie unsere einfache Herangehensweise an komplexe Recherchen. Wir haben auf verschiedene Arten den Markt für Online-Umfragen gestaltet, indem wir das Verlassen aufs Bauchgefühl mit wissensbasierten Entscheidungen ersetzt haben.

Wo sehen Sie in Bezug auf SurveyMonkeys Engagement bei politischen Wahlen die größten Herausforderungen – und wo liegen die Möglichkeiten für SurveyMonkey, hier in naher Zukunft noch erfolgreicher zu sein?

Bei unserer Beschäftigung mit Wahlen wie in den USA und UK ist die größte Herausforderung, einen Konsens herauszubilden, der bei Internetbefragungen als Best-Practice gilt. Die gesamte Branche profitierte über Jahrzehnte von der mittlerweile nicht mehr vorhandenen Übereinkunft darüber, wie solche Befragungen durchgeführt werden. Wir arbeiten gemeinsam mit Partnern daran, solche Standards wieder zu beleben. Wir haben einen ganz klaren Standpunkt, wenn es um die Frage geht, wie eine gute Umfrage heutzutage auszusehen hat – und wir müssen mit anderen zusammen daran arbeiten, solche Rahmenbedingungen für das Durchführen und Interpretieren solcher Befragungen anzubieten.

Wieviel Potenzial liegt ihrer Meinung nach in den nicht US-Märkten – wie zum Beispiel bei Ländern wie Deutschland? Hier gibt es in der Bevölkerung größere Bedenken bezüglich der Nutzung von Cloud-Services und Web-Applikationen. Wie können Sie diese Zweifel zerstreuen?

Wir arbeiten gerade daran, unsere Fragendatenbank komplett ins deutsche zu übersetzen. Dabei haben wir nicht bloß eins-zu-eins unseren englischsprachigen Auftritt übersetzt, sondern mit der Unterstützung von deutschen Umfrageexperten sichergestellt, dass die Fragen auch auf deutsch Sinn ergeben und die Antwortkategorien ebenso passen. Die weitergehende Frage zum Thema SaaS ist berechtigt – ihr kann am besten mit Transparenz begegnet werden. Unsere Kunden wissen immer genau, wem ihre Daten gehören (ihnen nämlich) und welche Vorteile unserer Tool ihnen bietet.

Online-Fragebögen sind mittlerweile ein fester Bestandteil der Unternehmenswelt, über die umgehend Feedback von Kunden und Angestellten eingeholt werden kann. Wie wichtig ist für das Ansehen von SurveyMonkey die Partnerschaft mit NBC News?

Die US-Präsidentschaftswahlen sind für News-Organisationen die politische Königsdisziplin. NBS News nutzt SurveyMonkey für seine kritische Berichterstattung des Wahlkampfs. Das ist eine großartige Bestätigung unserer Arbeit und wir freuen uns sehr darüber, zu dieser erstklassigen Berichterstattung etwas beizutragen.

​Wie seriös ist eine Recherche mit dem SurveyMonkey-Tool, wenn man bedenkt, dass jeder eine Umfrage veröffentlichen und Antworten bekommen kann, die überhaupt nicht auf das Gefragte zutreffen? Wie riskant ist es, wenn Journalisten mehr und mehr Ergebnisse ihrer SurveyMonkey-Umfragen veröffentlichen, ohne das Zustandekommen der Antworten zu hinterfragen?

Diese Frage kann einfach beantwortet werden: Wir haben eine strikte methodologische Herangehensweise an unsere Fragenkataloge, unsere Stichproben und Analysen. Zu unserem Recherche-Team gehören einige der besten Umfrage-Methodiker weltweit – und unsere Methoden an sich sind für jeden nachvollziehbar. Da mittlerweile jeder unsere SurveyMonkey-Plattform für jegliche Form von Umfragen nutzen kann – und sei es, welches Essen die Familie sich zu Thanksgiving wünscht -, gibt es eine große Bandbreite an Ergebnissen. Wie zuvor schon erwähnt, haben wir Qualitätskontrollen in unser Tool integriert und bieten zudem intensive Trainings an. Doch sollten Journalisten sich vorher mit der Besonderheit ihres Umfragetyps – wie zum Beispiel von Telefonbefragungen – auseinandersetzen.

Sie haben mal gesagt: „Man kann zu viele und zu wenige Daten haben. Wichtig ist, die richtige Frage zu stellen, damit die Antwort für die Entscheidungen, die man treffen möchte, nützlich ist.“ Wie stellt man denn die richtige Frage?

Als erstes ist es wichtig, sich in den Umfrageteilnehmer hineinzuversetzen. Und außerdem sollte man sich intensiv damit beschäftigen, wie die User an der Umfrage teilnehmen – zum Beispiel ob zuhause am Rechner oder über mobile Endgeräte. Zudem sollten Jargon, doppelte Verneinungen und sich überlappende Antwortmöglichkeiten vermieden werden. Natürlich gibt es noch eine viel längere Liste an Faktoren, die zu bedenken wären – aber diese Punkte sind schon einmal ein guter Anfang.

Hast Du noch Anmerkungen oder Fragen zu diesem Thema? Dann hinterlasse uns gerne einen Kommentar oder kontaktiere uns via Twitter.

Tags: , , , ,

Inspiriert? Mach Deine eigene Umfrage!

Inspiriert? Mach Deine eigene Umfrage!

Hinterlassen Sie einen Kommentar