Warum das Filtern Ihrer Daten nach demografischen Gruppen so bahnbrechend ist

Sie haben Ihre Umfrage entworfen und erstellt, Daten gesammelt … und jetzt? Nun, je nachdem, was Ihnen vorschwebt, sind Sie vielleicht schon damit zufrieden, sich alle Ergebnisse vollkommen ungefiltert anzusehen.

Einen vollständigen Eindruck haben Sie sich damit aber noch nicht verschafft. Praktisch jeder Nutzer kann davon profitieren, dass er seine Umfragedaten genauer unter die Lupe nimmt. Dabei bieten sich vor allem die demografischen Daten der Befragten als Ausgangspunkt an.

Wenn Sie demografische Daten zu Ihren Umfrageteilnehmern erfassen, können Sie ein Profil Ihrer Befragten erstellen. So können Sie verstehen, wie verschiedene Personengruppen Ihre Umfrage unterschiedlich beantworten – etwa abhängig davon, ob es Angehörige Ihrer Organisation, Schüler und Studierende oder auch Mitarbeiter Ihres Unternehmens sind.

Das Analysetool von SurveyMonkey eignet sich perfekt, um die wichtigen Unterschiede zwischen den demografischen Gruppen zu ermitteln, die an Ihrer Umfrage teilnehmen. Diese lassen sich nämlich beispielsweise nach Ethnie oder Geschlecht unterteilen. Häufig gehören diese Unterschiede zu den interessantesten Datenbestandteilen und können eine beträchtliche Wirkung auf die Entscheidungen ausüben, die in Ihrem Unternehmen oder Ihrer Organisation getroffen werden.

Als Umfrageforscher sehen wir uns während der Analyse häufig eine ganze Reihe von Teilgruppen an. So fragt beispielsweise das Umfrageforschungsteam bei SurveyMonkey stets danach, mit welcher politischen Partei sich unsere Befragten in den USA am ehesten identifizieren können, denn wir erwarten in diesem Zusammenhang, Unterschiede je nach Parteipräferenz zu sehen. Beispiele für Erhebungen, bei denen diese Unterschiede durchschlugen, waren Umfragen zur Zustimmungsrate für die Arbeit von Donald Trump, zum Vertrauen in die Medien und zu politischem Aktivismus.

Vergleiche in der Praxis

Bei der AAPOR-Jahrestagung 2017 berichteten Forscher von Beispielen dafür, wie die Analyse von Teilgruppen den ursprünglichen Eindruck auf den Kopf stellte. Betrachten wir einmal die folgenden beiden Fälle:

1. Ethnie: Forscher der Universität Michigan führten eine Reihe von Experimenten durch, bei denen sie prüften, wie Angehörige verschiedener Ethnien dieselben Informationen verarbeiteten. Als Thema verwendeten sie ein hochbrisantes Problem, über das vielfach berichtet wurde: der Schusswaffengebrauch durch Polizisten. Die Teilnehmer wurden gefragt, was ihrer Meinung nach geschehen war. Dabei fanden sie heraus, dass Weiße und Afroamerikaner auch dann sehr unterschiedliche Antworten gaben, wenn ihnen dieselben Informationen vorgelegt wurden. Hätte man alle Beantwortungen aggregiert betrachtet, dann wären diese Unterschiede überhaupt nicht aufgefallen.

2. Religion: Experten beim Pew Research Center nahmen Teilgruppen innerhalb einer Religion unter die Lupe. Konkret ging es um Personen, die sich als evangelikale (oder „wiedergeborene“) Christen bezeichneten. Während die Teilnehmer bei Fragen nach der Häufigkeit des Gebets und des Gottesdienstbesuchs nahezu identische Antworten gaben, waren die Meinungen weißer und afroamerikanischer Befragter bei anderen Themen diametral unterschiedlich. Bei der Frage nach der bevorzugten Partei tendierten Weiße eher zu den Republikanern, Schwarze hingegen neigten den Demokraten zu. Dies hatte auch Auswirkungen auf ihr beabsichtigtes Abstimmungsverhalten bei den amerikanischen Präsidentschaftswahlen im Jahr 2016: Weiße Befragte sprachen sich vorwiegend für Trump aus, Afroamerikaner hingegen favorisierten fast ausschließlich Hillary Clinton. Auch die Einstellungen zu sozialen Fragen wie der gleichgeschlechtlichen Ehe und der Abtreibung unterschieden sich erheblich: Weiße Befragte äußerten sich durch die Bank konservativer.

Die Resultate dieser beiden Umfragen lassen denselben Schluss zu: Wenn Sie Ihre Daten haben, sollten Sie stets tiefer graben, dann können eventuell ganz andere Erkenntnisse herauskommen.

Nachfolgend beschreiben wir einige Schritte, die SIE durchführen können, damit der Einstieg in SurveyMonkey Analyze gelingt.

Daten mit Analyze besser aufschlüsseln

Der wichtigste Punkt ist, zunächst einmal zu wissen, welche Fragen in Ihren Umfragen gestellt werden müssen. Unser Ziel ist es dabei stets, Ihnen die Tools an die Hand zu geben, die Sie brauchen, um alle Nuancen Ihrer Daten ans Licht zu bringen. Das bedeutet, dass Sie sich bereits Gedanken darüber machen müssen, wie Sie Ihre Daten analysieren werden, bevor Sie überhaupt mit der Erstellung Ihrer Umfrage beginnen. Wie geht man dabei am besten vor? Sie müssen lediglich dafür sorgen, die folgenden drei Schritte durchzuführen, bevor Sie Ihre Umfrage bereitstellen:

Sorgen Sie dafür, dass …

… alle notwendigen Fragen vorhanden sind und berücksichtigt wurden.

Gehen Sie noch einmal zurück und vergewissern Sie sich, dass die Fragen, die Sie beantwortet wissen wollen, auch tatsächlich in Ihrer Umfrage vorhanden sind. Das klingt zwar naheliegend, aber manchmal, wenn man schon zahlreiche Versionen der Umfrage erstellt und bearbeitet hat und eine Menge Personen daran beteiligt waren, kommt es vor, dass eine wichtige Frage versehentlich entfernt wird. Damit gewährleistet ist, dass Sie Ihre Daten aus unterschiedlichsten Blickwinkeln betrachten können, empfehlen wir Ihnen, in den Prozess der Umfrageerstellung einen Schritt einzubauen, in dem Sie überprüfen, ob alle erforderlichen demografischen Fragen vorhanden sind, die einen wesentlichen Einfluss auf Ihre Daten haben können.

… Ihre Stichprobe ausreichend groß ist.

Haben Sie genug Personen aus der für Sie interessanten Bevölkerungsgruppe? Angenommen, es haben 200 Männer, aber nur 30 Frauen Ihre Umfrage beantwortet. In diesem Fall sollten Sie sich nicht dazu hinreißen lassen, Aussagen zu geschlechtsspezifischen Unterschieden zu machen. Auch sollten Sie keine geschäftlichen Entscheidungen auf Grundlage einer derart kleinen Stichprobe treffen, weil die gewonnenen Erkenntnisse keinesfalls verallgemeinert werden können. Nutzen Sie den SurveyMonkey-Stichprobenkalkulator und das Feature „Statistische Signifikanz“, um solche Probleme zu vermeiden.

Nun vergleichen Sie. Aber Vorsicht:

Hüten Sie sich vor Abweichungen durch Variablen.  

Nachdem Sie Ihre Umfrage gestartet und alle Beantwortungen erhalten haben, können Sie mit Analyze Vergleiche innerhalb von Gruppen wie auch zwischen diesen erstellen. Wenn Sie Ihre Teilnehmer beispielsweise nach ihrem Geschlecht gefragt haben, verfügen Sie nun über eine Variable, mit deren Hilfe Sie feststellen können, ob und inwieweit sich die Beantwortungen je nach Gruppe unterscheiden. Erliegen Sie aber nicht der Versuchung, aus kleinen Zahlen Schlussfolgerungen zu ziehen. Vergewissern Sie sich, dass Ihre Ergebnisse Gültigkeit haben und Ihre Stichprobe groß genug ist, um mit Gewissheit feststellen zu können, dass die Unterschiede nicht auf reinem Zufall basieren.

Das ist alles! Jedes Mal, wenn Sie eine Umfrage versenden, sollten Sie sich genauer ansehen, wer welche Fragen wie beantwortet hat. Hierzu verwenden Sie in Analyze Filter und Kreuztabellen, um sich Ihre Daten so zuzuschneiden, dass Sie sie aus einem ganz neuen Winkel betrachten können. Und natürlich sind demografische Daten häufig der beste Ausgangspunkt. Wenn Sie Ihre nächste Umfrage erstellen, filtern Sie doch zum Ausprobieren einfach mal nach Demografien!

Inspiriert? Mach Deine eigene Umfrage!

Inspiriert? Mach Deine eigene Umfrage!

Hinterlassen Sie einen Kommentar