5 häufige Umfragefehler, die Ihre Daten ruinieren

1,6 Mio. Umfragebeantwortungen pro Tag. Das sind in jedem Fall genug Daten, um zu wissen, was eine gute Umfrage auszeichnet. Vielleicht haben Sie schon die richtigen Fragen im Kopf? Aber wie Sie diese letztlich formulieren und aufbauen kann den großen Unterschied machen zwischen irreführenden Ergebnissen und wertvollen Erkenntnissen. 

Schlecht formulierte Fragen können die Sichtweise der Befragten verzerren oder sie unbeabsichtigt zu einer ungenauen Antwort verleiten. Gut geschriebene Fragen geben den Umfrageteilnehmenden alle Freiheiten, sie aufrichtig zu beantworten, ohne Fehlinterpretationen oder Verzerrung. Die Fragen sollten präzise anleiten und die Befragten nicht in die eine oder andere Richtung drängen.

Bevor Sie also den (virtuellen) Stift in die Hand nehmen, sollten Sie die folgenden fünf häufig gemachten Umfragefehler kennen bzw. wissen, wie Sie diese vermeiden.

Dies ist der Umfragefehler Nr. 1: Fragen sollten niemals so gestellt sein, dass sie die Zielgruppe in eine bestimmte Richtung beeinflussen. In der Regel können Sie eine Suggestivfrage leicht daran erkennen, dass die Frage nicht neutral gestellt ist.

Schlechte Frage: Wie klein war Napoleon?

Das Wort „klein“ erzeugt sofort Bilder im Kopf der Befragten. Durch eine neue, neutrale Wortwahl kann eine Verzerrung durch die suggestive Formulierung vermieden werden.

Gute Frage: Wie würden Sie Napoleons Körpergröße einschätzen?

Suggestivfragen können auch zu unnötigen Zusätzen in der Frage führen.

Schlechte Frage: Ist die derzeitige Kindersatzpflicht im Auto für besorgte Eltern sinnvoll?

Durch die Formulierung „besorgte Eltern“ werden die Befragten vom eigentlichen Thema der Frage abgelenkt. Beschränken Sie sich daher immer nur auf die notwendigen Inhalte einer Frage.

Gute Frage: Sind Sie der Meinung, dass die derzeitige Kindersitzpflicht im Auto sinnvoll ist?

Fangfragen sind so gestellt, dass sie die Befragten zu einer Antwort zwingen, die nicht unbedingt ihrer Meinung oder Situation entspricht. Dieser häufige Umfragefehler wirft die Teilnehmenden Ihrer Umfrage aus der Bahn und ist einer der Hauptgründe für das Abbrechen einer Befragung.

Schlechte Frage: Wo trinken Sie gerne Bier?

Beantwortet die/der Befragte diese Frage, sagt sie/er damit aus, dass sie/er Bier trinkt. Viele Leute mögen aber kein Bier oder trinken gar keinen Alkohol. Daher können diese Leute diese Frage nicht wahrheitsgemäß beantworten.

In der Regel können Fangfragen am besten dadurch vermieden werden, dass Sie Ihre Frage vor dem Versenden testen. So gewährleisten Sie, dass die Befragten die Fragen ehrlich beantworten können.

Im obigen Beispiel wäre es vielleicht gut, vorab zu fragen, ob der oder die Befragte Bier trinkt. Über Verzweigungslogik können die Teilnehmenden, die kein Bier trinken, die Fragen überspringen, die nicht auf sie zutreffen.

Was ist eine Doppelfrage? Diese Art von Frage gehört zu den häufigsten Fehlern bei Umfragen und liegt vor, wenn die Befragten gezwungen werden, zwei Fragen gleichzeitig zu beantworten. Damit ruinieren Sie ganz sicher Ihre Umfrageergebnisse.

Fragen sollten immer so formuliert sein, dass nur eine Sache gemessen wird. Hat eine Frage gleich zwei Themen, dann können Sie unmöglich entscheiden, wie die Befragten die verschiedenen Elemente für sich gewichten.

Schlechte Frage: Wie zufrieden oder unzufrieden sind Sie mit dem Gehalt und den Zusatzleistungen an Ihrer jetzigen Arbeitsstelle?

Sehen wir uns dieses Beispiel näher an, so erkennen wir, dass ein Aufsplitten der Frage sinnvoll ist: Zufriedenheit mit der Vergütung und Zufriedenheit mit den Mitarbeitervorteilen. Anderenfalls werden einige Befragte bei der Beantwortung Ihrer Frage der Vergütung mehr Gewicht zumessen und andere den Zusatzleistungen.

Gute Fragen: Wie zufrieden oder unzufrieden sind Sie mit Ihrem Gehalt an Ihrer jetzigen Arbeitsstelle? Wie zufrieden oder unzufrieden sind Sie mit den Zusatzleistungen Ihres aktuellen Arbeitgebers?

Eine Doppelfrage ergibt sich auch ganz schnell, wenn man die Befragten bittet, mehr als eine Gruppe zu beurteilen.

Schlechte Frage: Wie sinnvoll ist dieses Lehrbuch für Studierende und Berufsanfänger:innen auf diesem Gebiet?

Diese Fragestellung zwingt die Befragten, eine Antwort für zwei Gruppen zu geben. Es ist besser, auch diese Frage in zwei aufzuteilen: eine für die Studenten und eine für die Berufsanfänger:innen.

Gute Fragen: Wie sinnvoll ist dieses Lehrbuch für Studierende auf diesem Gebiet? Wie sinnvoll ist dieses Lehrbuch für Berufsanfänger:innen auf diesem Gebiet?

Absolute Wörter in Fragen zwingen die Befragten in eine Ecke, aus der sie kein sinnvolles Feedback mehr geben können. Diese Fragen haben als Antwortoption üblicherweise „Ja/Nein“ und beinhalten Wörter wie „immer“, „alle“, „niemals“, „keine“ usw.

Schlechte Frage: Frühstücken Sie immer? (Ja/Nein)

Nimmt man die Frage wörtlich, so müssten fast alle Befragten sie mit „Nein“ beantworten. Selbst dann würde es einige Befragte geben, die die Frage so interpretieren, ob sie immer ein umfassendes Frühstück zu sich nehmen, wenn die Zeit es erlaubt.

Dadurch, dass absolute Wörter keinen Spielraum lassen, werden die Fragen zu starr und sind für Umfragen ungeeignet. Stattdessen sollte die Frage mehrere Möglichkeiten bieten, aus denen die Teilnehmenden gerne auswählen.

Gute Frage: An wie vielen Tagen der Woche frühstücken Sie? (jeden Tag / an 5–6 Tagen / an 3–4 Tagen /an 1–2 Tagen / ich frühstücke normalerweise nicht)

Unabhängig davon, wer an der Erhebung teilnimmt: Formulieren Sie Ihre Fragen klar, präzise und einfach. Vermeiden Sie Akronyme, technische Begriffe oder Fachsprache, die die Befragten verwirren könnten. Fügen Sie auf jeden Fall auch Definitionen oder Beispiele ein, um kompliziertere Begriffe oder Sachverhalte zu erklären. Dann kann fast jeder Ihre Fragen einfach beantworten und wird Ihre Umfrage mit höherer Wahrscheinlichkeit abschließen.

Schlechte Frage: Besitzen Sie einen Tablet-PC?

Gute Frage: Besitzen Sie einen Tablet-PC (z. B. iPad oder einen Touchscreen-PC mit Android)?

Schlechte Frage: In welchem Sauberkeitszustand befand sich der Raum?

Gute Frage: Wie sauber war der Raum?

Schreiben Sie Fragen so, dass sie einfach zu verstehen sind. Einige Stichprobengruppen verfügen jedoch vielleicht über ein Wissen, das die Verwendung schwieriger Begriffe oder Ideen möglich macht.

Fragen Sie sich, ob Ihre Befragten gute Kenntnis bestimmter Ereignisse, Begriffe oder Problemstellungen haben, die in der Umfrage behandelt werden. Je mehr Sie sich darauf konzentrieren können, gute Fragen zu stellen, statt zu versuchen, alles in einfache Worte zu kleiden, umso besser.

Ein Beispiel: Bei der Befragung von Patientinnen und Patienten in einem Krankenhaus werden Sie in der Regel die Verwendung medizinischer Fachbegriffe vermeiden. Wenn Ihre Stichprobe sich aber aus Ärzten und Ärztinnen zusammensetzt, ist es sinnvoll, spezialisierte Fragen zu stellen und medizinische Fachsprache einzusetzen.

Vermeiden Sie die genannten fünf häufigen Fehler beim Erstellen von Befragungen, dann sollte Ihre Umfrage „wie geschmiert“ laufen, Sie erhalten genauere Daten, und die Befragten beenden die Erhebung mit einem guten Gefühl, denn sie konnten ehrliches und präzises Feedback geben. Dreifacher Gewinn! Also los: Greifen Sie zur sprichwörtlichen Feder und schreiben Sie Ihre Fragen auf.

Sie wissen nicht so recht, wie Sie Ihre Frage richtig formulieren sollen? Wir haben für Sie umfangreiche Ressourcen vorbereitet. Oder wenden Sie sich an unsere Fachleute: Diese entwerfen gerne die Umfrage für Sie.