Doppelfragen und andere häufige Umfragefehler

Es ist kein Geheimnis, dass Verfasser von Umfragen die Erfahrung der Befragten so perfekt wie möglich gestalten möchten. Denn nur so erhalten sie genaue Ergebnisse und können Erkenntnisse gewinnen, die ihrem Unternehmen zu mehr Erfolg verhelfen. Um all das zu erreichen, müssen sie jedoch Aspekte wie Ungenauigkeiten, zweideutige Fragen und einen der häufigsten Umfragefehler überhaupt vermeiden: Doppelfragen.

Doppelfragen fragen mehrere Punkte ab und sind im Grunde Fangfragen (man könnte auch von Denkfehlern sprechen). Der Fall tritt ein, wenn die Umfrageteilnehmenden in einer einzigen Frage um Feedback zu zwei verschiedenen Aspekten oder Themen gebeten werden. Da sie nur eine Antwort geben können, sind die Ergebnisse zwangsläufig verzerrt – keine gute Sache, wenn es um Umfragedaten geht.

Stellen Sie sich vor, ein Kunde hat eine brandneue Mikrowelle gekauft und hat Schwierigkeiten mit der Programmierung. Das Handbuch ist verwirrend und er ist so frustriert, dass er den Kundendienst des Unternehmens anruft. Die Mitarbeiterin, mit der er spricht, ist äußerst hilfsbereit, nimmt sich die Zeit, dem Kunden alles genauestens zu erklären, was er wissen muss, und beantwortet alle seine Fragen. Nach dem Gespräch erhält der Kunde eine Umfrage mit folgender Frage:

„Wie bewerten Sie die Qualität unseres Produkts und unseres Kundendiensts?“

Sie erkennen das Problem? Der Kunde möchte vielleicht eine negative Bewertung für das Produkt abgeben, da das Benutzererlebnis nicht gerade herausragend war, möchte jedoch gleichzeitig den Kundendienst positiv bewerten. Da beide Aspekte in einer Frage behandelt werden, muss der Kunde sich für einen der beiden entscheiden. Wenn die Umfrageergebnisse später analysiert werden, lässt sich daraus keine klare Antwort ermitteln bzw. es wird nicht deutlich, dass der Kunde eigentlich zwei getrennte Bewertungen zu dieser Frage hätte.

Das Szenario könnte natürlich auch anders ablaufen. Der Kunde könnte das Problem umgehen und entweder die Doppelfrage überspringen oder die Umfrage komplett abbrechen. In jedem Fall wirkt sich die Doppelfrage sowohl auf die Erfahrung des Befragten als auch auf die endgültigen Umfrageergebnisse negativ aus.

Wie also korrigieren Sie eine Doppelfrage und stellen sicher, dass Sie sich an die Best Practices für Fragen halten?

Am wichtigsten ist es, zu versuchen, nicht zu viel in eine Frage hineinzupacken. Multitasking mag in anderen Bereichen des Lebens von Vorteil sein, bei Fragen in Umfragen gilt das jedoch nicht. Wenn Sie feststellen, dass Sie versehentlich eine Doppelfrage erstellt haben, teilen Sie sie in zwei getrennte Fragen auf. Im obigen Beispiel würde die Umfrage, die der Mikrowellenkäufer erhält, stattdessen zwei Fragen enthalten:

Das Mikrowellenunternehmen könnte mit der Umfrage sogar noch einen Schritt weiter gehen und mit offenen Fragen nachfassen und den Befragten auffordern, den Grund für seine Bewertungen zu erläutern. (Solche Textantworten bieten den Kunden die Möglichkeit, Einzelheiten über den ausgezeichneten Kundendienst und die verwirrende Benutzererfahrung mitzuteilen.) Sobald eine Doppelfrage in einzelne Fragen aufgeteilt ist, erhalten Sie klare Antworten, anhand derer Sie entsprechend dem Feedback der Befragten handeln können.

Auch wenn Sie in Ihren Umfragen Doppelfragen vermeiden, denken Sie daran, dass es noch andere Fehler gibt, die sie mit Ihren Fragen machen können. Suggestivfragen sind eng mit Doppelfragen verwandt. Da sie die Befragten in der Regel verwirren und undurchsichtige Ergebnisse verursachen, sollten Sie unbedingt darauf achten, in Ihren Umfragen keine Suggestivfragen zu stellen.

So erkennen Sie eine Suggestivfrage: Sie enthält Verzerrungen, Meinungen oder nicht-neutrale Sprache, wodurch die Befragten in ihrem Denken möglicherweise nicht mehr unvoreingenommen sind. Wenn die Antworten der Befragten von Suggestivfragen beeinflusst werden, können Sie nicht mit genauen Umfrageergebnissen rechnen und die Meinung und Erfahrungen der Umfrageteilnehmenden werden nicht wirklich widergespiegelt.

Nehmen wir an, ein Unternehmen sendet eine Umfrage zum Mitarbeiterengagement an seine Beschäftigten. Hier ein Beispiel für eine Suggestivfrage zum Thema Vielfalt, Gleichheit und Inklusion:

„Wir wurden als eines der Unternehmen mit der umfangreichsten Inklusion in unserer Branche bewertet. Wie würden Sie unser Engagement für Vielfalt und Inklusion bewerten?“

In diesem Fall löst der Satz, der die Frage einleitet, eine bestimmte Erwartungshaltung unter den Befragten aus und könnte letztlich beeinflussen, wie diese das Thema Vielfalt, Gleichheit und Inklusion in ihrer Organisation sehen (und bewerten).

Manchmal enthalten Suggestivfragen unnötige Adjektive oder Deskriptoren. Nehmen wir beispielsweise an, dass in einer Umfrage zu Feedback nach einer Veranstaltung gefragt wird:

„Wie wahrscheinlich ist es, dass Sie diese beliebte Veranstaltung einer Freundin/einem Freund oder einer Kollegin/einem Kollegen weiterempfehlen?“

Wenn Sie „beliebte Veranstaltung“ statt einfach nur „Veranstaltung“ schreiben, beeinflusst das die Umfrageteilnehmenden, das Prestige der Veranstaltung zu berücksichtigen, was sich auf die Wahrscheinlichkeit der Weiterempfehlung auswirken kann. Um Suggestivfragen aus Ihren Umfragen herauszuhalten, achten Sie am besten darauf, dass der Wortlaut Ihrer Fragen neutral ist und sich genau auf das Thema konzentriert, mit dem sich die Befragten auseinandersetzen sollen.

Doppelfragen und Suggestivfragen sollten also in Umfragen definitiv vermieden werden. Und was gibt es sonst noch über problematische Fragestellungen und damit verbundene Umfragefehler zu wissen? Hier ein kurzer Überblick, den Sie im Hinterkopf behalten sollten:

Auch Fangfragen gehören nicht in Umfragen. Sie stellen Vermutungen über die Befragten an und zwingen diese, eine Antwort zu geben, mit der sie nicht einverstanden sind oder die auf sie nicht zutrifft. Ein Beispiel:

Da bei dieser Frage davon ausgegangen wird, dass die Befragten in einem Haus wohnen, dessen Eigentümer sie sind, würden die Antworten von Mietern oder Wohnungseigentümern wahrscheinlich nicht die Art von Umfragedaten hervorbringen, die der Ersteller der Umfrage benötigt.

Die beste Möglichkeit, Fangfragen zu vermeiden und inklusivere Umfragen zu verfassen, besteht darin, vorab Screeningfragen zu stellen und Verzweigungslogik anzuwenden, damit die Umfrageteilnehmenden wirklich nur die Fragen zu sehen bekommen und beantworten, die auf sie zutreffen.

Sie sollten sich immer um Klarheit und Konkretheit in Ihren Fragen bemühen. Zweideutige Formulierungen (also alle Formulierungen, die nicht sofort klar sind) bremsen die Befragten nicht nur aus, wenn diese rätseln müssen, was Sie meinen, sondern sie beeinträchtigen auch die Genauigkeit ihrer Antworten. Es ist beispielsweise besser, Kunden konkrete Fragen zur Qualität, zum Preis oder zur Benutzerfreundlichkeit Ihres Produkts im Vergleich zu anderen Marken zu stellen, als sie zu bitten, einer mehrdeutigen Aussage wie „Unser Produkt ist besser als das der Konkurrenz“ zuzustimmen oder zu widersprechen.

Niemand lässt sich gern in eine Ecke drängen, auch nicht, wenn es um die Beantwortung von Umfragen geht. Absolute Formulierungen in Fragen zwingen die Befragten in der Regel dazu, zwischen Ja und Nein zu wählen und enthalten Wörter wie „immer“, „nie“, „jeder“, „alle“ usw. Zum Beispiel: 

Das Wort „immer“ in dieser Frage, neben der Antwortoption „Ja/Nein“, bewirkt bei den Befragten eine äußerst starre Umfrageerfahrung. Um das zu verhindern, sagen Sie einfach Nein zu absoluten Formulierungen in Ihren Fragen.

Wir haben bereits erwähnt, dass Verzerrung einen großen Teil von Suggestivfragen ausmacht. Sie kann in Umfragen auch als Forschungsverzerrung vorkommen. Dazu gehören Ihre Umfragemethode, Ihre Zielpopulation (bzw. das Nichtvorhandensein derselben) und die Frage, ob die Antwortoptionen Ihrer Fragen vollständig und inklusiv sind. Ganz gleich, ob Sie in der Formulierung Ihrer Fragen oder in der Vorbereitungsphase Ihrer Umfrage auf Verzerrung achten, es ist wichtig, sorgfältig zu prüfen, wie Ihre Fragen wahrgenommen werden könnten und ob Sie dem Zweck und den Zielen Ihrer Umfrage treu bleiben.

Doppelfragen, genau wie alle anderen Umfragefehler, die wir hier umrissen haben, können auch den Besten von uns passieren. Zum Glück können Sie dem Fragenchaos entgegenwirken, indem Sie diese Tipps im Hinterkopf behalten und Ressourcen wie die von unseren Experten verfassten Umfragevorlagen sowie SurveyMonkey-Genie nutzen.