Warum sind die Waren in Ladengeschäften immer auf eine ganz bestimmte Weise angeordnet? Warum scheinen sympathische und vertrauenswürdige Personen stets das Verhalten anderer zu spiegeln? Und warum versucht mancher, sein Selbstwertgefühl durch aufmunternde Selbstgespräche zu steigern?
Die Antwort auf diese Frage ist stets dieselbe: um Menschen auf einer unterbewussten Ebene zu beeinflussen, damit diese etwas Bestimmtes glauben oder sich auf eine Weise verhalten, die Ihnen wünschenswert erscheint.
Bei der Umfrageerstellung besteht die Aufgabe des Erstellers dagegen darin, Befragte gerade nicht zu beeinflussen; vielmehr sollen Umfragen so aufgebaut sein, dass sie dem Befragten ehrliche und durchdachte Antworten entlocken. Scheitert er daran, dann sind die Beantwortungsdaten nicht so exakt – und damit auch nicht so wertvoll –, wie sie sein sollten.
Um Verfälschungen in Ihrer Umfrage zu vermeiden, wollen wir uns einmal genauer ansehen, wie Sie Ihren Einfluss auf das Unterbewusstsein Ihres Befragten möglichst gering halten.
Beginnen wollen wir dabei mit einer der häufigsten Ursachen für Verfälschungen: der Reihenfolge der Antwortoptionen für eine Frage.
Verfälschungen durch die Reihenfolge der Optionen
Welches ist der meistverwendete Fragetyp? Ganz klar:
Da die Antwortoptionen die Basis für Multiple-Choice-Fragen bilden, sollten Sie es sich zur Gewohnheit machen, Verfälschungen durch die Anordnung der Antwortoptionen zu erkennen und zu vermeiden.
Solche Verfälschungen treten dann auf, wenn die Reihenfolge der Antwortoptionen den Befragten bei der Auswahl einer bestimmten Antwort oder Antwortkombination beeinflusst. Zu unterscheiden sind dabei vor allem zwei Ausprägungen:
- Primatsverfälschung: Bei der Primatsverfälschung handelt es sich um die Neigung des Befragten, eine der ersten ihm angezeigten Antwortoptionen auszuwählen. Das passiert meistens entweder deswegen, weil es die erste Option ist, der der Befragte zustimmt, oder weil er durch die Beantwortung hetzt und sich dabei immer für eine der ersten Optionen entscheidet.
- Aktualitätsverfälschung: Die Aktualitätsverfälschung wird durch die Neigung verursacht, eine Antwortoption auszuwählen, die am Ende einer Liste steht: Sie ist dem Befragten einfach noch präsenter und erscheint ihm deswegen naheliegender.
Und wie nun vermeidet man das Auftreten solcher Verfälschungen in Umfragen? Der beste Ansatz ist die so genannte Randomisierung der Antwortoptionen zu Ihren Fragen.
Um zu veranschaulichen, inwieweit die Randomisierung einen Einfluss auf Verfälschungen durch die Reihenfolge der Antwortoptionen hat, hat das SurveyMonkey Research-Team ein Experiment durchgeführt. Wir haben 400 Teilnehmer gefragt, was ihnen bei ihrer Arbeit am meisten auf die Nerven geht. Dabei wurde der Hälfte der Befragten Fragen mit randomisierten Antwortoptionen angezeigt, der anderen Hälfte nicht.
Hinweis: Die Reihenfolge der im Diagramm gezeigten Antwortoptionen ist dieselbe wie bei der Originalfrage ohne Randomisierung. Die blauen Balken zeigen die Ergebnisse ohne Randomisierung an, die grünen hingegen die Resultate für die randomisierten Antwortoptionen.
Offensichtlich unterscheiden sich die Ergebnisse für die beiden Gruppen erheblich. Ohne Randomisierung gab es eine deutlich höhere Wahrscheinlichkeit, dass die Optionen oberhalb der Trennlinie ausgewählt wurden. Was nichts anderes bedeutet, als dass wir verfälschte und irreführende Antwortdaten erhalten haben.
Und wie sieht es bei den randomisierten Antwortoptionen aus? Hier gab es für jede Option eine gleichgroße Wahrscheinlichkeit der Auswahl. Die Option „Rücksichtslose Kollegen“ ist dabei in der Rangfolge von Platz 2 an die Spitze gesprungen.
Die Umsetzung der Randomisierung von Antwortoptionen bei Ihrer nächsten Umfrage ist ganz einfach: Sie müssen sich nur an die in diesem Artikel beschriebenen Schritte halten.
Profitipp:
- Es gibt auch Fälle, in denen Antwortoptionen nicht randomisiert werden sollten. Hierzu gehören etwa auf- bzw. absteigende Optionen (z. B. „Extrem zufrieden“ → „Extrem unzufrieden“) und Fälle, in denen Ihre Befragten eine bestimmte Reihenfolge gewohnt sind (beispielsweise die Auflistung von Bundesländern in alphabetischer Reihenfolge).
- Möchten Sie eine Anzeige oder ein Konzept mit Bildern als Antwortoptionen testen? Dann probieren Sie doch einmal unsere Bildauswahlfrage aus und randomisieren Sie die Reihenfolge der Optionen.
Verfälschungen durch die Reihenfolge der Fragen
Bei dieser Form der Verfälschungen sind zwei Varianten zu unterscheiden. Die eine steht im Zusammenhang mit der Beziehung zwischen der Reihenfolge Ihrer Fragen und deren jeweiliger Konkretheit, die andere entsteht dadurch, dass die Fragen nicht randomisiert sind (was insbesondere für das Testen von Anzeigen oder Konzepten gilt).
Vom Allgemeinen zum Speziellen
Wenn Sie einen Teilnehmer nach seinen Erfahrungen mit einem bestimmten Thema fragen, dann steht am Anfang zunächst eine allgemeine Frage zur Gesamterfahrung. Darauf folgen mehrere spezielle Fragen.
Verfolgen Sie bei Ihren Fragen einen Ansatz der zunehmenden Konkretisierung.
Warum ist die Reihenfolge der Fragen überhaupt wichtig? Das liegt daran, dass es zu einer Verfälschung bei den Beantwortungen kommen kann, wenn Sie die speziellen Fragen zuerst stellen. Außerdem fühlen sich Ihre Befragten dann möglicherweise überfordert.
So wurden Befragte in einem Experiment gebeten, ihre Zufriedenheit mit ihrem Leben und mit ihrer Ehe oder Partnerschaft anzugeben. Bei der Frage nach der allgemeinen Zufriedenheit im Leben gab es nur eine geringe Korrelation zwischen den Antworten und den Fragen. Kehrte man die Reihenfolge der beiden Fragen jedoch um, dann stellte sich heraus, dass die Gesamtzufriedenheit im Leben bei Verheirateten wesentlich höher war. Indem nämlich zuerst die Frage nach der Zufriedenheit in der Partnerschaft gestellt wurde, erhielt diese einen Einfluss auf die nächste Frage. So entstand bei den Antwortdaten zur allgemeinen Zufriedenheit mit dem Leben eine Verfälschung.
Probieren Sie unsere Vorlage für Umfragen zur Kundenzufriedenheit aus. Anhand dieser Vorlage können Sie die Reihenfolge Ihrer Fragen in Bezug auf die zunehmende Konkretisierung bewerten.
Fragenrandomisierung bei Konzepttests
Eine weitere häufig auftretende Situation, in der eine Verfälschung durch die Fragereihenfolge entsteht, sind Konzepttests. Hierbei soll ein Konzept – beispielsweise eine Anzeigenkampagne, ein Produktkonzept, ein neues Logo usw. – auf der Grundlage von Feedback verfeinert werden, das Sie in Ihrem Zielmarkt erheben.
Möchten Sie selbst Erhebungen durchführen?
Holen Sie mit SurveyMonkey Audience Verbraucherfeedback zu Ihren Anzeigen und Produktkonzepten ein.
Wir wollen uns noch drei weitere häufig eingesetzte Taktiken zur Vermeidung reihenfolgebedingter Verfälschungen in Konzepttests ansehen: die Randomisierung der Reihenfolge von Fragen, Seiten und Blöcken (d. h. mehreren aufeinanderfolgenden und thematisch zusammengehörenden Umfrageseiten).
Nehmen wir an, Sie testen zwei Anzeigen. Wenn Sie sie jedem Befragten in jeweils derselben Reihenfolge präsentieren, dann wird die erste Anzeige die Meinung der Teilnehmer zur zweiten beeinflussen, nicht aber umgekehrt. Hierdurch entsteht eine Verfälschung im Vergleich zwischen den beiden Anzeigen.
Randomisieren Sie stattdessen die Präsentationsreihenfolge für die Anzeigen, dann erhalten Sie einen echten Vergleich. Da die Befragten die Anzeigen in unterschiedlicher Reihenfolge sehen, können Sie die Verfälschung auf diese Weise wirksam „herausrandomisieren“.
2) Randomisierung von Seiten: Statt alle Anzeigen gemeinsam darzustellen, können Sie jede Anzeige auf einer eigenen Umfrageseite vorführen und dann die jeweiligen Folgefragen stellen.
Danach randomisieren Sie die Reihenfolge der betreffenden Seiten. Wenn Sie die Antworten erhalten, können Sie die relative Beliebtheit des jeweiligen Bildes oder Videos durch Analyse der Gesamtergebnisse vergleichen.
3) Randomisierung von Blöcken: Wenn Sie Bilder oder Videos jeweils über mehrere Seiten mit Fragen testen, dann brauchen Sie die Randomisierung von Blöcken.
Zur Verwendung der Randomisierung von Blöcken fassen Sie die betreffenden Seiten zu Blöcken zusammen. Danach können Sie festlegen, ob alle Blöcke mit randomisierter Reihenfolge angezeigt werden sollen oder ob jeder Befragte einen zufällig ausgewählten Block sehen soll.
Das folgende Bild zeigt, wie die Randomisierung von Blöcken in der Praxis funktioniert.
Das Entwerfen von Umfragen hat viel mit Nuancen zu tun. Ob Blöcke, Seiten, Fragen oder Antwortoptionen: Jeder dieser Faktoren kann für Verfälschungen unterschiedlicher Art verantwortlich sein. Deswegen empfehlen wir Ihnen, die Tipps in diesem Artikel auszuprobieren und dadurch Beantwortungsverfälschungen zu vermeiden. Wenn die ersten Antworten bei Ihnen eintreffen, werden Sie froh sein, die richtigen Maßnahmen ergriffen zu haben.
