So bekommen Sie die subtile Bedrohung für Ihre Umfragedaten in den Griff

„Satisfizierung“ (engl. „Satisficing“) ist ein Fantasiewort, das eine Situation bezeichnet, in der Befragte nicht so viel Eifer beim Beantworten Ihrer Umfrage zeigen, wie sie eigentlich sollten. Das klingt möglicherweise gar nicht nach einem großen Problem, aber die Auswirkungen auf Ihre Daten können beträchtlich sein.

Natürlich kann man die Satisfizierung als Problem der Befragten auffassen, da sie diejenigen sind, die die Mühe scheuen, bei Ihrer Umfrage wohlüberdachte Antworten zu geben. Allerdings fällt es Ihnen als Umfrageersteller zu, eine Umfrage zu formulieren, die es Ihren Befragten so einfach wie möglich macht, ihre Meinung zu äußern.

In Wahrheit nämlich sind Sie bei Umfragen auf das Wohlwollen der Befragten angewiesen. Betrachten Sie dieses Wohlwollen als Verbrauchsressource, die nicht uneingeschränkt verfügbar ist. Ist es aufgebraucht, dann werden immer mehr Menschen die Beantwortung Ihrer Umfrage abbrechen oder zum schnellen Fertigstellen auf das Satisfizieren zurückgreifen.

Das Problem der Satisfizierung kann für Ihre Umfrage genauso schlimme Folgen haben wie der Abbruch der Beantwortung.

Wenn ein Befragter die Umfragebeantwortung abbricht, ist das bedauerlich. Ihnen entgeht dadurch eine potenziell wichtige Meinungsäußerung, die bei Ihnen eine neue Idee entfacht oder eine Antwort enthalten haben könnte, die für Sie extrem wichtig gewesen wäre. Aber: Wenn ein Befragter die Beantwortung abbricht, ist das eine klare Sache. Sie wissen genau, wer die Umfrage wann vorzeitig beendet hat.

Profitipp: Mit den Filtern im Analysetool können Sie Befragte extrahieren, die Ihre Umfrage nicht abgeschlossen haben. Dies ist besonders nützlich, wenn Sie viele Antworten erhalten haben und Ihre Ergebnisse eingrenzen möchten.

Das Problem besteht in den Personen, die Ihre Umfrage satisfizieren. Diese auszusondern, kann extrem schwierig sein. Ihre Antworten erscheinen auf den ersten Blick vollkommen normal, obwohl sich der betreffende Befragte überhaupt keine Gedanken bei der Beantwortung gemacht hat.

Er steckt vielleicht nur ein Minimum an Aufwand in die Beantwortung und manche gehen sogar hin und wählen bei jeder Frage einfach die Option C aus, weil ihnen der Buchstabe so gut gefällt (das nennt man übrigens Straightlining – wir werden darauf noch zurückkommen).

Bevor Sie jetzt aber paranoid werden: Satisfizierung kommt wahrscheinlich gar nicht so häufig vor, wie man annehmen möchte. Wir werden das Konzept der Satisfizierung in diesem Artikel beschreiben und außerdem ein paar Warnzeichen erläutern, anhand derer Sie das Problem in Ihrer Umfrage erkennen können.

Wenn Sie sich eingehend mit dem Thema befassen möchten, laden Sie unseren kostenlosen Leitfaden herunter, der Ihnen zeigt, wie Sie die Satisfizierung in Ihrer Umfrage in den Griff bekommen.

Wie entsteht Satisfizierung eigentlich?

Wir alle haben bereits das eine oder andere Mal satisfiziert, nur vielleicht nicht in Umfragen. Denken Sie an Ihren letzten Restaurantbesuch zurück. Haben Sie wirklich jedes einzelne Gericht auf der Speisekarte studiert, in Beziehung dazu gesetzt, worauf Sie Appetit haben, und am Ende die hierfür passende Option gewählt?

Angenommen, Sie waren hungrig. Wie wahrscheinlich wäre es gewesen, dass Sie das erstbeste Gericht ausgewählt hätten, das vielversprechend klang? Oder angenommen, Ihre Erwartungen an das Essen waren sehr gering, egal was Sie auswählen würden. Waren Sie vielleicht abgelenkt? Dann haben Sie sich womöglich nicht so viel Zeit zum Auswählen Ihres Gerichts genommen.

Dieselben Überlegungen gelten auch für Umfrageteilnehmer. Am Ende lässt es sich auf drei Hauptfaktoren begrenzen.

1. Welche Belohnung gibt es?

Wenn Menschen ihre Zeit in etwas investieren, dann wünschen sie sich in der Regel, dass für sie dabei auch etwas herausspringt.

Vielleicht bekommen Sie die Antworten, die Sie sich von der Umfrage versprochen haben, aber möglicherweise werden Sie die Ergebnisse niemals veröffentlichen und nur in den seltensten Fällen direkt den Befragten zukommen lassen. Trotzdem können sie ihren Beitrag durchaus als wertvoll betrachten. Das gilt insbesondere dann, wenn die Meinungsäußerung zum Wohl der Allgemeinheit erfolgt.

Deshalb ist Relevanz so eminent wichtig. Personen, denen das Thema der Umfrage wirklich wichtig ist, haben ein persönliches Interesse daran, sie zu beantworten.

2. Menschen sind immer abgelenkt.

Dieser Punkt ist zwar nicht identisch mit dem vorhergehenden, steht jedoch mit ihm in Zusammenhang. Als Optimisten gehen wir davon aus, dass Menschen nicht nur aus Eigeninteresse motiviert sind. Vielleicht wären Sie tatsächlich bereit, wohldurchdachtes Feedback zu geben, aber man hat ja immer irgendetwas zu tun, nicht wahr?

Und so kann es sein, dass Personen, die die Bearbeitung Ihrer Umfrage mit den besten Absichten starten, an irgendeiner Stelle etwa durch eine wichtige E-Mail, einen Niesanfall oder irgendetwas anderes unterbrochen werden. Wichtig ist: Ablenkungen existieren nicht nur, sondern können sich auch unmittelbar darauf auswirken, wie ernst Menschen die Befragung Ihrer Umfrage nehmen.

3. Die Beantwortung von Umfragen ist Schwerstarbeit. Ehrlich!

Jetzt kann es ein bisschen streberhaft werden, denn wir wollen uns kurz mit wissenschaftlichen Grundlagen von Umfragen in Kombination mit Verhaltenspsychologie beschäftigen. Jon Krosnick ist Professor für Politikwissenschaften, Kommunikation und Psychologie. Er hat eine Menge über Umfragemethodiken geschrieben und sich dabei auch aus psychologischer Perspektive der Frage gewidmet, weshalb Menschen sich bei Umfragen oft nicht richtig motivieren lassen.

Was passiert im Kopf Ihrer Befragten, wenn sie Umfragefragen beantworten? Nach Meinung von Krosnick sollte das Ganze mehr oder weniger wie folgt ablaufen:

  1. Der Befragte liest die Frage und verarbeitet ihre Bedeutung.
  2. Er sucht in seinem Gehirn nach relevanten Informationen.
  3. Er fasst alles vorhandene Wissen in einer abschließenden Beurteilung zusammen.
  4. Er überprüft die verfügbaren Antwortoptionen, um festzustellen, welche seiner eigenen Antwort am nächsten kommt, und wählt diese dann aus.

Wenn man den Prozess so zergliedert, dann klingt die Beantwortung einer Frage nach einer Menge Arbeit, nicht wahr?

Jetzt gibt es einige Leute, die die kognitive Belastung bei der Beantwortung von Fragen dadurch zu senken versuchen, dass sie bei der Bearbeitung der Schritte 2 und 3 nicht mit der erforderlichen Sorgfalt vorgehen. Solche Personen wie auch diejenigen, die während dieses Vorgangs ihren Vorurteilen erliegen, heißen „schwache Satisfizierer“.

Starke Satisfizierer dagegen lassen die Schritte 2 und 3 gleich ganz weg. Sie suchen in der Frage nach Hinweisen, die auf die am einfachsten zu rechtfertigende Antwort hindeuten, und wählen diese ohne weiteres Nachdenken aus.

Doch ob stark oder schwach spielt keine Rolle: die Satisfizierung führt in Ihren Umfragedaten zu Verfälschungen. Wenn Sie jedoch mit solchen satisfizierungsspezifischen Verfälschungen vertraut sind, dann können Sie diese auch ganz leicht umgehen.

5 Verfälschungen, die durch Satisfizierung in Ihren Umfragedaten entstehen können

Primatsverfälschung: Die Primatsverfälschung (engl. „Primacy Bias“) ist in der Regel ein Problem bei schriftlichen Umfragen oder Online-Umfragen – und damit für SurveyMonkey besonders relevant. Die Theorie besagt, dass Befragte dazu tendieren, die erste zufriedenstellende Antwort auszuwählen, auf die sie stoßen. Das muss nicht unbedingt die beste Antwort sein. Wenn zu viele Personen die Antwortoption A auswählen, dann liegt wahrscheinlich ein Fall von Primatsverfälschung vor.

Zum Glück lässt sich dieses Problem recht einfach beheben. Zur Vermeidung einer Primatsverfälschung müssen Sie die Antwortoptionen in Ihrer Umfrage einfach nur randomisieren. Auf diese Weise sieht jeder Befragte die Antwortoptionen in einer anderen Reihenfolge.

Aktualitätsverfälschung: Die Aktualitätsverfälschung (engl. „Recency Bias“) ist das Gegenteil der Primatsverfälschung. Dieses Problem tritt eher bei Umfragen auf, die mündlich durchgeführt werden, als bei visuellen Umfragen (z. B. Telefonumfragen im Gegensatz zu Online-Umfragen). Die Aktualitätsverfälschung tritt auf, wenn ein Befragter die letzte Option auswählt, die er gehört hat oder an die er sich erinnern kann. Bei Online-Umfragen sieht der Befragte alle Antwortoptionen vor sich, weswegen die Aktualitätsverfälschung ein wesentlich geringeres Problem darstellt.

Wenn Sie also den Eindruck haben, dass bei Ihren Umfragen eine Aktualitätsverfälschung vorliegt, dann sollten Sie vielleicht erwägen, stattdessen eine Online-Umfrage durchzuführen.

Akquieszenz: Verfälschungen durch Akquieszenz können auftreten, weil Befragte auch in Umfragen dazu neigen, Konflikten aus dem Wege zu gehen. Kognitiv betrachtet ist es häufig einfacher, einer Aussage zuzustimmen, als sie abzulehnen.

Nach Krosnicks Angaben gibt es eine Vielzahl persönlicher Eigenschaften, die die Wahrscheinlichkeit der Akquieszenz in Umfragen erhöht. Hierzu gehören Einkommenssituation, Bildung, themenspezifisches Wissen usw.

Forscher der Stanford University in den USA und des GESIS – Leibniz-Instituts für Sozialwissenschaften in Mannheim – haben kürzlich mithilfe einer Eye-Tracking-Software ermittelt, wie viel Aufmerksamkeit Befragte den Fragen einer Umfrage widmen. Wenn eine Frage die Antwortoptionen „Ich stimme zu“ und „Ich stimme nicht zu“ anboten, war die Aufmerksamkeitsspanne wesentlich geringer. Hierdurch werden Verfälschungen durch Akquieszenz wahrscheinlicher.

Wir können die Eigenschaften, die laut Krosnick zur Akquieszenz führen, zwar eigentlich nicht steuern, aber wir können unsere Umfrage auf jeden Fall entsprechend vorbereiten, um die Kontrolle zu erleichtern. Um akquieszenzbedingte Verfälschungen in Umfragen zu vermeiden, müssen wir lediglich bestimmte Fragetypen weglassen  – nämlich solche, die mit Antwortoptionen der Typen „ja“ oder „nein“, „Ich stimme zu“ oder „Ich stimme nicht zu“ oder „wahr“ oder „falsch“ versehen sind. So vereinfachen wir die Beantwortung unserer Umfrage.

„Keine Meinung“-Verfälschung: Na gut: Natürlich ist das kein offizieller Begriff. Allerdings steht er für ein schwerwiegendes Satisfizierungsproblem!

Das Hinzufügen der Antwortoption „Dazu habe ich keine Meinung“ prädestiniert das Auftreten der Satisfizierung, denn hiermit erhalten Befragte eine Option, bei der sie nicht weiter nachdenken müssen, auf dem Präsentierteller geliefert. Am besten lassen Sie Antwortoptionen dieses Typs weg und bieten Ihren Befragten stattdessen die Möglichkeit, die Frage zu überspringen, wenn sie zum Thema tatsächlich keine Meinung haben.

Straightlining: Von Straightlining in Umfragen spricht man, wenn Befragte die gleiche Antwortoption immer wieder verwenden. Hierfür gibt es zwei Ursachen: Entweder sind die Befragten tatsächlich Idioten, oder die Umfrage ist extrem schwierig oder aber schlecht entworfen. Manchmal trifft auch beides zu.

Straightlining ist eine typische Erscheinung bei Umfragen, bei denen viele sehr ähnliche Fragen gleichzeitig angezeigt werden und der Befragte zwischen diesen nicht unterscheiden kann oder will. Verkürzen lässt es sich darauf, dass Befragte, denen eine Menge ähnlicher Fragen angezeigt werden, eine Menge ähnlicher Antworten geben. Dieses Problem tritt häufig bei umfangreichen Matrixfragen auf, ist aber ebenso typisch für Umfragen mit mehreren separaten, aber nacheinander gestellten Bewertungsfragen.

Zur Vermeidung des Straightlinings in Ihrer Umfrage sollten Sie am besten keine Matrixfragen verwenden und lange Listen mit Bewertungsfragen möglichst unterteilen.

Manchmal brauchen Sie das passende Publikum

Wie wir gesehen haben, ist die Satisfizierung ein wesentlicher Gesichtspunkt bei der Erstellung von Umfragen. Wenn Sie sich aber an den oben und in unserem E-Guide skizzierten Best Practices orientieren, können Sie das Problem weitgehend ausschließen. Es ist wichtig, die Umfrage relativ kurz und benutzerfreundlich zu halten und sicherzustellen, dass die Fragen eindeutig formuliert und leicht zu lesen sind.

Sie können viel Arbeit investieren, um Ihre Umfragen interaktiv zu gestalten und das Interesse Ihrer Befragten zu fesseln, aber manches liegt leider nicht in Ihrer Hand. Am Ende hängt eine Menge davon ab, ob Sie Menschen befragen, die Interesse zeigen und bereitwillig ihre Zeit investieren, um Ihre Umfrage zu beantworten.

Solche Menschen finden Sie zu Millionen bei SurveyMonkey Audience.

Das Team bewertet regelmäßig die Stichprobenqualität mithilfe verlässlicher Umfragemethoden, und die regelmäßige Durchführung von Umfragen zur eigenen Profilerstellung sorgt dafür, dass die demographischen Informationen jederzeit auf dem aktuellen Stand sind. Hinzu kommt: Befragte in den USA spenden für jede Umfrage, an der sie teilnehmen, 0,50 US-Dollar an Wohltätigkeitsorganisationen. So werden durchdachte und ehrliche Beantwortungen gefördert.

Anmerkung des Redakteurs: Dieser Blogpost wurde ursprünglich 2010 veröffentlicht. Vor dieser Neuveröffentlichung wurden Anpassungen an die jetzigen Gegebenheiten vorgenommen.

Tags: , , ,

Inspiriert? Mach Deine eigene Umfrage!

Inspiriert? Mach Deine eigene Umfrage!

Hinterlassen Sie einen Kommentar