Keine Frage: Ihre Umfragebeantwortungen stellen ein wertvolles Tool dar.
Die Einsichten, die Sie ihnen entnehmen, helfen Ihnen, Ihre nächste geschäftliche Entscheidung zu treffen oder mehr über die Menschen zu erfahren, für die Sie sich interessieren.
Aber wussten Sie eigentlich schon, dass Sie anhand spezieller Muster in Ihren Umfragebeantwortungen Fehler erkennen können, die Sie beim Entwerfen Ihrer Umfrage gemacht haben? Was nichts anderes heißt als: Wenn Sie Ihre Umfragebeantwortungen untersuchen, um festzustellen, was schief gelaufen ist, werden Sie in Zukunft bessere Umfragen verfassen.
Wir zeigen Ihnen, wie Sie aus Ihren Antworten die richtigen Rückschlüsse auf Fehler in der Umfrage ziehen. Auf diese Weise lernen Sie, Umfragen zu schreiben, mit denen Sie Ihre Befragten mitnehmen können, und dadurch Beantwortungen zu erhalten, mit denen Ihr Team mehr anfangen kann.
Haben Sie die Verzweigungslogik korrekt verwendet?
Die falsche Nutzung der Verzweigungslogik gehört zu den häufigsten Fehlern in Umfrageentwürfen.
Die Verzweigungslogik ist ein Feature, mit dem ein Befragter basierend auf seiner Antwort auf eine Frage zu einer bestimmten anderen Frage oder Seite weitergeleitet wird.
Im Optimalfall ermöglicht Ihnen die Verzweigungslogik das Erstellen einer personalisierten Umfrage, die ausführliche Erkenntnisse für Ihr Team liefert. Wenn jedoch alles schief geht, dann landen die Befragten in einer Endlosschleife und werden verwirrt oder frustriert. Die Folge sind Verfälschungen in Ihren Ergebnissen.
Wenn Ihnen beispielsweise ein Befragter mitteilt, dass er vegan lebt, aber dann zu der Frage weitergeleitet wird, welche Fleischsorte er am liebsten isst, dann wird er die Beantwortung Ihrer Umfrage mit hoher Wahrscheinlichkeit abbrechen.
Um zu erkennen, wo die Verzweigungslogik ineffektiv eingesetzt wurde, prüfen Sie auf das Auftreten folgender Gegebenheiten:
1. Nach Beantwortung einer Frage, bei der Verzweigungslogik verwendet wird, bricht eine auffallend große Zahl von Befragten die Beantwortung ab.
Mit SurveyMonkey Analyze erkennen Sie solche Einbrüche auf den ersten Blick. Dem Abschnitt Frageübersicht Ihrer Umfrage können Sie entnehmen, wie viele Befragte eine bestimmte Frage beantwortet und wie viele sie übersprungen haben.
Eine kleine Anmerkung zu den verwendeten Benennungen: In Analyze bezeichnet „Überspringen“ das Verhalten eines Befragten, der eine Frage schlicht nicht beantwortet hat. Alles klar? Gut, dann können wir ja weitermachen.
Ein Überspringen kann in Analyze auf zweierlei hindeuten: Entweder hat ein Befragter die Frage übersprungen, die Umfragebeantwortung aber fortgesetzt, oder er hat die Beantwortung schlicht abgebrochen. Wenn die Anzahl der „Übersprungshandlungen“ bei einer Frage zunimmt und dann nicht mehr abfällt, bedeutet dies, dass Ihre Befragten die Umfrage nicht mehr fertiggestellt haben.
Natürlich muss man immer damit rechnen, dass der eine oder andere Teilnehmer sich vorzeitig verabschiedet, aber wenn zu viele Befragte die Umfrage abbrechen – und zwar in erster Linie bei einer Frage, die einer Frage mit Verzweigungslogik folgt –, dann sollten Sie sich die Sache genauer ansehen.
2. Sie erhalten absurde Ergebnisse.
Kommen wir noch einmal auf die Umfrage mit der Fleischfrage an die Veganer zurück. Was passiert, wenn Ihre Befragten angaben, dass Sie eine bestimmte Fleischsorte gerne mögen, obwohl sie doch gerade erst behauptet haben, sie lebten vegan?
Mithilfe von Filtern finden Sie in Analyze Ergebnisse, die abwegig wirken. So gehen Sie dabei vor:
- Wählen Sie Nach Frage und Antwort filtern aus dem Menü „Filter“ auf der linken Bildschirmseite aus.
- Klicken Sie auf eine Frage, die die Verzweigungslogik verwendet, und wählen Sie testweise eine Antwortoption aus.
- Überprüfen Sie in den gefilterten Ergebnissen, ob die Antworten Ihrer Folgefragen sinnvoll erscheinen.
Sie können etwa nach Befragten filtern, die bei der Frage mit der Verzweigungslogik angegeben haben, dass sie Veganer seien, und dann im weiteren Verlauf der Umfrage nach Antworten suchen, die auf eine Affinität zum Fleischkonsum schließen lassen. Finden Sie eine Menge derartige Antworten, dann liegt ganz offensichtlich ein Problem mit Ihrer Verzweigungslogik vor.
Hier ist es wichtig anzumerken, dass es auch andere Gründe dafür geben kann, dass Teilnehmer die Beantwortung Ihrer Umfrage abbrechen. Falls es Sie interessiert: Wir haben Teilnehmer gefragt, welches der häufigste Grund für sie ist, eine Umfrage abzubrechen.
Haben Ihre Fragen zu Verfälschungen bei den Ergebnissen geführt?
Fragen, bei denen eine bestimmte Antwortoption eindeutig mehr Zustimmung erhalten hat als die anderen, sind häufig sehr wertvoll und interessant. Wenn aber eine Option extrem auffällig dominiert, dann könnte das ein Anzeichen für eine Verfälschung aufgrund der Formulierung Ihrer Frage sein.
Wir haben einen ganzen Leitfaden zum Entdecken und Vermeiden häufiger Fehler bei Frageformulierungen verfasst; hier sind ein paar Grundlagen dazu:
- Enthält Ihre Frage eine Wertung oder Meinung? Falls ja, könnte es sich um eine Suggestivfrage handeln.
- Sind Antwortoptionen oder Frage so formuliert, dass der Teilnehmer in eine bestimmte Richtung gedrängt wird? Nicht ausgewogene Fragen können Befragte beeinflussen.
- Kann die Frage mit „Ich stimme zu“/„Ich stimme nicht zu“ beantwortet werden? Dann könnte Akquieszenz im Spiel sein.
Wenn Sie die Formulierung Ihrer Frage überprüft haben und keines dieser Probleme offenbar geworden ist, dann ist mit Ihrer Frage wahrscheinlich alles in Ordnung. Sie haben wohl einfach einen Umstand gefunden, über den eine Menge Leute gleicher Meinung sind.
Fühlen sich Befragte von Ihrer Umfrage überrollt?
Jedem Befragten reißt irgendwann der Geduldsfaden. Mit langen Umfragen wird die Geduld auf die Probe gestellt, und viele Befragte neigen dazu, die Beantwortung abzubrechen oder auf das Satisficing zurückzugreifen. Unter diesem Begriff versteht man ein Verhalten von Umfrageteilnehmern, bei dem diese anfangen, Antworten auszuwählen, die ihrer tatsächlichen Meinung nicht entsprechen, nur um die Umfrage schneller abschließen zu können.
Wenn Sie wissen möchten, wann die Schmerzgrenze der Befragten erreicht ist und wo sie die Umfrage beenden, dann sehen Sie sich die Anzahl der Beantwortungen zu jeder Frage an. Fällt dieser Wert an irgendeiner Stelle stark ab und erholt sich nicht mehr, dann kann man mit Fug und Recht davon ausgehen, dass eine Menge Leute abgebrochen haben.
Einen Satisficer zu erkennen, ist dagegen nicht so einfach. Allerdings kann es hilfreich sein, auf die folgenden Anzeichen zu achten:
- Auffällige Unterschiede bei der Beantwortungsdauer der Umfrage. Konkret dauert die vollständige Beantwortung der Umfrage bei einem Befragten entweder extrem lange, oder er ist ruck, zuck fertig.
Sie können die Beantwortungsdauer in SurveyMonkey Analyze im Abschnitt Einzelne Beantwortungen anzeigen. Dort ist für jeden Befragten eine Zeitangabe vermerkt, der zu entnehmen ist, wie lange er an der Umfrage gesessen hat.
- Ein Befragter wählt bei jeder Frage dieselbe Antwortoption aus (das ist das so genannte „Straightlining“).
Um dieses Muster bei einem Befragten zu erkennen, betrachten Sie seine Beantwortungen im Verlauf der Umfrage. Dies ist auf der Registerkarte Einzelne Beantwortungen möglich. Wenn sich der Befragte beispielsweise bei jeder Frage für Antwort C entscheidet, sollten seine Antworten misstrauisch beäugt werden.
- Der Befragte überspringt offene Fragen oder beantwortet sie extrem knapp.
Mithilfe der Methoden, die wir bereits weiter oben in diesem Artikel kennengelernt haben, ist das Erkennen solcher Fälle ziemlich einfach. Aber am Ende müssen doch Sie entscheiden, ob eine gegebene Beantwortung „gut“ ist oder nicht.
Die Anzahl übersprungener Beantwortungen bei offenen Fragen ist leider häufig recht hoch. Das ist kein Zufall. Diese Fragen gehören für die Befragten zu den wohl anstrengendsten Fragen. Insofern sollten Sie, falls möglich, nicht mehr als zwei offene Fragen in Ihrer Umfrage stellen.
Das Vorhandensein der beschriebenen Muster in den Umfrageergebnissen ist allerdings noch keine Garantie dafür, dass bei Ihrer Umfrage Probleme aufgetreten sind. Allerdings können sie ihren Nutzen haben, wenn es darum geht, mögliche Probleme zu diagnostizieren, die man sich vielleicht doch noch einmal etwas genauer ansehen sollte.
Sind Sie bereit, Ihr Umfragedesign zu meistern?
