Die Nerven der Umfrageteilnehmer schonen: Warum man Dropdownmenü-Matrizen vermeiden sollte

featured_pictureDie Matrixfrage kann eine attraktive Option für eine Umfrage sein. Eine Variante ist die Dropdownmenü-Matrix, die mehrere Fragen in einem Raster anzeigt.

Allerdings ist diese besondere Art von Matrixfrage nicht dasselbe, wie eine gewöhnliche Matrix, bei der die Antwortoptionen in den Spalten und die zu bewertenden Objekte in Zeilen angeordnet sind.

So sieht beispielsweise eine gewöhnliche Matrix aus:
grafik1

Nun werden in einer Dropdownmenü-Matrix die Antworten – wie der Name schon sagt – als Dropdownmenü angezeigt.

Daher werden bei dieser Matrixform keine Multiple-Choice Fragen, sondern ein paar normale Matrixfragen gebündelt. Auf den ersten Blick scheint das eine effiziente Art zu sein, Fragen zu stellen, oder?

Aber ist es wirklich das richtige Frageformat?

Um das herauszufinden, haben wir vier Umfrageexperimente durchgeführt. Wir verglichen eine Dropdownmenü-Matrix, eine gewöhnliche Matrix und Multiple-Choice-Frageformate miteinander.

Im ersten Experiment mussten die Teilnehmer drei Fragen für jede von insgesamt 11 Getränkesorten beantworten. Ihnen wurde eine der folgenden drei Fragetypen zufällig zugewiesen.

Entweder eine Dropdownmenü-Matrix (Bild 1), …

bild1_dropdownmenu

 

… eine normalen Matrix (Bild 2)

bild2_normale_matrix

… oder eine Multiple-Choice Frage (Bild 3).

bild3_multiple_choice

Alle Fragen waren optional, das heißt, der Beantwortende konnte sie überspringen.

Was wir beobachtet haben, ist bemerkenswert: Der Prozentsatz für das Überspringen der ersten Frage (erste Spalte in der Dropdownmenü-Matrix) ist gering und bei allen drei Fragetypen ähnlich. (Bild 4).

bild4menu_matrixAllerdings wurden zehn Prozent der darauffolgenden zwei Fragen in der Dropdownmenü-Matrix übersprungen.

In der normalen Matrix und im Multiple-Choice-Format war die Zahl der unbeantworteten Fragen dagegen deutlich geringer.

Wenn wir die Daten aus mobilen Umfragen mit jenen vom Desktop/Laptop vergleichen, kommen wir zu einem noch interessanteren Ergebnis: Bei den mobilen Umfrageteilnehmern übersprang ca. ein Viertel die zweite und dritte Frage der Dropdownmenü-Matrix. Diese wurden aber bei der normalen Matrix und der Multiple-Choice-Frage fast von jedem beantwortet.

.Übersprungene Fragen bedeuten oft, dass der Umfrageteilnehmer Schwierigkeiten beim Beantworten hat. Das führt wiederum zu schlechter Datenqualität. Angesichts der steigenden Zahl von mobilen Umfrageteilnehmern darf das Problem bei einer Dropdownmenü-Matrix nicht ignoriert werden.

Wir haben uns nach diesen Ergebnissen gefragt, ob das Reduzieren der Größe einer Dropdownmenü-Matrix das Überspringen verhindert.

Also führten wir ein zweites Experiment durch, bei dem wir dieselben elf Objekte abfragten, jedoch in zwei separaten Dropdownmenü-Matrizen, die mit fünf bis sechs Objekten natürlich viel kleiner waren.

Das Ergebnis? Die verkleinerten Menü-Matrizen verringerten die Zahl der übersprungenen Fragen kaum. Noch immer zehn Prozent der Befragten ließen die zweite und dritte Frage in einer Menü-Matrix aus. Und auf Mobilgeräten? Hier lag die Anzahl sogar bei 30 Prozent.

bild5_experiment2

Als Nächstes haben wir die Dropdownmenü-Matrix weiter vereinfacht, indem wir die letzte Spalte entfernten. Doch auch hier war der Effekt nur gering, da ungefähr die gleiche Anzahl die zweite Frage übersprang, nämlich 11,5 Prozent bei Desktop-Computern und Laptop sowie 22.5 Prozent bei Mobilgeräten.

bild6_experiment3

Es gibt zwei mögliche Erklärungen, warum die erste Frage einer Dropdowmenü-Matrix ähnlich häufig beantwortet wurde wie bei den anderen Formaten, die folgenden Fragen aber eine hohe Abbruchquote aufweisen.

  1.   Möglicherweise werden die Dropdownmenü-Matrizen nach Spalten beantwortet. Nachdem die erste Frage in der ersten Spalte ausgefüllt wurde, kann eine Ermüdung (nach dem Motto: „Ich habe keine Lust mehr auf die Umfrage.“) auftreten, weswegen viele die Umfrage nach der ersten Antwort abbrechen. Dazu kommt, dass man bei Mobilgeräten horizontal scrollen muss, um die zweite und dritte Spalte zu sehen. Das bedeutet natürlich mehr Aufwand.
  1.   Die erste Frage in einer Umfrage wird einfach anders bewertet. Manchmal will der Befragte einfach nicht mehr auf Frage 2 und 3 antworten.

Um herauszufinden, ob diese Vermutungen zutreffen, haben wir ein viertes Experiment vorbereitet, bei dem die zwei Spalten aus Experiment 3 vertauscht wurden. Trotzdem ist der Anteil der fehlenden Daten bei Dropdownmenü-Matrizen noch immer sehr hoch für die zweite Frage (8,3%) und wie gewohnt höher bei mobilen Beantwortungen (23,4%).

Das bestätigt unsere Vermutung, dass die Teilnehmer die Matrix nach Spalten beantworten. Dass Frage 2 und 3 oft nicht beantwortet werden, liegt also nicht am Inhalt der Frage.

Die zweite Frage hat immer schlechtere Beantwortungsquoten als die erste.

bild7_experiment4In allen Experimenten haben wir die Teilnehmer gebeten, auch das Schwierigkeitslevel der Umfragen zu bewerten. Umfragen mit Dropdownmenü-Matrizen wurden regelmäßig als schwieriger eingestuft als Umfragen, in denen andere Frageformate verwendet wurden.

Was können wir aus diesen Experimenten lernen? Dropdownmenü-Matrizen sind für Befragte sehr schwierig zu handhaben, vor allem wenn Umfragen mobil beantwortet werden.

Man sollte also überlegen, ob nicht Dropdownmenü-Matrizen durch normale Matrizen oder Multiple-Choice-Fragen ersetzt werden können, denn sonst riskiert man, ein Viertel der Teilnehmer zu verlieren.

Schau auf unserem Blog, wie man gute Matrizen erstellt.

Hast Du noch Anmerkungen oder Fragen zu diesem Thema? Dann hinterlasse uns gerne einen Kommentar oder kontaktiere uns via Twitter.

Tags: , , ,

Inspiriert? Mach Deine eigene Umfrage!

Inspiriert? Mach Deine eigene Umfrage!

Hinterlassen Sie einen Kommentar