Schlechte Datenqualität: Liegt es am Teilnehmer oder an der Umfrage?

schlechte datenkSagen wir, Du führst eine Umfrage durch – und die Datenqualität lässt zu wünschen übrig … liegt es dann an der Umfrage selbst oder an den Teilnehmern? Nun, die Antwort hängt davon ab, wen Du fragst.

Instinktiv liegt einem eine Antwort auf der Zunge: Dass beide ein wenig Schuld daran tragen.

Bislang hat es allerdings noch keine Beweise gegeben, dass es tatsächlich zwei Arten von Teilnehmern gibt – “schlechte” und solche, die von einer schlechten Umfrage beeinflusst wurden. Wie gesagt – bis jetzt. Unsere neueste Recherche beschäftigt sich mit dem Thema Umfragebeteiligung und wir haben Umfrageergebnisse mal auf eine etwas andere Art angesehen. Und hatten dabei besonders diese zwei Teilnehmergruppen im Blick.

Bei dieser Untersuchung haben wir über 1600 Umfragen analysiert und mehrere hunderttausend Teilnehmer beobachtet. Ungefähr 20.000 Teilnehmer waren mindestens einmal “unbeteiligt” (unbeteiligt bedeutet unserer Definition zufolge, dass der Teilnehmer über 40% der Seiten einer Umfrage schneller als der Durchschnitt beantwortet hat). Wir wollten herausfinden, an welcher Stelle in der Umfrage sie angefangen haben zu hetzen und haben dies der Länge der Umfrage gegenüber gestellt. Bei der Auswertung haben wir diese “unbeteiligten” Teilnehmer mit denen verglichen, die auf mindestens einer der Seiten gehetzt hatten – aber nicht oft genug, um als “unbeteiligt” zu gelten.

Wenn es nur eine Sorte von unbeteiligten Teilnehmern gibt, also beispielsweise diejenigen, die einer schlechten Umfrage zum Opfer fallen, würden wir davon ausgehen, dass beim Phänomen des „Durchhetzens“ ein Trend sichtbar wurde. Zum Beispiel: Je länger die Umfrage ist, desto später neigt der unbeteiligte Teilnehmer zum Hetzen. Aber das Ergebnis war tatsächlich bemerkenswert im Hinblick auf die Unterscheidung der zwei Typen von Teilnehmern.

Wie unten sichtbar ist, begannen die unbeteiligten Teilnehmer gleich am Anfang zu hetzen. Weder die Länge noch das Design der Umfrage hatten einen Einfluss darauf. Die Teilnehmer, die auf mindestens einer Seite gehetzt haben, zeigten hingegen eine Tendenz, viel später durch die Umfrage zu hetzen. Der Zeitpunkt, zu dem sie im Schnitt begannen. war abhängig von der Gesamtlänge der Umfrage. Interessant ist, dass der Zeitpunkt des ersten Hetzens bei der achten Minute abflacht – das scheint der Zeitpunkt zu sein, an dem die Ungeduld generell beginnt. Diese Kurve zeigt die zwei Typen an Teilnehmern deutlich – die “schlechten”, die unabhängig von der Umfrage unkonzentriert werden, und diejenigen, deren Verhalten abhängig vom Design der jeweiligen Umfrage ist.

schlechte daten

Bei den meisten Umfragen werden Dir wahrscheinlich beide Typen begegnen. Das macht deutlich, dass wir dieses Problem von beiden Seiten angreifen müssen: Die Umfragen besser entwerfen, um das Interesse der Teilnehmer aufrecht zu halten und „schlechte“ Teilnehmer zu identifizieren und aus dem Gesamtergebnis herauszunehmen, um die Qualität der gewonnenen Werte zu schützen.

Was hast Du für Erfahrungen gemacht? Hinterlasse uns gerne einen Kommentar oder kontaktiere uns via Twitter.

Tags: , ,

Inspiriert? Mach Deine eigene Umfrage!

Inspiriert? Mach Deine eigene Umfrage!

Hinterlassen Sie einen Kommentar