Sie dachten, unmotivierte menschliche Befragte wären der schlimmste Grund für verzerrte Daten? Warten Sie, bis Sie von den Bots erfahren.
Seit Jahren schon sind KI-gestützte Bots in unsere Online-Kommunikation eingedrungen und sind als „Menschen“ durchgegangen, ob in Diskussionsforen oder in den Social Media (fragen Sie mal Elon Musk). Sie haben sich in unseren Online-Channels breit gemacht und jetzt wollen sie auch Ihre Umfragedaten übernehmen.
Warum? Nun, die wichtigsten Gründe drehen sich ums liebe Geld: Ob direkt aus Umfragebelohnungen oder durch missbräuchliche Teilnahme als Vektor für Betrug. Schlimmer noch: Bots können gezielt eingesetzt werden, um Daten, Rankings und die öffentliche Meinung zu verzerren und damit auf politischer oder auf kommerzieller Ebene Gewinn zu erzielen.
Aber es gibt nicht nur schlechte Nachrichten. KI und Machine Learning haben sich für Unternehmen und vor allem für Vermarkter als äußerst vorteilhaft erwiesen: Hier sind vor allem Chat-Bots für die Lead-Generation und den Kundenservice sowie die Automatisierung von Marketingkampagnen zu nennen. Laut einer aktuellen Studie von SurveyMonkey meinen 73 % der Vermarkter, dass die KI ihnen hilft, bessere Arbeit abzuliefern.
Für Marktanalysten hingegen bedeutet das Ausfüllen von Umfragen durch KI-generierte Bots nichts anderes als schlechte Daten zu bekommen. Uns ist klar, dass die Qualität der Umfragedaten durch die Qualität der Beantwortungen direkt bedingt wird. Daher haben wir einen Bot auf Basis von ChatGPT entwickelt, um die SurveyMonkey-Plattform auf den Prüfstand zu stellen. Unser Ziel: Herauszufinden, wie gut KI-gestützte Bots die Methoden überlisten können, die Umfrageprofis in der Regel zur Aufspürung von Bot-Antworten verwenden.
Wie KI-gestützte Bots Ihre Umfragedaten beeinflussen
Im Folgenden haben wir erste Ergebnisse zu den Fähigkeiten von Bots aufgeführt sowie einige mögliche Herausforderungen, die Marktanalysten zu ihrer Aufdeckung meistern müssen.
- Sie überspringen Honeypot-Fragen. In unserer Testumfrage gab es eine sogenannte Honeypot-Frage. Bei dieser wird weißer Text auf weißem Hintergrund dargestellt, dieser wird von Menschen übersprungen, typischerweise aber nicht von Bots. Unserem Bot beizubringen, diese Honeypot-Fragen zu erkennen und zu überspringen, war allerdings ein Leichtes.
- Sie können bremsen. Bots können Befragungen unwahrscheinlich schnell ausfüllen, daher würden Marktanalysten logischerweise Strafpunkte für „übereilte Antworten“ vergeben. Dies wäre eine Kennzahl für die Zeit, die pro Seite für die Beantwortung oder aber für die gesamte Erhebung gebraucht würde. Unser Bot konnte diese Strafpunkte allerdings umgehen, indem er in die Umfrage Verzögerungen einbaute, darunter auch Pausen zwischen der Beantwortung der einzelnen Fragen, bei der Auswahl mehrerer Antwortoptionen in Mehrfachfragen und beim Eingeben von Antworten auf offene Fragen. Diese gab er einfach Buchstabe für Buchstabe ein, wie Menschen dies eben tun.
- Sie liefern menschenähnliche Konsistenz. Unser Bot konnte ChatGPT so einsetzen, dass er den Zusammenhang innerhalb einer Befragung „verstand“ und die Fragen beantwortete, indem er zuvor die gesamte Umfrage nach Informationen scannte, statt einfach willkürlich Antworten auszuwählen. Er erkannte beispielsweise im Titel der Erhebung das Wort „Marktanalyse“ und erhöhte so seine Chancen, bei einer Screeningfrage ebenfalls „Marktanalyse“ auszuwählen. Wir konnten dem Bot auch beibringen, offene Fragen wie ein Mensch zu beantworten. Dazu nutzten wir verschiedene Antworten, die nur wenig Ähnlichkeit mit dem hatten, was wir als Botsprache bezeichnen würden, etwa lange Paragraphen, eine immer richtige Zeichensetzung oder die Verwendung von unüblichen Wörtern oder Ausdrücken. Ein Beispiel: „Was gefällt Ihnen am besten, wenn es um den Einsatz der KI für die Marktanalyse geht?“ ergab Antworten wie:
- „Produktivität steigern.“
- „Erhalten Sie tiefere Einblicke in Ihre Kunden“
- „Datenanalyse und Entscheidungsfindung verbessern“
- „Am meisten begeistert mich die Geschwindigkeit, die die KI zu Erkenntnissen bringt.“
Bewährte Methoden für die Entdeckung KI-gestützter Bots bei Umfragen
Sicher, es gibt keine Lösung, die zu 100 % funktioniert, aber adaptive Strategien und der Einbau von Reibungspunkten wie in den unten aufgeführten Beispielen können Bot-Aktivität aufdecken und die Auswirkungen auf die Umfragedaten begrenzen:
- Begrenzen Sie den Umfragekontext vor Screeningfragen. Wie erwähnt war unser Bot erstaunlich gut darin, ChatGPT für die Gewinnung von Kontext zu nutzen und logische, scheinbar von Menschen stammende Antworten zu liefern. Damit es für die Bots schwieriger wird, Screeningfragen vorauszuahnen und damit umzugehen, verbergen Sie am besten die Umfragetitel und stellen Sie das Thema der Erhebung erst nach den anfänglichen Filterfragen vor.
- Erschweren Sie es den Bots, Befragungselemente zu verarbeiten. Unser Bot hat Umfragetitel sowie Fragen und Antwortoptionen, die im darunterliegenden Code der Umfragewebsite verborgen waren, mit Leichtigkeit erkannt. Um Bots daran zu hindern, das Innere von Fragen aufzuschließen und zu interpretieren, verwenden Sie statt Text lieber Bilder der Fragen.
- Implementieren Sie komplexe Prüfungen auf menschliche Verhaltensweisen. Unser Bot konnte übliches menschliches Verhalten beim Ausfüllen von Befragungen imitieren; er konnte die Webseiten rauf- und runterscrollen, langsamer tippen und zwischen den Fragen Verzögerungen einbauen. Damit Sie besser erkennen können, ob ein Bot Ihre Erhebung beantwortet, implementieren Sie am besten Bot-Erkennungsmethoden wie CAPTCHA oder die Analyse der Mausbewegung oder von Eingabemustern.
- Vermeiden Sie mehrere Beantwortungen. Welchen Schaden könnte unser Bot noch anrichten? Er könnte für ein und dieselbe Befragung mehrfach beantworten. Zwar sind einige Bots in der Lage, verschiedene IP-Adressen als Ausgangspunkt zu nutzen, aber Sie können unerwünschte Mehrfachbeantwortung verhindern helfen, indem die Befragten die Umfrage nur ein einziges Mal beantworten dürfen, insbesondere wenn die Beantwortung von der gleichen IP-Adresse kommt.
- Setzen Sie Logikprüfungen und Fangfragen ein. Eine weitere Möglichkeit, Bots zu erkennen, sind Fragen, die dazu dienen, die Aufmerksamkeit der Befragten hochzuhalten und konsistente Beantwortungen zu erzielen. (Beispiele für Fangfragen finden Sie hier).
Unser Experiment hat gezeigt, dass die KI-gestützten Bots von heute es schaffen, menschliches Verhalten zu imitieren, und viele der üblichen Methoden, die Marktanalysten zur Aufdeckung von Bot-Aktivität einsetzen, umgehen können.
Umfragebetrug durch Bots stellt eine ernsthafte Bedrohung für die Marktforschungsbranche dar. Wird dieser nicht entdeckt, können die Datenintegrität sowie das Vertrauen in Ihre Erkenntnisse untergraben werden und es kann zu kostspieligen Fehlern führen. Aber je besser Sie „Ihren Feind kennen“, desto besser können Sie innovativ und adaptiv vorgehen und damit botfreie Umfragedaten erhalten, die fundierte Insights und entsprechende Maßnahmen ermöglichen.
