Der ultimative Leitfaden für Konzepttests

Eric Van Susteren
Content Strategist

Inhalt
────

Lassen Sie diesen Wert kurz auf sich wirken. Denken Sie an all das Geld, das für Forschung, Entwicklung, Marketing, Verkauf, Werbeveranstaltungen und alles andere ausgegeben wurde, was Sie sich für ein Produkt vorstellen können, das die Verbraucher aber eigentlich nicht brauchten oder kaufen wollten. Sie haben all die Zeit und das Geld verschwendet, anstatt es in etwas zu investieren, das eine viel bessere Kapitalrendite erzielen würde.

Das ist ein beängstigender Gedanke, aber betrachten Sie ihn aus einer anderen Perspektive.

Denken Sie an all die Ideen, die Sie hatten und die nie umgesetzt wurden. Vielleicht hatten Sie nicht genug Vertrauen in sie, vielleicht mochte Ihr Chef sie nicht, oder vielleicht hatten Sie einfach nicht genug Belege für ihren Erfolg.

Hier kommt noch ein vielleicht unterhaltsamerer Datenpunkt, der meist Wayne Gretzky zugeschrieben wird, zum Teil aber auch Michael Jordan und in wenigen Fällen Michael Scott.

Die Schüsse, die du nicht machst, vergibst du zu 100 %.

Doch Waynes Schüsse waren keineswegs beliebig. Sobald der Puck geschossen war, wusste er schon ziemlich genau, ob er punkten würde oder nicht. Seine Schüsse waren nämlich präzise kalkuliert, genau abgestimmt und getestet.

In der Wirtschaft hat man unter Umständen nicht die Möglichkeiten (oder das Geld) für genügend Schüsse aufs Tor, um einen 6. Sinn wie dieser Eishockeyspieler zu entwickeln. Doch genau dafür sind Konzepttests da.

Durch Konzepttests wird ein Konzept (beispielsweise ein Produkt oder eine Werbekampagne) bewertet. Es wird analysiert, wie ein Produkt bei den Verbrauchern ankommt, bevor es auf den Markt gebracht wird. Es gibt zwar verschiedene Verfahren für Konzepttests, doch wir werden uns mit der gängigsten Methode befassen: dem Einsatz von Umfragen.

Durch Konzepttests lassen sich beide oben dargelegten Probleme auf elegante Weise lösen. Sie erfüllen folgende Funktionen:

Fazit ist, dass Sie mit einem professionellen, gut ausgearbeiteten System für Konzepttests Geld sparen werden.

Wir erläutern Ihnen von A bis Z, wie Sie Ihr eigenes Konzepttestprogramm entwickeln und einsetzen. Außerdem stellen wir Ihnen Beispiele vor, an denen Sie sich orientieren können.

In diesem Leitfaden werden wir immer wieder Beispiele für Konzepttests zeigen, die wir für einen fiktionalen Tierfutterhersteller zur Auswahl eines Namens, eines Logos und von Anzeigen erstellt haben. Die Ergebnisse, die Sie sehen, sind hingegen echtes Feedback von einem globalen Panel von Umfrageteilnehmern auf SurveyMonkey Audience, unserer stets verfügbaren Lösung für die Marktforschung.

Die Methoden, die wir in diesem Leitfaden nutzen, können auf unzählige andere Anwendungsfälle übertragen werden, z. B. Produktentwicklung, Verpackungstests und Messaging. Doch in diesem Artikel geht es in erster Linie um drei zentrale Anwendungsfälle: Namenstests, Logotests und Werbetests.

Während Sie sich in diesem Leitfaden über die Vor- und Nachteile von Konzepttests informieren, können Sie die von uns erstellten Umfragen als Beispiele für die Durchführung Ihrer eigenen Umfragen verwenden. Doch zunächst ist noch zu erwähnen, dass SurveyMonkey über eine Reihe von Expertenlösungen verfügt, die den Prozess der Erstellung und Analyse einer Konzepttestumfrage erheblich erleichtern und Ihnen schnelle, zuverlässige Ergebnisse von Ihrer Zielgruppe liefern können, ohne dass Sie sich viel Arbeit machen müssen.

Das Besondere an den Konzepttest-Grundsätzen in diesem Leitfaden ist, dass Sie sie an praktisch jedem Punkt im Verlauf Ihres Projekts für zahlreiche Zwecke einsetzen können. Sie brauchen lediglich einen gewissen Fokus.

Bevor Sie überhaupt anfangen, über einen Umfrageentwurf nachzudenken, sollte Ihr erster Schritt immer darin bestehen, ein Ziel zu definieren. Dabei müssen Sie konkret werden. Ihr Ziel kann praktisch jeden Aspekt Ihres Tests verändern. Ein gutes Umfrageziel beantwortet drei wesentliche Fragen:

Werfen Sie einen Blick auf die nachstehenden Verpackungsdesigns für Tierfutter. Mit einem Konzepttest für diese Entwürfe wollen Sie nicht nur herausfinden, ob sie brauchbar sind. Sie brauchen handfeste Angaben, die die drei obigen Fragen beantworten.

Ich möchte Feedback zu meinem Verpackungsdesign für das Hundefutter erhalten.

Ich möchte von Tierbesitzern wissen, ob meine Verpackungsdesigns sie zum Kauf meiner Tierfutterprodukte bewegen würden. Außerdem möchte ich wissen, ob die Entwürfe darauf hindeuten, dass mein Produkt von hoher Qualität ist. Mit den Ergebnissen kann ich entscheiden, ob der Entwurf brauchbar ist oder ob ich mir etwas Neues überlegen muss.

Viele Menschen haben eine grundlegende Vorstellung von dem, was sie testen möchten, aber sie leisten nicht die geistige Arbeit, um aus dieser Idee ein konkretes Ziel abzuleiten. Wenn Sie diesen zusätzlichen Schritt vollziehen, können Sie Ihren Test fokussieren, ihn viel leichter aufbauen und letztlich die Qualität Ihrer Ergebnisse verbessern.

Wir haben diese Personengruppe ins Visier genommen, weil sie potenzielle Konsumenten unseres Produkts sein werden.

Wir testen nur eine Verpackung, wünschen uns aber ein hohes Maß an Gewissheit, weil wir anhand dieser Daten entscheiden, ob der Entwurf überhaupt verwendet wird.

Wir haben ein Konzept mit einem eng gesteckten Ziel, sodass die Umfrage relativ schnell und einfach erstellt und verbreitet werden kann.

Wir wissen bereits, was wir fragen wollen: Fragen über die Kaufabsicht, die Qualität, die Attraktivität und den Wert des Produkts. Wenn wir die Zeit in das Formulieren eines Ziels investieren, sind unsere Fragen praktisch schon geschrieben!

Das Erarbeiten des genauen Zwecks für unseren Test hatte einen erstaunlichen Effekt: Der Arbeitsaufwand für die Planung und den grundlegenden Entwurf ist zum größten Teil bereits erledigt. Aus diesem Grund ist es so wichtig, zur Planung Ihres Konzepttests ein Ziel auszuarbeiten.

Nachdem Sie Ihr Ziel definiert haben, sollten Sie darüber nachdenken, wie Ihr Konzepttest aussehen sollte und wann Sie ihn durchführen möchten. Das Timing Ihres Tests hängt stark davon ab, was Sie testen und in welcher Phase des Produktlebenszyklus Sie sich befinden.

Die obige Grafik kann eine gute Orientierungshilfe sein, wenn Sie die Durchführung eines Tests in Erwägung ziehen. Das Tolle am Konzepttest ist jedoch, dass er flexibel ist.

Wenn Sie zu Beginn des Prozesses prüfen, ob Ihr Konzept auf dem richtigen Weg ist, kann Ihre Umfrage allgemeines, richtungsweisendes Feedback liefern. Alternativ können Sie ganz konkretes Feedback dazu nutzen, kleinere Änderungen an einem Konzept vorzunehmen, das schon fast fertig ist, wie z. B. das Vergleichen und Anpassen der Farben, Schriftarten, Designs einer Anzeige oder eines Logos. Wenn Sie ein Konzept, ein Logo oder eine Anzeige haben, sollten Sie im Idealfall mehrere Alternativen testen.

Viele Konzepttests fallen jedoch in den entscheidenden Bereich dazwischen, und Sie möchten wissen, ob ein Konzept durchführbar ist, oder entscheiden, welches Konzept das beste ist.

Jede dieser Testarten erfüllt bestimmte Funktionen, erfordert einen bestimmten Aufwand und eignet sich am besten für bestimmte Phasen des Projektverlaufs.

Werfen Sie einen Blick auf die Grafik unten. Sie sehen, dass Art und Zeitpunkt für die Durchführung eines Konzepttests eine enorme Wirkung auf den zeitlichen Verlauf Ihres Projekts haben können. Mit diesem Thema befassen wir uns später noch ausführlicher. Doch es ist sinnvoll, diese Grafik als Referenz zu verwenden, damit Sie auf jeden Fall genügend Zeit haben, um Ihr Projekt abzuschließen.

Im Kern geht es bei einem Konzepttest um seine Stimuli. Doch was verstehen wir unter Stimuli? Das ist eigentlich nur ein hübscher Ausdruck aus der Marktforschung für die einzelnen Konzepte, Anzeigen, Namen oder Verpackungen, die Sie testen möchten. Wenn Sie Konzept A mit Konzept B vergleichen, sind beide Stimuli. Stimuli lassen sich gut in drei Kategorien einteilen:

Es ist wichtig, Ihre Stimuli immer klar und einheitlich zu präsentieren, und zwar nicht nur, weil es dann professioneller aussieht. Sie sollten unbedingt alle Vorsichtsmaßnahmen ergreifen, um eine Voreingenommenheit Ihrer Befragten zu vermeiden.

Hier finden Sie einige Tipps (und Beispiele), um jedes Stimuli-Format so zu präsentieren, wie die Profis es tun.

Unsere Umfrage zu Namen von Tierfutterherstellern ist ein gutes Beispiel dafür, wie man Text-Stimuli in einer Umfrage präsentiert. Warum ist dies ein gutes Beispiel?

Im Beispiel oben ist klar, dass es um „GoodBoy“ geht. Ohne die Angabe „GoodBoy“ in der Frage wüssten wir nicht, auf welchen Namen sich die Frage bezieht.

Sehen Sie sich unsere Umfrage für das Testen von Anzeigen für Tierfutter oder die Umfrage für das Testen von Logos als Beispiel an.

Wichtig: In diesen Beispielen haben wir die Stimulus-Grafik oben auf der Umfrageseite eingebettet und dafür gesorgt, dass jede Frage darauf verweist. Wenn Sie unter Verwendung von SurveyMonkey diese Methode verwenden, sollten Sie die Funktion Eine Frage nach der anderen deaktivieren. Dann können die Befragten wesentlich leichter zwischen der Grafik und der jeweils zu beantwortenden Frage hin- und herwechseln.

Im Gegensatz zu den anderen Stimulusarten müssen Sie einen Ort zum Hosten Ihres Videos finden, bevor Sie es in Ihre Umfrage einfügen. Glücklicherweise ist das Hosten von Videos auf Sites wie YouTube ganz einfach.

Falls Ihr Video noch nicht veröffentlicht wurde oder Sie sich Gedanken über den Datenschutz machen, sind unter Umständen Video-Hosting-Sites wie Vimeo aufgrund der umfassenderen Datenschutzoptionen besser für Sie geeignet.

Achtung: Überprüfen Sie jetzt, ob Ihr Projektplan und Ihre Stimuli übereinstimmen.

Die ganze Planungsarbeit soll nicht umsonst gewesen sein! Sobald Sie davon überzeugt sind, dass Sie die Stimuli haben, die Sie testen wollen, sollten Sie sich noch einmal den Plan ansehen, den Sie für sich selbst ausgearbeitet haben. Entsprechen die Stimuli, die Sie testen, tatsächlich Ihren Zielen?

Wird es ein fairer Test sein? Wenn Sie eine fertig gestaltete Anzeige mit einer Anzeige vergleichen, die noch nicht ausgereift ist, liegt auf der Hand, welche besser abschneiden wird.

Stimuli können die Grundbausteine eines Konzepttests sein. Doch die Fragen, die Sie zu den Stimuli stellen, sind nicht weniger wichtig. Beim Konzepttest werden die Fragen, die Sie stellen, von den Bewertungsmerkmalen bestimmt, also den Kriterien, nach denen die Befragten Ihre Stimuli beurteilen werden.

Wenn Sie den ersten Abschnitt gelesen haben, wissen Sie bereits, wie wichtig die Festlegung eines Ziels für die Planungsphase Ihres Konzepttests ist. Das zahlt sich an dieser Stelle aus. Die Merkmale für Ihren Konzepttest hängen ganz von Ihrem Ziel ab.

Wenn Sie ein klar definiertes Ziel haben, wird dieser Abschnitt einfach sein. Ist dies nicht der Fall, wird es eine Herausforderung sein. Sehen Sie sich Ihr Ziel noch einmal an, und vergleichen Sie es mit dieser Tabelle:

Welche dieser Merkmale entsprechen Ihrem Projektziel am ehesten? Notieren Sie sie. Es ist völlig in Ordnung, wenn es viele sind.

Wenn Ihr Ziel lautet, die Wirksamkeit von zwei Anzeigenkonzepten zu vergleichen, könnten Kaufabsicht, Relevanz, Unverwechselbarkeit und Stimmung sinnvolle Merkmale sein.

Möchten Sie hingegen wissen, ob Ihr Logo sich von der Masse abhebt, sollten Sie sich nach Sichtbarkeit, Ästhetik, Auffindbarkeit und Unverwechselbarkeit erkundigen.

Zu diesem Zeitpunkt kann es hilfreich sein, sich vorzustellen, dass Sie die Endergebnisse Ihren Chefs präsentieren möchten. Welche Nachweise würden sie davon überzeugen, dass das vorgestellte Konzept der besten und am intensivsten getesteten Version entspricht?

Wir haben bereits erläutert, wie wichtig es ist, jeden einzelnen Stimulus in der Umfrage einheitlich und fair darzustellen. Das gilt auch für Ihre Fragen!

Wir empfehlen Ihnen, zur Bewertung von Stimuli Fragen nach der Likert-Skala mit fünf Antwortoptionen zu verwenden. Dies erleichtert Ihnen die Arbeit, insbesondere dann, wenn Sie noch keine Erfahrungen mit Konzepttests gemacht haben. Fragen nach der Likert-Skala sind geschlossene Fragen mit einer Reihe von Antwortoptionen, die von einem Extrem zum anderen reichen, beispielsweise von „Stimme völlig zu“ bis „Stimme überhaupt nicht zu“.

Was sind die Vorteile der Likert-Skala? Sie ist einfach zu analysieren, bietet einheitliche Antworten, ist für die Befragten einfach und intuitiv.

Vor allem steckt hinter den Antwortoptionen der Likert-Skala ein und dieselbe Logik. Daher lässt sich mühelos ein Merkmal einsetzen, um dann eine wirkungsvolle Frage für den Konzepttest zu erhalten. Angenommen, Sie möchten das Merkmal „Unverwechselbarkeit“ testen.

Setzen Sie es einfach in eine solche Vorlage für Fragen nach der Likert-Skala ein:

Wie _____ ist der Stimulus?

A. Extrem _____
B. Sehr _____
C. Einigermaßen _____
D. Weniger _____
E. Überhaupt nicht _____

Das Ergebnis ist eine Frage mit entsprechenden Antworten:

Wie unverwechselbar ist das Logo?

A. Extrem unverwechselbar
B. Sehr unverwechselbar
C. Einigermaßen unverwechselbar
D. Eher nicht unverwechselbar
E. Überhaupt nicht unverwechselbar

Mit dieser Methode können Sie aus Ihren gewünschten Merkmalen im Handumdrehen sinnvolle Fragen für den Konzepttest formulieren. Wenn Sie es sich noch einfacher machen möchten, dann nutzen Sie die Fragen aus der Fragendatenbank von SurveyMonkey, die nahezu alle Merkmale aus dem Diagramm oben abdecken.

Expertentipp: Wenn Sie über ein Umfragepanel wie SurveyMonkey Audience für Umfragebeantwortungen bezahlen, ist es in der Regel sinnvoll, Fragen mit einer erzwungenen oder obligatorischen Antwort zu nutzen. Auf diese Weise werden garantiert all Ihre Fragen beantwortet.

Sie haben Ihr Ziel definiert, Ihre Stimuli sind genau richtig, und Sie haben anhand Ihrer Merkmale sinnvolle Fragen formuliert. Jetzt können Sie mit dem eigentlichen Aufbau Ihrer Umfrage für den Konzepttest beginnen! Die gute Nachricht ist, dass bereits alle Teile vorhanden sind. Jetzt müssen Sie sie nur noch zu einem stimmigen Umfragedesign zusammenfügen.

Der allgemeine Aufbau der Umfrage, den wir Ihnen empfehlen, sieht folgendermaßen aus. Die verschiedenen Arten von Fragen und wie diese eingesetzt werden, wird im weiteren Verlauf näher erläutert.

Wie üblich ist es etwas komplizierter, als lediglich Ihre Stimuli und Fragen in diese Gliederung einzusetzen. Der Aufbau Ihrer Umfrage wird durch zwei wesentliche Faktoren beeinflusst: die Anzahl der Stimuli, die Sie testen, und ob Sie einen sequenziellen oder monadischen Umfrageaufbau verwenden. Sehen wir uns diese Aspekte genauer an.

Die sequenzielle und monadische Umfragegestaltung sind die beiden Hauptmethoden, um Ihre Stimuli der Zielgruppe zu präsentieren. Jede Option hat ihre eigenen Vor- und Nachteile, aber beide spielen bei Umfragen für Konzepttests eine entscheidende Rolle. In dieser einfachen Grafik werden die beiden Umfragearten erläutert:

Wir haben einen ganzen Artikel dazu verfasst, wann welcher Typus der Umfragegestaltung anzuwenden ist. Das sind die wichtigsten Punkte:

Beim monadischen Umfrageaufbau unterteilen Sie Ihre Zielgruppe und präsentieren jeder Untergruppe einen anderen Stimulus. Da sie alle aus demselben Pool von Befragten stammen, können ihre Antworten problemlos miteinander verglichen werden, um den wichtigsten Stimulus aus der Gruppe auszuwählen.

Beim sequenziellen Umfrageaufbau (manchmal auch sequenziell monadisches Umfragedesign genannt) wählen Sie eine Zielgruppe aus und präsentieren ihr mehrere oder all Ihre Stimuli. Da diese Stimuli in einer zufälligen Reihenfolge erscheinen, können die Antworten gut miteinander verglichen werden, um auch hier den wichtigsten Stimulus zu bestimmen. Im Folgenden werden die Vor- und Nachteile der beiden Methoden kurz erläutert.

Vorteile:

Nachteile:

Vorteile:

Nachteile:

Viele der Faktoren, die beeinflussen, wie Sie Ihre Umfrage gestalten, werden später behandelt. Vorerst sollten Sie lediglich die Unterschiede der beiden Verfahren kennen.

Ob beim sequenziellen oder monadischen Aufbau – die Anzahl der Fragen sollte 30 niemals überschreiten. Andernfalls ist die Belastung für Ihre Befragten zu groß, und es besteht die Gefahr, dass sie die Umfrage abbrechen und Ihren Daten somit schaden.

Diese Zahl scheint recht hoch angesetzt zu sein. Doch wenn Sie mehrere Stimuli präsentieren möchten, zu jedem mehrere Fragen und dazu noch Screening- und demografische Fragen stellen möchten, dann kommen 30 Fragen schneller als gedacht zusammen.

Die folgende Faustregel hat sich als sinnvoll erwiesen:

Die Anzahl der Stimuli, die Sie testen möchten, multipliziert mit der Anzahl der jeweiligen Fragen zum Merkmal sollte einen Wert unter 25 ergeben. So ist gewährleistet, dass in Ihrer Umfrage genügend Platz für die anderen Arten von Fragen ist.

Wenn Ihre Umfrage keine 30 Fragen umfasst, ist das völlig in Ordnung!

Eine fokussierte Umfrage mit zehn bis zwanzig Fragen kann besser sein als ein langer Fragebogen mit nahezu 30 Fragen.

Der monadische und sequenzielle Umfrageaufbau kann zwar die Länge der Umfrage verändern. Doch die grundlegende Gestaltung der Umfrage, die wir zu Beginn dieses Abschnitts vorgestellt haben, ändert sich nicht wesentlich. Nachfolgend werden die einzelnen Abschnitte und die darin enthaltenen Arten von Fragen erläutert.

Es ist sinnvoll, den Befragten mitzuteilen, warum sie befragt werden und worum es in der Umfrage geht, bevor sie etwas beantworten. Dies ist außerdem eine gute Gelegenheit, um zusätzliche Instruktionen oder rechtliche Hinweise zu geben. Sie können beispielsweise folgende Einleitung verwenden:

Wir würden gerne wissen, was Sie von den drei Anzeigenkonzepten für unser Tierfutterunternehmen halten. Es gibt keine richtigen oder falschen Antworten. Alle Antworten sind vertraulich.

Sinnvoll

Klären Sie die Befragten darüber auf, dass ihnen mehrere Stimuli präsentiert werden (sofern Sie einen sequenziellen Aufbau verwenden). Dies ist eine gute Methode, um Verzerrungen vorzubeugen und zu verhindern, dass die Befragten das Interesse verlieren.

Ihre Einleitung sollte kurz und knapp sein. Längere Einleitungen können abschreckend wirken.

Nicht sinnvoll

Beschreiben Sie nicht zu ausführlich, wie lang die Umfrage dauert. Wenn Sie glauben, die Befragten vorwarnen zu müssen, ist die Umfrage unter Umständen zu lang.

Die meisten Panel-Lösungen wie SurveyMonkey Audience haben Targeting-Parameter für eine Zielgruppe, die potenzielle Verbraucher für Ihr Konzept widerspiegelt. Wenn Sie jedoch eine allgemeinere Zielgruppe befragen oder eine Ebene tiefer gehen möchten, als es Ihre Targeting-Parameter zulassen, können Sie Screeningfragen verwenden.

Screeningfragen können Sie am Anfang der Umfrage stellen, um Befragte auszuschließen, die Ihren Zielgruppen-Kriterien nicht entsprechen.

Vielleicht befragen Sie eine Stichprobe von Haustierbesitzern, aber eigentlich sind Sie an Haustierbesitzern interessiert, die Tierfutter online gekauft haben. In dem Fall könnte eine Screeningfrage sinnvoll sein, um die Tierbesitzer herauszufiltern, die noch nie Tierfutter online gekauft haben.

Sinnvoll

Überlegen Sie sich genau, wie wichtig es für Sie ist, die demografische Zielgruppe mithilfe von Screeningfragen stärker einzugrenzen. Schließlich könnte es dadurch schwieriger werden, genügend Befragte für Ihre Umfrage zu finden oder den Zeitplan Ihres Projekts einzuhalten.

Nicht sinnvoll

Sie sollten keine zu spezifischen Screeningfragen stellen. Es ist zum Beispiel wesentlich schwieriger, Befragte zu finden, die in der letzten Woche Tierfutter gekauft haben, als Befragte, die im letzten Jahr Tierfutter gekauft haben.

Kategoriefragen erscheinen in der Regel direkt nach den Screeningfragen und sollen Ihnen mehr Informationen über die Befragten liefern, ohne sie auszuschließen. Hier ist ein Beispiel dafür, wie Screeningfragen und Kategoriefragen zusammenwirken können.

Screeningfrage: Wie oft kaufen Sie Tierfutter online ein?
Kategoriefragen: Auf welcher der folgenden Websites kaufen Sie Tierfutter ein? Welche Marke von Tierfutter kaufen Sie?

Sinnvoll

Fügen Sie Kategoriefragen am Anfang Ihrer Umfrage hinzu. Sie können die Befragten „vorbereiten“, indem Sie sie zum Nachdenken über das Thema anregen, bevor die Stimuli präsentiert werden.

Kategoriefragen sollten sich ausschließlich mit dem Thema befassen. Fragen, die nichts mit dem Zweck der Umfrage zu tun haben, gehören in den Bereich der demografischen Fragen am Ende der Umfrage.

Nicht sinnvoll

Achten Sie darauf, nicht zu viele Kategoriefragen zu stellen. Sie können von dem Teil der Umfrage ablenken, der Ihnen am wichtigsten ist: dem Feedback zu den Stimuli.

Wir sind bereits in früheren Abschnitten darauf eingegangen, aber dies ist das eigentliche Kernstück Ihrer Umfrage. Hier erhalten Sie alle wichtigen Daten, um zu erfahren, wie Ihr Konzept ankommt. Es kann auch der längste Abschnitt Ihrer Umfrage sein, je nachdem, welches Umfrageschema Sie verwenden.

Sinnvoll

Platzieren Sie jeden Stimulus auf einer eigenen Seite, und randomisieren Sie die Seitenreihenfolge. Dies ist das beste und gebräuchlichste Umfragedesign für Konzepttests. Es wirkt dem seriellen Positionseffekt entgegen, also der Tendenz der Befragten, den zuerst präsentierten Stimulus günstiger zu bewerten.

Stellen Sie aus Gründen der Einheitlichkeit auf jeder Seite Fragen zu den gleichen Merkmalen in der gleichen Reihenfolge. Auf diese Weise können die Befragten intuitiver antworten, und Sie erhalten konsistente Daten.

Nicht sinnvoll

Sie sollten die Reihenfolge der Antwortoptionen in der Likert-Skala auf keinen Fall randomisieren. Es ist am besten, wenn Sie eine Reihenfolge für die Antwortoptionen festlegen, also von positiv zu negativ oder umgekehrt, und im Lauf der Umfrage dabei bleiben.

Manchmal haben Gelegenheitskäufer von Tierfutter vielleicht keine starke Meinung darüber, welches Logo Sie letztendlich verwenden werden. Das kommt vor. Mit einer letzten Frage, für die eine Antwort ausgewählt werden muss, können Sie sich für solche Situationen wappnen.

Nur für den Fall, dass es keinen statistisch signifikanten Unterschied in der Reaktion der Befragten auf Ihre Stimuli gibt, ist es normalerweise sinnvoll, die Befragten zu zwingen, ihren Favoriten zu wählen. Das kann auch den Ausschlag geben, wenn die Befragten zwei verschiedene Merkmale gleich bewertet haben und Sie nicht entscheiden können, welches wichtiger ist. Angenommen, die Befragten halten Konzept A für sehr glaubwürdig. Konzept B ist aber ebenso glaubwürdig. Wenn die Befragten sich für einen Favoriten entscheiden müssen, haben Sie dieses Problem elegant gelöst.

Sinnvoll

Überlegen Sie, anstatt Wörter Bilder als Antwortoptionen anzubieten (wie im Beispiel zu sehen). Ihre Befragten können dann wesentlich leichter und intuitiver ihren Favoriten wählen.

Nicht sinnvoll

Vermeiden Sie Ranking-Fragen, bei denen die Befragten Antwortoptionen nach Präferenz ordnen sollen. Sie strapazieren die Aufmerksamkeit der Befragten und sind auf Mobilgeräten umständlich zu beantworten.

Ähnlich wie mit Kategoriefragen erhalten Sie durch demografische Fragen detailliertere Profilinformationen als mit Ihrem Umfragepanel. Demografische Fragen müssen sich nicht auf das Thema Ihrer Umfrage beziehen und kommen normalerweise am Ende. Sie sind äußerst nützliche Werkzeuge zum Filtern Ihrer Daten.

Möchten Sie wissen, ob Frauen im Ruhestand eher dazu neigen, Ihr Tierfutter zu kaufen? Erkundigen Sie sich mit demografischen Fragen zur Demografie nach ihrem beruflichen Status, und filtern Sie nach Frage und Antwort, um zu sehen, wie Frauen im Ruhestand antworten.

Sinnvoll

Vergewissern Sie sich, dass Ihre demografischen Fragen die richtigen Antwortoptionen für Ihren Forschungsbedarf haben. Wenn Sie die Antworten nach Millennials und Babyboomern aufschlüsseln möchten, müssen die Antwortoptionen die richtigen Altersgruppen abdecken.

Verwenden Sie die demografischen Fragen in der Fragendatenbank von SurveyMonkey. Sie wurden von Umfrageexperten formuliert und decken einen Großteil der gängigsten Bereiche für demografische Fragen ab.

Nicht sinnvoll

Sie müssen sich bei den demografischen Fragen kein Bein ausreißen. In den meisten Umfragepanels wie SurveyMonkey Audience sind einige dieser Profilfragen bereits enthalten.

Unsere Umfrageexperten haben diese Umfragevorlagen speziell für die häufigsten Anwendungsfälle von Konzepttests entworfen. Verwenden Sie sie als Anregung oder als Grundlage für die Erstellung Ihrer eigenen Umfrage für Konzepttests!

An wen Sie die Umfrage senden und wie exakt Sie dabei vorgehen, hängt ganz davon ab, was Sie testen.

Wie bereits im Planungsabschnitt dieses Leitfadens erwähnt, ist nicht für jedes Konzept ein umfassender Test mit einer genauestens abgestimmten Zielgruppe erforderlich, wenn es auch bei einigen angebracht ist. Wir werfen nun einen Blick auf drei große Personengruppen, die Sie für Ihren Konzepttest in Frage kommen.

Ganz klar, in diesem Fall erhalten Sie keine Stichproben aus einer repräsentativen Population. Sie wird nicht statistisch signifikant sein, und es werden keine Informationen sein, die Sie bei Ihrer nächsten Strategiesitzung präsentieren können. Doch schon frühzeitig bei einem Projekt Feedback von Ihren Kontakten zu erhalten, ist durchaus von Nutzen. Außerdem kostet es Sie nichts. Hier sind einige Beispiele dafür, wann Sie Umfragen an diese Gruppe senden können:

Ihre Kunden können eine weitere brauchbare (und kostenlose!) Stichprobe für eine Umfrage sein, aber Sie müssen etwas sorgfältiger darauf achten, was Ihre Umfrage enthält und wie Sie sie präsentieren. Der eigentliche Vorteil einer Umfrage unter Ihren Bestandskunden ist der, dass Sie Feedback zu etwas einholen, mit dem diese bereits vertraut sind. Das kann Ihr Produkt, Ihre Website oder Ihre Marke sein.

Wenn Sie Ihre Kunden befragen, vermitteln Sie ihnen das Gefühl, in Ihren Entwicklungsprozess einbezogen zu sein, was die Kundenbindung merklich stärken kann.

In vielen Fällen, insbesondere bei Anzeigen- und Konzepttests oder brandneuen Produkten, sollten Sie eine Stichprobe des gesamten Markts nehmen. Sie brauchen Feedback von einer Gruppe von Personen, die Ihre Kunden, Verbraucher oder Betrachter widerspiegeln. Hier leistet ein vertrauenswürdiges Umfragepanel mit soliden Targeting-Parametern gute Dienste:

Wenn Sie sich entschieden haben, Ihre Umfrage an ein Umfragepanel zu schicken, ist der nächste wichtige Schritt die Entscheidung, wie viele Personen sie erhalten sollen. Die Stichprobengröße Ihrer Umfrage kann erhebliche Auswirkungen auf die Ergebnisse haben. Es lohnt sich also, darüber nachzudenken. Es gibt vier Hauptfaktoren, die sich auf Ihre Stichprobengröße auswirken können, und Sie sollten jeden dieser Faktoren berücksichtigen, bevor Sie Ihre Entscheidung treffen.

Die Fehlerspanne bzw. das Konfidenzintervall gibt an, wie sehr Ihre Ergebnisse voraussichtlich von der Population Ihrer Stichprobe insgesamt abweichen werden. Im Wesentlichen sagt dieser Wert aus, wie sicher Sie sein können, dass Ihre Umfrageergebnisse tatsächlich repräsentativ sind. Ein Beispiel: Wenn 60 % Ihrer Befragten bei einer Fehlerspanne von 5 % angibt, dass ihnen Konzept A am besten gefallen hat, liegt der tatsächliche Wert zwischen 55 und 65 %.

Eine niedrige Fehlerspanne ist für die Validität Ihrer Ergebnisse wichtig, kann jedoch Ihre Stichprobengröße merklich beeinflussen.

Betrachten wir dies übertragen auf unser Tierfutterbeispiel. In den USA besitzen 85 Millionen Haushalte ein Haustier. Angenommen, dies ist in etwa unsere Gesamtpopulation, die unsere Umfrage repräsentieren soll. Für eine repräsentative Stichprobe dieser Gruppe mit einem Konfidenzintervall von 95 % (Wahrscheinlichkeit, dass Ihre Stichprobe Ihre Population genau abbildet) und einer Fehlerspanne von 5 % müssten Sie Ihre Umfrage an 385 Tierbesitzer senden. Wenn Ihre Fehlerspanne bei 3 % liegen soll, steigt die Stichprobengröße sprunghaft auf 1.068.

Zugegeben, das klingt ganz schön verwirrend. Sie müssen einfach nur die Größe der Gesamtpopulation Ihrer Stichgröße schätzen, die gewünschte Fehlerspanne und das Konfidenzintervall bestimmen (5 % bzw. 95 % sind in der Regel sinnvolle Werte) und mithilfe dieses Stichprobenrechner oder dieses Fehlerspannenrechners die optimale Stichprobengröße ermitteln. Wenn Sie mehr darüber erfahren möchten, finden Sie auf der Seite des Rechners jede Menge Informationen als Erläuterung. Sie möchten nur einen kurzen Überblick?

Wie Sie Ihren Konzepttest gestalten, kann großen Einfluss darauf haben, wie viele Personen Sie befragen. Nehmen wir das Beispiel aus dem vorigen Abschnitt und sagen wir, dass wir 385 Tierbesitzer befragen müssen, um ein verlässliches Ergebnisse zu erhalten.

Denken Sie an das Thema des vorigen Abschnitts zurück, den monadischen und sequenziellen Umfrageaufbau. Wenn Sie einen sequenziellen Test durchführen, bei dem allen Befragten sämtliche Stimuli präsentiert werden, benötigen Sie nur 385 Antworten. Bei einem monadischen Aufbau hingegen benötigen Sie für jeden Stimulus in Ihrem Test 385 Befragte. Das heißt also, wenn Sie sechs Stimuli haben und ein monadisches Umfragedesign gewählt haben, benötigen Sie tatsächlich 2.310 Beantwortungen (385 pro Stimulus).

Monadische Umfragedesigns können Ihre Stichprobengröße rapide steigen lassen, aber ihre Vorteile sind nicht zu unterschätzen. Beispielsweise würden Sie niemals ein sequenzielles Umfragedesign wählen, um sechs 2-minütige Werbespots zu testen. Die Befragten müssten sich 12 Minuten lang Videos ansehen, und dabei ist die Zeit für die eigentliche Umfrage noch nicht berücksichtigt!

Je stärker Ihre Zielpopulation eingegrenzt ist, desto schwieriger wird es, genügend Personen für eine gute Stichprobengröße zu finden. Wenn Sie zum Beispiel Haustierbesitzerinnen mit mittlerem Einkommen ansprechen wollen, werden Sie mühelos geeignete Personen finden. Wenn es sich zusätzlich zu all diesen Kriterien noch um Besitzerinnen von Pudeln handeln soll, die in München leben, ist dies möglicherweise nicht so leicht.

Es ist wesentlich klüger, die von Ihnen gewünschten Zusatzinformationen mit demografischen Fragen zu ermitteln und die Antworten zu filtern.

Im obigen Beispiel würden wir uns an Haustierbesitzerinnen mit mittlerem Einkommen wenden und sie frage, wo sie wohnen und welche Art von Hund sie besitzen. Wenn alle Ergebnisse vorliegen, filtern wir die Antworten unserer gewünschten Nischengruppe heraus.

Letzten Endes müssen Sie um Ihr Budget herum arbeiten. Selbst wenn Sie sich den Konzepttest in der von Ihnen gewünschten Form nicht leisten können, lohnt es sich, überhaupt einen Test durchzuführen. Testen Sie so, wie Sie es sich leisten können, denn wenige Daten sind viel besser als gar keine Daten.

Im Allgemeinen sollten Sie sich nicht allzu viele Gedanken darüber machen, wann Sie Ihre Umfrage starten, aber es gibt einige bewährte Verfahren, die Ihnen einen zusätzlichen Vorsprung verschaffen können.

Wir haben festgestellt, dass die Beantwortungsquoten um die Feiertage herum nicht merklich sinken. Das liegt vermutlich daran, dass alle zu Hause sind und nichts zu tun haben. Doch wenn die Konzepte, die Sie testen, mit einer bestimmten Jahreszeit zusammenhängen, sind durchaus Diskrepanzen bei den Daten festzustellen.

Zum Beispiel wird die Kaufabsicht für Ihr Speiseeis bei einer Umfrage mitten im Winter wahrscheinlich deutlich geringer ausfallen als bei einer Umfrage im Hochsommer. Sie sollten auf solche Unterschieden bei Ihren Daten gefasst sein (wir haben selbst schon viele Beispiele gesehen).

Es kann natürlich sein, dass Sie derartige Probleme mit Ihrem Produkt gar nicht haben. Doch wenn Sie bei Merkmalen, die vor sechs Monaten noch gute Testergebnisse hatten, größere Veränderungen feststellen, ist dies in jedem Fall eine Überlegung wert.

Da mit SurveyMonkey Audience Beantwortungen besonders schnell eingehen, haben wir leichte Unterschiede in der täglichen Zeitplanung von Umfragen festgestellt. Es ist zwar nicht besonders wichtig, zu welcher Tageszeit Sie eine Umfrage verschicken, aber der Wochentag kann eine Rolle spielen. Keine Sorge: Die durchschnittliche Beantwortungsquote von Umfragen ändert sich zwischen Wochenenden und Wochentagen nicht viel, aber die Uhrzeiten der Beantwortung sind etwas weiter gestreut (es stellt sich heraus, dass viele Umfragen während der Arbeitszeit beantwortet werden).

Sie möchten weitere Empfehlungen dazu erhalten, wann und wie Sie Ihre Umfrage versenden sollten? Wir bieten dazu ein ganzes Webinar an, mit zwei Umfrageexperten von SurveyMonkey.

Beantwortungen = 191.464

Beantwortungen = 27.967

Vor allem haben wir festgestellt, dass erheblich mehr Befragte am Wochenende mit mobilen Geräten an Umfragen teilnehmen. Was bedeutet das für Ihre Umfrage?

Einen Test für eine besonders textlastige Anzeige oder einen Website-Entwurf sollten Sie nicht an einem Freitagabend starten, da viele ihn auf einem Handy durchführen werden.

Diese Tipps werden keinen großen Einfluss auf die Qualität Ihrer Ergebnisse haben, sondern sind als Denkanstöße zu verstehen.

Marktforscher haben einen Trick zur Vereinfachung der Daten, die sie von ihren Konzepttestumfragen zurückerhalten. Wenn Sie, wie in diesem Leitfaden empfohlen, 5-Punkt-Likert-Skalen verwendet haben, sehen Ihre Daten wahrscheinlich in etwa so aus:

Für sich genommen lässt sich dieses Diagramm leicht auswerten. Doch wenn man fünf verschiedene Merkmale für vier verschiedene Stimuli vergleichen soll, kann die Sache heikel werden.

Hier kommen die Top-2-Boxscores ins Spiel. Wenn Sie die Produkte eines Tierfutterhersteller vermarkten sollen, interessiert es Sie wahrscheinlich in erster Linie, ob die Kunden Ihr Produkt sehr wahrscheinlich oder äußerst wahrscheinlich kaufen werden. Zur Berechnung des Top-2-Boxscore addieren Sie diese beiden besten Antworten (Top 2).

In diesem Fall ergeben die 15 % der Befragten, die „Äußerst wahrscheinlich“ geantwortet haben, plus die 25 % der Befragten, die „Sehr wahrscheinlich“ geantwortet haben, zusammen einen Top-2-Boxscore von 40 %.

Durch Berechnung Ihres Top-2-Boxscore können Sie die Analyse Ihrer Umfrage erheblich vereinfachen. SurveyMonkey erledigt dies automatisch, wenn Sie die Funktion für kombinierte Antwortoptionen verwenden.

Sobald Sie den Top-2-Boxscore für alle Ihre Fragen berechnet haben, ist es an der Zeit, sie in eine Scorecard einzufügen. Scorecards sind nützlich, um eine vereinfachte Top-Down-Ansicht Ihrer Daten zu erhalten, etwa so:

Sehen Sie, wie viel einfacher es ist, den Sieger zu ermitteln, wenn Ihre Fragen im Scorecard-Format angeordnet sind? Werfen wir einen Blick auf die vollständigen Scorecards aus unseren Tierfutterbeispielen:

Wie Sie sehen, ist es durch die Gliederung der Daten in Scorecards und die anschließende klare Hervorhebung des Gewinners leicht zu erkennen, welches Konzept das beste ist. Da Ihre Scorecard einen Überblick über Ihre Ergebnisse bietet, ist es außerdem sinnvoll, Ergebnisse Ihrer Frage mit erzwungener Antwort oder demografische Aufschlüsselungen aufzunehmen, die Sie überraschend, interessant oder hilfreich finden.

Sie können zum Beispiel die Unterschiede bei den Antworten von männlichen und weiblichen Befragten vergleichen. Das könnte folgendermaßen aussehen:

Expertentipp: SurveyMonkey erstellt automatisch demografische Aufschlüsselungen für Sie, wenn Sie die Vergleichsregeln für demografische Fragen in Analyze verwenden.

Erinnern Sie sich, dass es weiter oben um Stichprobengrößen und Konfidenzintervalle ging? Mithilfe dieser Techniken können Sie Ihren Ergebnissen im Grunde statistische Signifikanz verleihen. Kurz gesagt ist die statistische Signifikanz das Maß, in dem Sie sich auf Ihre Ergebnisse verlassen können. Sie besagt, wie sicher Sie sein können, dass eine Differenz oder ein Zusammenhang besteht.

Sehen Sie sich noch einmal das Scorecard-Beispiel von vorhin an.

Wenn es keine statistisch signifikante Differenz zwischen den Stimuli gibt, sollten Sie innehalten, bevor Sie auf diese Informationen reagieren.

Eine Differenz von 35 % und 40 % bei der Kaufabsicht für eine Werbekampagne könnte zum Beispiel Millionen von Dollar an potenziellen Einnahmen bedeuten.

Wie finden Sie also heraus, ob die Unterschiede zwischen Ihren Stimuli statistisch signifikant sind? Am einfachsten ist es, jeden der Top-2-Boxscores Ihrer Umfrage in einen Rechner für die statistische Signifikanz einzugeben. Wir haben unseren eigenen Rechner entwickelt, um Ihnen dabei zu helfen.

Rechner für statistische Signifikanz herunterladen

Die Auswahl des besten Konzepts mag an dieser Stelle wie eine kinderleichte Aufgabe erscheinen. Sie erstellen Ihre Scorecard, markieren die besten Merkmale und wählen das Konzept aus, bei dem die meisten Merkmale hervorgehoben sind. Manchmal ist es wirklich so einfach, aber nicht immer.

Einige Merkmale sind wichtiger als andere. Das kann erhebliche Auswirkungen darauf haben, welches Konzept am Ende der Sieger ist. Deshalb ist es wichtig, die Merkmale, die Sie untersuchen, nach Priorität zu ordnen. Wenn Konzept A und B bei den meisten Merkmalen ziemlich nahe beieinander liegen und Konzept A etwas besser abschneidet, ist es zunächst naheliegend, dass Konzept A das bessere ist.

Beachten Sie jedoch, dass Konzept B in puncto Kaufabsicht deutlich besser abschneidet als Konzept A. Dieses Merkmale ist für Sie wahrscheinlich wichtiger als Aspekte wie optische Attraktivität oder Differenzierung gegenüber der Konkurrenz. Ihr übergeordnetes Ziel ist schließlich ein Produkt oder eine Anzeige, das/die den Umsatz ankurbelt. Daher sollten Sie diesen Aspekt stärker gewichten und die Auswahl von Konzept B in Erwägung ziehen.

Wichtig: Lassen Sie hier nicht die Fehlerspanne außer Acht, vor allem dann nicht, wenn Ihre Ergebnisse sehr nahe beieinander liegen. Wenn sich Konzept A und B nur um 2 bis 3 Prozentpunkte unterscheiden und Ihre Fehlerspanne 5 % beträgt, ist die Differenz wahrscheinlich wirklich zu gering, selbst wenn es so aussieht, als gäbe es einen Gewinner. Dies sind Fälle, in denen eine Frage mit erzwungener Antwort am Ende Wunder wirken kann. Sie können bei knappen Entscheidungen ausschlaggebend sein.

Oft muss man mehr Faktoren in Betracht ziehen als nur, welches Konzept das beste ist. Das ist beispielsweise der Fall, wenn Sie ein Produkt testen, nach dem Ihre Kunden verlangt haben, oder eine Werbekampagne, die ein übergeordnetes Ziel des Unternehmens unterstützt.

Für die Entscheidungsfindung sind die Umfrageergebnisse im Zusammenhang mit allen anderen Ihnen zur Verfügung stehenden Datenpunkten zu betrachten. Wenn ich eine neue Anzeige im Vergleich zu einer Anzeige teste, die seit Jahren geschaltet wird, und meine Unternehmensstrategie darauf ausgerichtet ist, eine neue Perspektive zu bieten, könnte es in Ordnung sein, wenn die alte Anzeige die neue noch um ein paar Prozentpunkte übertrifft.

Die Entwicklung von Benchmarks erfordert Zeit. Sie eignen sich jedoch hervorragend, um die Wirksamkeit Ihrer Konzepte in einem breiteren Kontext zu bewerten. Benchmarks sind Standards für Vergleiche, um herauszufinden, wie Ihre Konzepte im Kontext Ihrer früheren Konzepte oder der Ihrer Konkurrenten abschneiden.

Sie können zum Beispiel vergleichen, wie Ihre Anzeige vom letzten Jahr im Vergleich zu Ihrer neuen Anzeige abschneidet, um dieses Konzept auf Herz und Nieren zu prüfen. Wenn Ihre neue Anzeige nicht überzeugt, ist es vielleicht an der Zeit, einen anderen Ansatz auszuprobieren.

Ein weiterer üblicher Ansatz ist eine „Kontroll“-Option in Ihrer Umfrage (vielleicht eine alte, wirkungsvolle Anzeige), die Sie mit all Ihren neuen Optionen vergleichen können. Die Fähigkeit, die alte Anzeige zu übertreffen, könnte genauso wichtig sein wie die Auswahl der besten Option aus Ihrem Stapel neuer Anzeigen.

Schließlich erstellen viele Marktforscher Umfragen, in denen ihre Wettbewerbsvorteile getestet werden, um zu sehen, wie sie abschneiden. Möchten Marktforscher bei GoodBoy beispielsweise testen, wie ihre Anzeigen oder ihr Verpackungsdesign im Vergleich zu den Konkurrenten bei PupLove abschneiden, könnten sie anhand der Konzepte von beiden eine Umfrage erstellen, um Hinweise darauf zu erhalten, wie sie sich im Wettbewerb schlagen.

Herzlichen Glückwunsch! Sie haben Ihren Konzepttest von Grund auf erstellt und mit Ihren Umfragen aussagekräftige Ergebnisse erhalten. Sollten Sie Mitglied eines Forschungsteams sein, müssen Sie vielleicht nur noch Ihre Ergebnisse und Empfehlungen abgeben.

Doch wenn Sie für einen Anzeigen- oder Produktprozess verantwortlich sind, liegen die nächsten Schritte in Ihrer Hand. Sie müssen Ihren Stakeholdern überzeugend nachweisen, dass das von Ihnen gewählte Konzept das beste ist. Das bedeutet, dass Sie Ihre Ergebnisse in ein für diese verständliches Format bringen müssen, das im Idealfall auf eine Präsentationsfolie passt. Dafür sind Scorecards perfekt geeignet.

Wichtig: Scheuen Sie sich nicht, umzuschwenken oder den Kurs zu ändern, wenn die Daten etwas Beunruhigendes oder Überraschendes ergeben oder wenn sie etwas zum Vorschein bringen, das Sie vorher nicht bedacht hatten. Schließlich war dies der eigentliche Grund für den Test. Das übergeordnete Ziel ist es, Ihnen dabei zu helfen, etwas zu wagen, was gut für Ihr Unternehmen ist.