Antwortoptionen, die halten: Multiple-Choice-Fragen gestalten
Die Antwortliste unter einer Frage legt fest, was Menschen dir überhaupt sagen können. So baust du Optionen, die sich ausschließen, niemanden ausschließen und ehrlich messen, und darum zählt 'Alles Zutreffende ankreuzen' systematisch zu niedrig.
Von SurveyLane · Das Team hinter SurveyLane
Fast jeder Rat zu Umfragefragen dreht sich um die Frage selbst. Die Antwortliste wird danach in einer halben Minute getippt, und genau dort geht viel schief. Die Optionen, die du anbietest, entscheiden, welche Antworten möglich sind und welche nie gezählt werden. Stimmt die Liste nicht, liefert auch eine sauber formulierte Frage Zahlen, die du nicht verteidigen kannst.
Die Antwortliste gehört zur Frage
Befragte lesen die Frage, schauen auf die Kästchen und nehmen das, was am besten passt. Fehlt eine naheliegende Antwort, nehmen sie die nächstbeste. Überschneiden sich zwei Kästchen, wählen sie eins nach Gefühl. Stehen vierzehn da, lesen sie die ersten paar und hören auf.
Nichts davon siehst du in deinem Export. Deshalb behandelt der Beitrag über bessere Umfragefragen die Optionen als Teil der Frage.
Das Pew Research Center fasst die Grundregel in einem Satz zusammen: Geschlossene Fragen sollen alle vernünftigen Antworten enthalten, damit die Liste vollständig ist, und die Kategorien dürfen sich nicht überschneiden, damit sie sich gegenseitig ausschließen.
Überschneidungsfrei: keine Antwort passt in zwei Kästchen
Überschneidungen sind der häufigste Fehler. Klassisch sind Zahlenbereiche.
Wie alt bist du?
18-25
25-35
35-45
45 oder älter
Wer 25 ist, passt in zwei Kästchen, wer 35 ist, ebenfalls. Die einen wählen die untere Klasse, die anderen die obere, und deine Altersgruppen verschwimmen genau an den Rändern. Die Lösung ist langweilig: 18-24, 25-34, 35-44, 45 oder älter.
Kategorien überschneiden sich genauso. "Wie hast du von uns erfahren?" mit "Social Media", "Instagram", "Über Freunde" und "Online" gibt jemandem, der den Instagram-Post einer Freundin gesehen hat, vier vertretbare Antworten. Bau die Liste entlang einer einzigen Dimension, etwa dem Kanal, und stell für eine zweite Dimension eine zweite Frage.
Häufigkeiten überschneiden sich leiser. "Täglich" und "Mehrmals pro Woche" verschwimmen für jemanden, der das Produkt an fünf von sieben Tagen nutzt. Verankere sie an Zahlen, zum Beispiel "an 5 oder mehr Tagen pro Woche".
Vollständig: alle Befragten brauchen ein Kästchen
Jede Person muss eine Option finden, die für sie stimmt. Sonst nimmt sie die nächstliegende, und die schluckt Antworten, die nicht dorthin gehören.
Pew hat ein deutliches Beispiel dafür, wie stark eine Liste lenkt. Nach der US-Präsidentschaftswahl 2008 wurde eine Gruppe gefragt, welches Thema für ihre Stimme am wichtigsten war, und bekam fünf Optionen vorgelesen. Eine andere Gruppe bekam dieselbe Frage ohne Liste. Wurde die Wirtschaft ausdrücklich angeboten, wählten sie 58 %. In der offenen Version nannten sie nur 35 % von sich aus. In der geschlossenen Version gaben 8 % eine Antwort außerhalb der fünf Optionen. In der offenen Version nannten 43 % etwas, das gar nicht auf der Liste stand.
Die Liste hat also die Meinungen mitgeformt, die sie messen sollte. Eine Option, die du weglässt, wird fast unsichtbar, denn kaum jemand nennt von sich aus, was du nicht vorgeschlagen hast. Steht "unsere Firma ist auf ein anderes Tool umgestiegen" nicht in deiner Liste der Kündigungsgründe, erfährst du nie, wie viele Kunden deshalb gegangen sind.
"Sonstiges, bitte angeben" fängt weniger auf, als du hoffst
Das übliche Pflaster für eine unvollständige Liste ist ein Kästchen "Sonstiges" mit Textfeld. Behalte es. Die Zahlen von 2008 zeigen aber seine Grenze: Wer eine Liste bekommt, wählt meistens daraus. "Sonstiges" sammelt nur die Antworten derer, die motiviert genug sind, etwas zu tippen.
Nutz es als Frühwarnung. Taucht in den ersten Tagen der Feldphase dieselbe Antwort immer wieder auf, war sie eine fehlende Option, und die Zahl, die du siehst, ist eine Untergrenze. Nimm sie in der nächsten Welle auf. Codier sie nicht nachträglich um und präsentier sie dann so, als hätten alle sie wählen können.
Setz "Sonstiges" ans Ende, nach den echten Optionen. Und mach das Textfeld optional. Ein Pflichtfeld "bitte angeben" macht aus einem Häkchen eine Schreibaufgabe.
Warum "Alles Zutreffende ankreuzen" zu niedrig zählt
"Welche der folgenden Dinge hast du erlebt? Alles Zutreffende ankreuzen." Die Ankreuzliste ist kompakt und wirkt effizient. Sie zählt auch systematisch zu niedrig.
Pew hat das getestet. Im Online-Panel American Trends Panel sah vom 30. Juli bis 12. August 2018 unter 4.581 erwachsenen US-Amerikanern die Hälfte der Stichprobe eine Liste von Ereignissen als Ankreuzliste. Die andere Hälfte beantwortete jedes Ereignis als eigene Ja/Nein-Frage. Im Bericht von Arnold Lau und Courtney Kennedy, veröffentlicht am 9. Mai 2019, lagen die Schätzungen mit dem Ja/Nein-Format im Schnitt 8 Prozentpunkte höher.
Einzelne Punkte verschoben sich deutlich stärker. Von einer Krankenversicherung abgelehnt zu werden stieg von 13 % in der Ankreuzliste auf 19 % im Ja/Nein-Format. Den Job verlieren oder Mühe haben, einen neuen zu finden, stieg von 51 % auf 63 %. Von einem Mechaniker oder Handwerker zu viel berechnet bekommen stieg von 36 % auf 52 %.
Die Ursache ist schlicht Aufwand. Eine Ankreuzliste zeigt alle Optionen auf einmal, und nichts zwingt dazu, jede einzelne zu prüfen. Man kreuzt an, was ins Auge springt, und macht weiter. Ein leeres Kästchen kann "nein" heißen oder "so weit habe ich nicht gelesen". Du kannst es nicht unterscheiden.
Die Position machte es schlimmer. Pew maß bei den Ankreuzfragen einen durchschnittlichen Primacy-Effekt von 3 Prozentpunkten: Punkte weiter oben wurden häufiger angekreuzt, nur weil sie oben standen. Beim Ja/Nein-Format lag er bei 0. Der Beitrag über Reihenfolgeeffekte erklärt diesen Mechanismus genauer.
Die Alternative: Ja oder Nein pro Punkt
Stell jeden Punkt als eigene Ja/Nein-Frage, oft in einem kompakten Raster. Nach diesen Ergebnissen hat Pew in Online-Umfragen, wo es geht, auf das Ja/Nein-Format umgestellt.
Ist dir in den letzten 12 Monaten Folgendes passiert?
Ja Nein
Zu viel bezahlt beim Mechaniker ○ ○
Den Job verloren ○ ○
Von einer Krankenversicherung abgelehnt ○ ○
Die Befragten müssen bei jeder Zeile anhalten und sich entscheiden, und eine übersprungene Zeile sieht nicht mehr wie ein "Nein" aus.
Das kostet Zeit, und auf dem Handy wird ein breites Raster zu einer langen Scrollstrecke. Halte die Liste kurz und teste in Handybreite. Was die zusätzlichen Sekunden mit der Abschlussrate machen, steht im Beitrag über Umfragelänge und Abbrüche.
Wann eine Ankreuzliste trotzdem reicht
Ankreuzen ist eine Abwägung, die manchmal aufgeht. Pew fand dazu ein nützliches Detail: Die Rangfolge vom häufigsten zum seltensten Punkt war in beiden Formaten gleich oder sehr ähnlich. Bei den Niveaus lag die Ankreuzliste daneben. Die Reihenfolge traf sie meistens.
Daraus folgt, wann du sie nehmen kannst. Willst du nur wissen, welche von sechs Integrationen am meisten genutzt wird, liefert eine Ankreuzliste eine brauchbare Rangfolge mit weniger Aufwand. Brauchst du das Niveau selbst, etwa den Anteil der Kunden mit einem Rechnungsfehler, nimm Ja/Nein. Genau diese Zahl drückt eine Ankreuzliste nach unten.
Kurze, konkrete Listen leiden am wenigsten. Zwölf vage Erfahrungen, für die man jeweils kurz im Gedächtnis kramen muss: Da verliert eine Ankreuzliste am meisten.
Wie viele Optionen zu viele sind
Das Ende einer langen Liste bekommt weniger Aufmerksamkeit als der Anfang. Pew rät, die Zahl der Antwortoptionen in den meisten Fällen klein zu halten, "vier oder höchstens fünf".
Das ist ein Richtwert für Meinungsfragen. Eine Liste mit Ländern oder Berufsbezeichnungen ist von Natur aus lang, und dort funktioniert ein durchsuchbares Auswahlfeld besser als vierzig Optionsfelder. Für alles dazwischen probier zuerst das:
- Teil die Frage. Zwölf Optionen verbergen oft zwei Fragen mit je sechs.
- Gruppier die Optionen unter kurzen Zwischenüberschriften, damit man direkt zum passenden Block springt.
- Misch die Reihenfolge pro befragter Person, damit sich der Positionseffekt gleichmäßig verteilt.
- Streich Optionen, die im Pretest kaum jemand gewählt hat, und lass "Sonstiges" sie auffangen.
Misch nie eine Liste mit natürlicher Reihenfolge, etwa Häufigkeiten, Beträge oder Altersklassen. Und lass "Sonstiges" und "Nichts davon" unten stehen, auch wenn der Rest wechselt.
Eine Antwort oder mehrere: die Auswertung entscheidet
"Was war der wichtigste Grund für deine Kündigung?" und "Welche dieser Gründe haben eine Rolle gespielt?" beantworten unterschiedliche geschäftliche Fragen.
Eine einzige Antwort erzwingt eine Priorität. Die Anteile summieren sich auf 100 % und du bekommst einen klaren Hauptgrund, aber Nebengründe verschwinden. Mehrere Antworten zeigen die ganze Breite ohne Priorität, und die Prozente summieren sich auf mehr als 100 %, was jeden verwirrt, der das Diagramm liest.
Oft willst du beides. Frag pro Grund mit Ja oder Nein, ob er eine Rolle spielte. Frag danach, welcher am schwersten wog, und zeig nur die Gründe, bei denen jemand Ja gesagt hat. Wie du das verzweigst, steht im Beitrag über bedingte Logik und Feedback.
Weiß nicht, trifft nicht zu und keine Angabe sind verschiedene Antworten
Ein fehlender Ausweg ist auch eine Lücke in der Liste. Wer nie Kontakt zum Kundenservice hatte, kann ihn nicht bewerten. Ohne "Trifft nicht zu" überspringt diese Person die Frage, falls das erlaubt ist, oder sie rät, und das Raten landet in deinem Zufriedenheitsdurchschnitt.
Diese Optionen bedeuten jeweils etwas anderes:
- "Weiß nicht": Die Frage betrifft die Person, aber ihr fehlt die Information.
- "Trifft nicht zu": Die Frage betrifft sie gar nicht.
- "Keine Angabe": Sie weiß es und will es nicht sagen.
Legst du sie zusammen, verlierst du das Signal. Viel "Weiß nicht" bei einer Preisfrage deutet auf ein Kommunikationsproblem, viel "Keine Angabe" beim Einkommen auf ein Vertrauensproblem. Der Beitrag über heikle Fragen erklärt, warum ein ausdrücklicher Ausweg die übrigen Antworten ehrlich hält.
Jeder sichtbare Ausweg lockt aber auch Leute, die einfach weiterwollen. Biete "Weiß nicht" deshalb nur dort an, wo Nichtwissen echt und häufig vorkommt.
Die Liste aus echten Antworten bauen, nicht im Meeting
Der sicherste Weg zu einer vollständigen Liste ohne Überschneidungen: aufhören zu raten. Stell die Frage zuerst offen, einer kleinen Gruppe oder in einem Soft Launch, und bau die Optionen aus dem, was die Leute tatsächlich sagen. Du findest Antworten, an die im Planungsmeeting niemand gedacht hat. Und Optionen, die du sorgfältig getrennt hast, sind für die Befragten ein und dasselbe.
Wie du diese Antworten in Kategorien codierst, liest du unter offene Antworten auswerten. Teste danach die fertige Liste. Ein kognitives Interview ist der schnellste Weg, "ich wusste nicht, ob ich das hier bin oder das da" zu hören, und der Beitrag über Umfragen vorab testen beschreibt, wie du eins führst.
Ein Check für jede Antwortliste vor dem Start
Geh jede geschlossene Frage mit diesen Prüffragen durch:
- Passt eine echte Antwort in zwei Optionen? Zieh die Grenzen scharf.
- Gibt es jemanden, für den keine Option stimmt? Ergänze sie, oder setz "Sonstiges" ans Ende.
- Ist es eine Ankreuzliste, obwohl du das Niveau brauchst? Stell auf Ja/Nein pro Punkt um.
- Mehr als fünf Optionen bei einer Meinungsfrage? Teilen, gruppieren oder streichen.
- Hat die Reihenfolge eine Bedeutung? Wenn nicht, misch sie und lass die Auswege unten.
- Stehen "Weiß nicht", "Trifft nicht zu" und "Keine Angabe" getrennt, und nur dort, wo sie wirklich vorkommen?
Nach der Feldphase fängst du mit dem Überwachen der Antwortqualität die nachlässigen Befragten ab. Eine Antwort, die deine Liste nie zugelassen hat, holst du damit nicht zurück.
Häufig gestellte Fragen
Sollte ich Ankreuzlisten immer durch Ja/Nein-Fragen ersetzen?
Nicht immer. Pew fand, dass Ja/Nein-Punkte im Schnitt um 8 Prozentpunkte höhere Schätzungen liefern, während die Rangfolge der Punkte nahezu gleich blieb. Brauchst du den tatsächlichen Anteil der Menschen, die etwas erlebt haben, nimm Ja/Nein. Willst du nur die relative Reihenfolge wissen und ist die Liste kurz und konkret, ist eine Ankreuzliste ein vertretbarer Kompromiss.
Reicht eine Option "Sonstiges, bitte angeben", um meine Liste vollständig zu machen?
Nein. Die meisten Befragten wählen aus den Optionen, die sie sehen, und nur wenige tippen etwas Neues ein, also zählt ein Sonstiges-Feld die weggelassenen Antworten zu niedrig. Taucht eine getippte Antwort in den ersten Tagen immer wieder auf, nimm sie in der nächsten Welle als echte Option auf.
Wie viele Antwortoptionen sollte eine Multiple-Choice-Frage haben?
Für Meinungsfragen rät Pew zu einer kleinen Zahl, in den meisten Fällen vier oder höchstens fünf. Faktenfragen mit einer von Natur aus langen Liste, etwa Länder oder Berufsbezeichnungen, funktionieren besser als durchsuchbares Auswahlfeld oder als offene Antwort.
Sollte ich die Reihenfolge der Antwortoptionen zufällig machen?
Ja, wenn die Optionen keine natürliche Reihenfolge haben, damit nicht immer dieselben Optionen von einem Platz weit oben profitieren. Behalte eine feste Reihenfolge bei allem mit eingebauter Abfolge, etwa Häufigkeiten, Beträgen, Altersklassen oder Bewertungsskalen, und lass Sonstiges, Nichts davon und Weiß nicht unten stehen.
