Pflichtfragen: Was eine erzwungene Antwort kostet

Jedes Umfragetool hat einen Schalter für Pflichtfragen, und ein vollständiger Datensatz fühlt sich wie ein sauberer an. Trotzdem kann eine Pflichtfrage niemanden zum Antworten bringen. Wer die Frage überspringen wollte, steht vor einer Wahl: doch antworten, etwas erfinden oder den Tab schließen. Nur das Erste erkennst du im Export als das, was es ist.

Was der Pflichtschalter wirklich macht

Ist eine Frage Pflicht, kommt die befragte Person erst weiter, wenn eine Antwort dasteht. In der Methodenforschung heißt das Forced Answering, Forced Response oder harte Erinnerung. Es funktioniert bei jedem Fragetyp, auch bei offenen Textfeldern.

Die Einstellung wirkt nur bei der Person, die überspringen wollte. Frag dich also, was diese Person tut, wenn du sie aufhältst. Sie kann doch noch ehrlich antworten. Sie kann irgendetwas eintippen oder ankreuzen, um an der Sperre vorbeizukommen. Oder sie geht. Eine Pflichtfrage lohnt sich nur, wenn die erste Gruppe deutlich größer ist als die beiden anderen.

Warum Menschen eine Frage leer lassen

Aus Faulheit überspringen Menschen selten. Meistens bietet die Frage ihnen keine Möglichkeit, wahrheitsgemäß zu antworten:

• Sie verstehen die Frage nicht oder lesen sie auf zwei Arten.
• Keine der Optionen passt zu ihrer Situation.
• Sie kennen die Antwort nicht, und Raten fühlt sich falsch an.
• Die Frage ist persönlich, und sie behalten die Antwort lieber für sich.
• Die Frage betrifft sie nicht, und die Filterführung hat das übersehen.

Viele leere Antworten bei einer einzigen Frage zeigen dir, dass die Formulierung oder die Antwortliste nicht stimmt. Erzwingst du eine Antwort, wird aus diesem Signal Rauschen. Du weißt nicht mehr, welche Antworten von Leuten stammen, die überspringen wollten, also kannst du sie auch nicht herausfiltern.

Der Beitrag über Multiple-Choice-Fragen behandelt die Seite der Antwortliste, auch warum "weiß nicht" und "trifft nicht zu" verschiedene Antworten sind.

Die Belege: Erzwungene Antworten vertreiben Menschen

Das klarste Experiment stammt von Jean Philippe Décieux, Alexandra Mergener, Kristina Neufang und Philipp Sischka, 2015 in der Zeitschrift Psihologija veröffentlicht. Sie schrieben rund 20.000 Studierende an zwei deutschen Universitäten per E-Mail an, 625 nahmen teil. Der Fragebogen hatte etwa 100 Items zu Partnerschaft und Sexualität. Die Befragten bekamen zufällig eine von drei Versionen: Überspringen ist überall erlaubt, alles muss beantwortet werden, oder alles muss beantwortet werden, aber jede Liste hat die Option "möchte ich nicht beantworten".

In der Pflichtversion versuchten 80 von 205 Befragten (39 Prozent) mindestens einmal, eine Frage zu überspringen, und sahen die Fehlerseite. Von dieser Gruppe brachen 35 Prozent ab. Bei allen, die nie aufgehalten wurden, und in der Version mit "möchte ich nicht beantworten" lag die Abbruchquote bei 9 Prozent.

In der erzwungenen Gruppe stieg die Abbruchquote um 7,5 Prozentpunkte bei einer offenen Frage, welche Eigenschaften ihres Partners die Befragten gern ändern würden, und um 8,7 Punkte bei einer Frage nach eigenen Erfahrungen mit Geschlechtskrankheiten. Diese Menschen waren fast am Ende. Die Autoren nennen sie "schlechte Abbrecher": motivierte Befragte, die du wegen des Designs verlierst.

Décieux und Kollegen verweisen außerdem auf eine Studie von Stefan Stieger, Ulf-Dietrich Reips und Martin Voracek aus dem Jahr 2007. Dort brachen in einer Gruppe mit Antwortzwang 64,1 Prozent ab, gegenüber 18,6 Prozent, wenn Überspringen erlaubt war.

Panels verhalten sich anders

Nicht jede Studie findet mehr Abbrüche. Gerald Albaum und Kollegen 2010 sowie Catherine Roster und Kollegen 2014, mit Stichproben in den USA und Hongkong, stellten fest, dass Antwortzwang die Abbruchquote nicht erhöhte und die Zahl fehlender Antworten deutlich senkte. Beide Studien nutzten Online-Panels.

Panelmitglieder werden pro ausgefülltem Fragebogen bezahlt und bringen Fragebögen aus Gewohnheit zu Ende. Eine gesperrte Frage lässt sie selten aufhören. Deine Kundschaft schuldet dir nichts. Wo ein Panelmitglied mit den Schultern zuckt, steigt eine Kundin vielleicht aus.

Kaufst du Panelstichprobe ein, kostet dich eine Pflichtfrage wenige vollständige Antworten, auch wenn sie dich immer noch Ehrlichkeit kosten kann. Tun dir die Befragten einen Gefallen, rechne mit dem Ergebnis der Studierenden.

Eine erzwungene Antwort ist nicht immer eine echte

Abbrüche kannst du zählen. Der zweite Schaden ist schwerer zu sehen. Am Ende der Umfrage von Décieux wurden die Befragten neutral formuliert gefragt, wie viele Fragen sie nicht ehrlich beantwortet hatten. Von denen, die aufgehalten worden waren, gaben 25 Prozent mindestens eine zu. In der Version mit "möchte ich nicht beantworten" waren es 13 Prozent. Und die verärgertsten Personen der erzwungenen Gruppe waren schon gegangen, bevor sie diese Frage erreichten. Der echte Unterschied kann also größer sein.

In der Psychologie heißt das Reaktanz: Nimm jemandem die Freiheit, abzulehnen, und ein Teil wehrt sich, durch Abbruch oder durch eine Antwort, die nicht stimmt. Stell dir eine Pflichtfrage zum Einkommen in einer Kundenumfrage vor. Wer das nicht teilen will, kreuzt die erste Einkommensklasse an, oder die mittlere. Die Spalte in deinem Export ist vollständig, und deine Auswertung nach Einkommen enthält jetzt Antworten, die niemand so gemeint hat.

Mit Wissen ist es genauso. Frag verpflichtend "Wie oft hast du letztes Jahr den Support kontaktiert?", und wer es nicht weiß, tippt eine Schätzung ein, meist eine runde Zahl. Der Beitrag über heikle Fragen erklärt, warum Menschen ihre Antworten ohnehin schönfärben. Antwortzwang verstärkt das.

"Möchte ich nicht beantworten" und sein Preis

Eine Option "möchte ich nicht beantworten" sieht nach dem naheliegenden Kompromiss aus. Die Frage bleibt Pflicht, also überspringt niemand aus Versehen, und trotzdem gibt es einen ehrlichen Ausweg. In der Studie von Décieux verschwanden damit die zusätzlichen Abbrüche, und das selbst berichtete Schummeln lag etwa bei der Hälfte des Werts der Befragten, die aufgehalten worden waren.

Edith de Leeuw, Joop Hox und Anja Boevé fanden 2015, dass eine ausdrücklich angebotene Option dieser Art mehr fehlende Daten erzeugt und oft die Reliabilität der Antworten senkt, die du bekommst. Ein bequemer Ausweg wird genutzt.

Biete die Option also dort an, wo Ablehnen eine legitime Antwort ist. Einkommen, Gesundheit, Sexualität, Religion, eine Frage zu einer namentlich genannten Führungskraft: Hier ist "möchte ich nicht sagen" eine Information, und die akzeptierst du. Bei einer Frage nach der meistgenutzten Funktion der letzten Woche gehört sie nicht hin. Kann jemand die nicht beantworten, ergänze "nichts davon".

Zähle diese Antworten in der Auswertung als fehlend, nicht als Punkt auf deiner Skala.

Sanfte Hinweise: einmal fragen, dann loslassen

Es gibt einen besseren Standard als beide Extreme. Lass Überspringen zu, und zeig in dem Fall einen kurzen Hinweis mit der Frage, ob das Absicht war. Danach geht es so oder so weiter. Das nennt man sanften Hinweis oder Soft Prompt.

Wie Décieux und Kollegen zusammenfassen, fanden DeRouvray und Mick Couper 2002 sowie Stéphane Ganassali 2008 beide, dass ein Hinweis bei einer übersprungenen Frage die Zahl fehlender Antworten senkte, obwohl Leerlassen weiterhin erlaubt war. Tarek Al Baghal und Peter Lynn verglichen einen Hinweis direkt nach der übersprungenen Frage mit einer Erinnerung am Ende des Fragebogens. Der direkte Hinweis wirkte viel besser und brachte die fehlenden Antworten nahe an das Niveau persönlicher Interviews. In der Studie von de Leeuw ergab Überspringen erlauben und danach höflich nachfragen die höchste Beantwortung aller getesteten Varianten.

Ein sanfter Hinweis fängt versehentliches Überspringen ab. Wer nur kurz gezögert hat, antwortet dann oft doch. Wer einen echten Grund zum Ablehnen hat, wird in Ruhe gelassen. Die Formulierung entscheidet, ob es sich wie eine Frage oder wie eine Wand anfühlt. Vergleiche:

• "Fehler: Bitte beantworte alle Fragen, bevor du fortfährst."
• "Diese Frage hast du noch nicht beantwortet. Sie hilft uns zu verstehen, warum Kunden kündigen, aber du kannst sie gern überspringen."

Die zweite Version sagt, warum die Antwort zählt und dass Überspringen in Ordnung ist. Setz den Hinweis direkt neben die Frage und zeig ihn einmal. Ein Hinweis, der bei jedem Klick auf "Weiter" wiederkommt, ist eine harte Erinnerung mit Umweg.

Welche Fragen Pflicht sein dürfen

Manche Fragen brauchen wirklich eine Antwort, weil die Umfrage ohne sie nicht funktioniert. Der Test ist einfach: Funktioniert der Rest der Umfrage noch, wenn diese Frage leer bleibt?

• Einwilligungsfragen, bei denen du rechtlich oder ethisch ohne Ja nicht weitermachen kannst.
• Screeningfragen, die entscheiden, ob jemand überhaupt zur Stichprobe gehört.
• Filterfragen, deren Antwort bestimmt, welcher Block als Nächstes kommt. Der Beitrag über bedingte Logik zeigt, wie eine Verzweigung an dieser Antwort hängt.

Deine wichtigste Ergebnisfrage fehlt bewusst in dieser Liste. Die NPS-Frage oder die Gesamtzufriedenheit zur Pflicht zu machen, ist verlockend, denn diese Zahl berichtest du. Aber eine erzwungene Bewertung von jemandem, der keine abgeben wollte, ist genau die Antwort, der du am wenigsten trauen kannst. Nutze einen sanften Hinweis und berichte, wie viele Menschen geantwortet haben.

Halte diese wenigen Pflichtfragen sachlich und eindeutig, damit niemand sie überspringen will.

Offene Fragen niemals erzwingen

Ein Pflichtfeld für Freitext sammelt alle Probleme von oben. Tippen kostet Mühe, besonders am Handy, und wer nichts zu sagen hat, erfindet etwas. Du bekommst "k.A.", "nichts" oder "...". In den Daten von Décieux gab es einen der größten Sprünge bei den Abbrüchen genau bei so einer Frage.

Mach offene Fragen optional und stell die wichtigste früh in der Umfrage. Der Beitrag über Umfragen für Smartphones erklärt, warum Tippen auf Glas Antworten kürzer macht, und der Leitfaden zur Analyse offener Antworten behandelt den Text, den du bekommst.

Die Lücken lesen, die du zugelassen hast

Nenne bei jeder Zahl die Basis. "62 Prozent zufrieden (n = 412)" zeigt den Lesenden, dass weniger Menschen diese Frage beantwortet haben, als an der Umfrage teilgenommen haben. Behandle ein leeres Feld nie als null oder als niedrigsten Skalenpunkt, denn dann wird aus einer Nicht-Antwort eine deutliche Meinung. Und achte auf Auswertungen, die stillschweigend jede befragte Person mit einer Lücke entfernen. Kombinierst du zehn Fragen und wirfst alle raus, die eine davon übersprungen haben, verlierst du womöglich ein Drittel deiner Stichprobe. Und zwar kein zufälliges Drittel.

Die Überspringrate pro Frage ist zudem ein Qualitätssignal. Eine Frage, die fünfmal so oft übersprungen wird wie ihre Nachbarn, hat ein Problem. Oft ist die Formulierung unklar oder es fehlt eine Option. Der Beitrag über schlechte Umfrageantworten behandelt die anderen Warnzeichen. Mit dem MCP-Server von SurveyLane fragst du einen Assistenten, welche Fragen am häufigsten übersprungen werden und ob sich die Überspringenden bei den übrigen Fragen von denen unterscheiden, die geantwortet haben.

Die Entscheidung vor dem Start testen

Welche Fragen Menschen überspringen wollen, kannst du nicht erraten. Starte zuerst mit einem kleinen Teil deiner Stichprobe und erlaube überall das Überspringen. Die Überspringrate pro Frage zeigt dir, wo die Formulierung besser werden muss. Der Leitfaden zum Vortesten einer Umfrage erklärt, wie du das aufsetzt.