Heikle Fragen stellen, ohne Menschen zum Lügen zu drängen
Bei heiklen Themen antworten Menschen so, dass sie gut dastehen, statt genau zu sein, und dein sauberer Export verbirgt das. So entscheiden Modus, Formulierung und Platzierung, ob jemand die Wahrheit sagt.
Von SurveyLane · Das Team hinter SurveyLane
Manche Fragen bekommen eine ehrliche Antwort. Andere bekommen die Antwort, die der Befragte dir geben will. Die Lücke dazwischen ist kein Rauschen, das du wegmitteln kannst. Sie läuft in eine Richtung, sie ist genau dort am größten, wo das Thema am meisten zählt, und nichts in deinem sauberen Export zeigt, welche Zeilen aufgebläht sind. Das ist soziale Erwünschtheit, und du wirkst ihr entgegen, bevor du versendest, nicht danach.
Was soziale Erwünschtheit wirklich ist
Menschen wollen gut dastehen, sogar vor einem Fremden, den sie nie treffen werden, sogar in einer Umfrage, von der man ihnen sagte, sie sei anonym. Also rücken Befragte bei jeder Frage mit einer sozial gebilligten Antwort in diese Richtung. Sie berichten zu viel von den Dingen, die ein guter Bürger tut: wählen, Sport treiben, spenden, den Kindern vorlesen. Und sie berichten zu wenig von den Dingen, die ein Stigma tragen, von Alkohol und Drogen bis zu Vorurteilen, Schulden und dem Auslassen des Zahnarzttermins.
Das Tückische ist, dass der Fehler eine Richtung hat. Gewöhnliches Messrauschen streut in beide Richtungen und schrumpft, wenn deine Stichprobe wächst. Soziale Erwünschtheit schrumpft nicht, denn jeder Befragte lehnt sich in dieselbe Richtung. Eine größere Stichprobe kauft dir nur eine genauere Schätzung der falschen Zahl. Das macht sie gemeiner als ein Zufallsfehler und den Aufwand im Design wert. Mehr Daten retten dich nicht.
Der Interviewer ist der größte Hebel
Bevor du ein einziges Wort an der Frage änderst, entscheide, wem der Befragte antwortet. Die Anwesenheit eines anderen Menschen ist der stärkste Treiber sozialer Erwünschtheit überhaupt, und sie abzuschalten ist die zuverlässigste Lösung, die du hast.
Das Pew Research Center hat das direkt gemessen, indem es dieselben Fragen am Telefon und im Web gestellt hat. Auf ihre persönlichen Finanzen angesprochen, gaben 20 Prozent der online Befragten zu, finanziell schlecht dazustehen, gegenüber nur 14 Prozent derjenigen mit einem echten Interviewer am Telefon. Dieselbe Frage, derselbe Zeitraum. Der einzige Unterschied war, ob ein Mensch zuhörte. Pew fand außerdem, dass Verweigerungen bei heiklen Fragen höher liegen, wenn ein Interviewer dabei ist. Menschen sagen lieber nichts, als einem anderen etwas Unvorteilhaftes laut ins Gesicht zu sagen.
Die praktische Lehre ist einfach. Ist ein Thema heikel, halte es selbstauszufüllen. Ein Webformular oder eine App, die man allein ausfüllt, bringt mehr Offenheit und weniger Verweigerungen als jedes Interview, so gut der Interviewer auch geschult ist. SurveyLane ist standardmäßig selbstauszufüllen, du startest also schon aus dem besseren Modus. Was bleibt, sind Formulierung und Platzierung.
Nicht jede Heikelkeit ist gleich
"Heikel" bündelt drei verschiedene Probleme, und sie haben nicht alle dieselbe Lösung. Es hilft, sie auseinanderzuziehen. Eine Frage kann aufdringlich sein: Sie fühlt sich an, als ginge sie dich nichts an, egal wie die Antwort lautet, etwa Einkommen oder Religion. Sie kann eine Drohung der Offenlegung tragen, bei der der Befragte fürchtet, die Antwort könnte zu jemandem gelangen und gegen ihn verwendet werden, etwa Drogenkonsum oder eine Mitarbeiterbefragung über eine Führungskraft. Oder sie kann sozial erwünscht sein, was bedeutet, dass es eine gut aussehende und eine schlecht aussehende Antwort gibt, und die schlechte zuzugeben fühlt sich beschämend an.
Nur die dritte ist soziale Erwünschtheit im strengen Sinn, aber die drei reisen zusammen und nähren einander. Angst vor Offenlegung macht die erwünschte Antwort noch verlockender, denn jetzt schützt die Lüge den Befragten und wahrt zugleich sein Gesicht. Benenne beim Durchsehen eines Entwurfs, welche Art von Heikelkeit jede schwierige Frage trägt. Aufdringlichkeit begegnest du, indem du die Frage optional machst und sagst, warum du sie stellst. Angst vor Offenlegung begegnest du mit einem Versprechen der Vertraulichkeit, das du halten kannst. Sozialer Erwünschtheit begegnest du mit Formulierung und Modus. Greifst du zum falschen Hebel, vergeudest du ihn.
Formuliere die Frage so, dass die unerwünschte Antwort normal wirkt
Steht das Thema fest und ist der Modus privat, erledigt die Formulierung den Rest. Der Kernzug ist, die Hürde zu senken, das Unvorteilhafte zuzugeben, und dafür gibt es ein paar verlässliche Wege.
Lade die Frage in Richtung der heiklen Antwort, nicht der schmeichelhaften. Ein neutrales "Hast du bei der letzten Wahl gewählt?" lädt zur Antwort des braven Bürgers ein. Eine Variante, die dem Nichtwählen einen Ausweg gibt, etwa "Kam bei der letzten Wahl etwas dazwischen, das dich vom Wählen abhielt, oder hast du es zur Wahlurne geschafft?", macht aus dem Nichtwählen ein normales Ergebnis mit einer gewöhnlichen Ausrede, und mehr Nichtwähler geben es zu. Das ist einer der wenigen Orte, an denen eine bewusst nicht neutrale Frage die genauere ist.
Normalisiere das Verhalten, bevor du danach fragst. Eine kurze Einleitung, die sagt, dass viele Menschen es tun, nimmt die Scham heraus: "Vielen Menschen fällt es schwer, jeden Monat im Budget zu bleiben. Wie oft hast du im letzten Monat deins überzogen?" Du signalisierst, dass die ehrliche Antwort verbreitet und erwartet ist, kein Geständnis. Halte die Einleitung wahr, denn eine Norm zu erfinden, um eine Antwort zu fabrizieren, ist selbst eine Verzerrung. Aber wo das Verhalten wirklich verbreitet ist, kauft dir das Aussprechen davon Offenheit.
Gib der unvorteilhaften Antwort einen leichten Ausweg
Menschen lügen durch Auslassen, wenn die ehrliche Antwort kein bequemes Kästchen hat, in dem sie sitzen kann. Also baue das Kästchen. Fragst du, wie viele alkoholische Getränke jemand letzte Woche hatte, auf einer Skala, die bei "0 bis 2" beginnt, hat der starke Trinker am oberen Ende nirgends ehrlich zu landen, also rundet er ab. Zieh das obere Ende der Skala weiter, als du erwartest, damit die wahre Antwort nie die extremste Option ist. Vor der extremsten Option schrecken Befragte instinktiv zurück.
Biete auch einen echten Ausweg. Ein ausdrückliches "möchte ich nicht sagen" bei einer heiklen Frage verdient seinen Platz. Ein Befragter, der es wählt, wählt Schweigen statt einer Lüge, und das hält seine anderen Antworten ehrlich und sagt dir, dass es eine Frage ist, die Menschen hüten. Das schlägt eine erzwungene Antwort, der du nicht trauen kannst. Es ist dieselbe Logik, die hinter besseren Umfragefragen schreiben im Allgemeinen steckt. Die Menge der Optionen ist Teil der Frage, und eine fehlende Option ist eine stille Anweisung zu tricksen.
Sei genau bei der Bezugsperiode
Das Überberichten guten Verhaltens gedeiht auf vagen Zeiträumen. "Treibst du regelmäßig Sport?" misst das Selbstbild, denn "regelmäßig" bedeutet, was der Befragte will, und jeder rundet auf die Version seiner selbst auf, die er zu sein vorhat. "An wie vielen der letzten sieben Tage hast du mindestens zwanzig Minuten Sport getrieben?" misst Verhalten, denn es heftet etwas Zählbares an ein Fenster, das kurz genug ist, um sich wirklich zu erinnern.
Enge, jüngste Bezugsperioden schneiden soziale Erwünschtheit auf zwei Wegen weg. Sie geben dem schmeichelhaften Selbstbild weniger Raum, und sie lehnen sich an das Gedächtnis statt an die Identität. Der Preis ist die Genauigkeit der Erinnerung. Frag nach einem zu langen Fenster, und Menschen schieben Ereignisse hinein oder hinaus, also stimme das Fenster darauf ab, wie einprägsam das Verhalten ist. Seltene, lebhafte Ereignisse vertragen eine längere Periode. Häufige, vergessliche brauchen eine kurze.
Stell die heiklen Fragen nach hinten
Wo eine Frage steht, ändert, wie sie beantwortet wird. Öffnest du mit der heiklen Frage, gibst du Vertrauen aus, das du noch nicht verdient hast, also brechen Menschen ab oder mauern. Die Trichterform, breit und leicht oben und schmal und heikel unten, gibt es zum Teil dafür. Bis ein Befragter die schwierige Frage erreicht, hat er ein paar Minuten investiert und etwas Schwung aufgebaut, und er antwortet ehrlicher, als er es an der Tür getan hätte.
Demografische Fragen, die aufdringlich wirken, etwa Einkommen, gehören aus demselben Grund nach hinten. Die Ausnahme ist eine demografische Frage, die du zum Steuern der Umfrage brauchst, und die muss früh kommen. Der ganze Fall zur Reihenfolge steht in Fragereihenfolge-Effekte. Was du hier mitnimmst: Heikelkeit ist eines der wichtigsten Dinge, die eine gute Reihenfolge schützt.
Mach das Versprechen der Vertraulichkeit echt, und halte es
Ein Befragter wägt ab, wie ehrlich er sein wird, gegen die Frage, wie verwundbar die Antwort ihn macht. Ein glaubwürdiges Versprechen der Vertraulichkeit kippt diese Abwägung Richtung Offenheit, aber nur, wenn es glaubwürdig ist. Vage Beruhigung bringt wenig. Eine konkrete Aussage darüber, wer die rohen Antworten sieht, was vor der Analyse entfernt wird und was nie auf ihn zurückgeführt wird, bringt viel mehr.
Der schnellste Weg, dein eigenes Versprechen zu brechen, ist, es anderswo in der Umfrage zu untergraben. Frag nach Name, Personalnummer oder E-Mail auf derselben Seite wie eine Frage, ob Menschen ihrer Führungskraft vertrauen, und jede Beruhigung auf dem Startbildschirm ist wertlos. Hast du Anonymität versprochen, sammle nichts, was erneut identifiziert. Der Unterschied zwischen Anonymität und Vertraulichkeit zählt hier. Er ändert, was du ehrlich behaupten kannst, und was du einem Befragten versprechen kannst ist es wert, genau richtig zu treffen, bevor du dich darauf stützt, um heikle Antworten herauszubekommen.
Wenn es wirklich darauf ankommt: indirekte Verfahren
Manchmal ist das Thema so heikel, dass keine Formulierung dir einen geraden Selbstbericht bringt, und du akzeptierst, dass du es gar nicht direkt fragen kannst. Zwei etablierte Verfahren tauschen Präzision gegen Offenheit, indem sie den Fingerabdruck des Befragten von der Antwort nehmen.
Das Listenexperiment, oder Item-Count-Verfahren, gibt einer zufälligen Hälfte deiner Stichprobe eine Liste harmloser Aussagen und fragt nur, wie viele wahr sind, nicht welche. Die andere Hälfte bekommt dieselbe Liste plus die heikle Aussage. Niemand gibt die heikle Aussage je für sich zu. Du gewinnst aus der Differenz der Durchschnittswerte zwischen den zwei Gruppen, wie häufig sie ist. Das Randomized-Response-Verfahren, eine Methode aus den 1960er-Jahren, macht etwas Ähnliches mit einem Münzwurf. Der Befragte antwortet ehrlich oder gibt eine feste Antwort, je nach einem privaten Zufallsergebnis, das du nie siehst, sodass jedes einzelne "Ja" bestreitbar ist, während die Gruppenquote noch zurückzurechnen bleibt.
Beide kosten dich viel Stichprobe und geben dir eine Schätzung auf Gruppenebene, keine Einzeldaten, die du kreuztabellieren kannst. Für die meisten Umfragen ist das übertrieben. Aber misst du etwas, das Menschen einen starken Grund haben zu verbergen, und brauchst du nur die Quote, dann schlagen sie eine direkte Frage, bei der jeder still lügt.
Nachträglich lässt es sich nicht ganz säubern
Design ist der größte Teil der Arbeit, denn das Backend kann so wenig. Sobald eine sozial erwünschte Antwort in der Datei steht, sieht sie genau wie eine ehrliche aus. Es gibt kein Fähnchen, keinen Ausreißer, keinen Rest, den du abziehen kannst. Wo ein externer Maßstab existiert, etwa Wahlbeteiligungszahlen, Verkaufszahlen oder bekannte Bevölkerungsraten, kannst du wenigstens Richtung und grobe Größe der Aufblähung sehen, indem du deine Selbstberichte dagegen hältst. Meistens hast du keinen solchen Anker, und die Verzerrung ist einfach eingebacken.
Was du nachträglich fängst, sind die gröberen Probleme, die daneben mitfahren, das Durchklicken und zu schnelle Ausfüllen und die kopierten Antworten, die Antwortqualität überwachen finden soll. Soziale Erwünschtheit ist leiser als die und löst selten dieselben Prüfungen aus, und darum sitzt das Geld vorne. Wähl den privaten Modus. Formuliere die Frage so, dass die ehrliche Antwort die leichte ist. Stell sie nach hinten. Gib ein Versprechen, das du wirklich hältst. Diese vier Züge bringen mehr als jedes Säubern es je bringt.
Häufig gestellte Fragen
Löst der Hinweis, die Umfrage sei anonym, die soziale Erwünschtheit?
Er hilft, aber er löst sie nicht, und nur, wenn die Behauptung wahr und glaubwürdig ist. Menschen färben ihre Antworten sogar, wenn sie wirklich unbeobachtet sind, denn ein Teil des Zugs geht zum eigenen Selbstbild und nicht nur zu einem zuhörenden Interviewer. Ein konkretes, glaubwürdiges Versprechen darüber, wer die Daten sieht und was entfernt wird, bewegt mehr Menschen als ein nacktes Banner "das ist anonym", und es zu untergraben, indem man auf derselben Seite identifizierende Angaben abfragt, löscht den Gewinn völlig aus.
Welcher Modus liefert die ehrlichsten Antworten zu heiklen Themen?
Selbstauszufüllende Modi, etwa ein Webformular oder eine App, die man allein ausfüllt, schlagen durchweg jedes Interview. Pews eigene Vergleiche zwischen Telefon und Web zeigen, dass Menschen offener sind und heikle Fragen seltener verweigern, wenn kein Interviewer zuhört. Ist ein Thema heikel, ist die wirksamste Entscheidung, die du treffen kannst, den Menschen aus dem Austausch zu nehmen, noch bevor du an der Formulierung feilst.
Sollte ich heikle Fragen optional machen?
Meistens ja. Ein ausdrückliches "möchte ich nicht sagen" lässt einen Befragten ablehnen, ohne zu lügen, was die Ehrlichkeit seiner anderen Antworten schützt und dir sagt, dass es eine Frage ist, die Menschen hüten. Eine erzwungene Antwort auf eine bedrohliche Frage bringt eher eine schmeichelhafte Erfindung als eine echte Antwort, du gewinnst also eine gefüllte Zelle und verlierst die Wahrheit. Die Ausnahme ist eine Filterfrage, von der der Rest der Umfrage abhängt, und die muss beantwortet werden, um richtig zu steuern.
Wann lohnen sich Listenexperimente oder Randomized Response?
Nur, wenn das Thema so heikel ist, dass direkte Fragen klar scheitern und du die Gruppenquote statt einzelner Datensätze brauchst. Beide Verfahren kosten viel Stichprobe und geben dir eine aggregierte Schätzung, die du nicht gegen andere Antworten kreuztabellieren kannst. Für die meisten Umfragen liefern dir sorgfältiger Modus, Formulierung und Platzierung ehrlich genug Daten zu einem Bruchteil der Kosten. Die indirekten Methoden hebst du dir für das wirklich stigmatisierte Verhalten auf, das Menschen unter keiner direkten Formulierung zugeben.
