Fragen zum Verhalten: woran sich Befragte wirklich erinnern

"Wie oft hast du im letzten Jahr unseren Support kontaktiert?" Das sieht nach einer Faktenfrage mit genau einer richtigen Antwort aus. Für die meisten Befragten ist sie das nicht. Niemand zählt mit, wie oft er beim Support war. Die Zahl, die du zurückbekommst, entsteht in ein paar Sekunden, aus dem Bauch heraus. Verhaltensfragen scheitern anders als Meinungsfragen. Die Befragten wollen dir die Antwort gern geben. Nur ist die Erinnerung, nach der du fragst, nie in der Form abgelegt worden, die deine Frage voraussetzt.

Was zwischen deiner Frage und der Antwort passiert

Die Umfragemethodik zerlegt das Antworten in vier Schritte, ein Modell, das Roger Tourangeau, Lance Rips und Kenneth Rasinski in The Psychology of Survey Response (2000) beschrieben haben. Wer antwortet, muss die Frage verstehen, passende Erinnerungen abrufen, daraus ein Urteil bilden und dieses Urteil in das Antwortformat bringen, das du anbietest.

Verhaltensfragen scheitern am zweiten und dritten Schritt. Der Abruf ist lückenhaft, und im Urteilsschritt wird aus Zählen still und leise Schätzen.

Menschen schätzen, sie zählen nicht

Das Gedächtnis führt keine Strichliste. Fragst du "wie oft", wählt die befragte Person eine Strategie, je nachdem, was gerade verfügbar ist.

Scott Burton und Edward Blair haben diese Strategien 1991 in Public Opinion Quarterly untersucht. Bei seltenem Verhalten zählen Menschen eher einzeln auf: Sie rufen jedes Ereignis ab und addieren. Bei häufigem Verhalten wechseln sie zu einer Rate, etwa "so zweimal pro Woche, also ungefähr acht im Monat".

Beide Strategien gehen auf vorhersehbare Weise schief. Das Aufzählen übersieht die unauffälligen Fälle und zählt deshalb zu wenig. Eine Rate beschreibt die normale Routine und lässt die Ausnahmen weg: die zwei Wochen krank zu Hause, den Monat, in dem jemand während eines Projekts täglich eingeloggt war. In deinen Daten taucht keins davon als Fehler auf. Du bekommst in jedem Fall eine saubere Zahl.

Der Bezugszeitraum muss zum Verhalten passen

Der Bezugszeitraum ist das Zeitfenster, nach dem du fragst, zum Beispiel "in den letzten 7 Tagen". Er ist dein größter Hebel, und Teams wählen ihn meistens danach, was in den Quartalsbericht passt.

Eine Faustregel, die sich bewährt: Je häufiger und alltäglicher das Verhalten, desto kürzer das Fenster. Wie oft jemand deine App geöffnet hat, ist höchstens eine Frage über 7 Tage. Ob jemand ein Abo gekündigt hat, umgezogen ist oder sich beschwert hat, wissen Menschen auch nach einem Jahr noch, weil solche Ereignisse selten sind und herausstechen.

"Wie oft hast du in den letzten 12 Monaten die Suchfunktion genutzt?" erzwingt eine Schätzung über ein Jahr, an das sich niemand so genau erinnert. Wer täglich sucht, antwortet 50 oder 500, je nachdem, wie gerechnet wurde. "An wie vielen der letzten 7 Tage hast du die Suchfunktion genutzt?", mit Antworten von 0 bis 7, können Menschen tatsächlich zählen.

Kurze Fenster haben ihren Preis. Weniger Leute haben das Verhalten überhaupt gezeigt, und eine einzelne Woche kann für eine Person untypisch sein. In einer vernünftigen Stichprobe gleicht sich das aus. Du verlierst Präzision bei jeder einzelnen Person und gewinnst Genauigkeit für die Gruppe. Und um die Gruppe ging es dir meistens sowieso.

Telescoping zieht alte Ereignisse in dein Zeitfenster

Wer sich an ein Ereignis erinnert, ordnet es trotzdem oft zeitlich falsch ein. Die klassische Studie stammt von John Neter und Joseph Waksberg, erschienen 1964 im Journal of the American Statistical Association. Sie untersuchten, wie Haushalte ihre Ausgaben für Reparaturen am Haus angaben, und stellten fest, dass Befragte Arbeiten von vor dem Bezugszeitraum meldeten, als lägen sie darin. Der Effekt heißt Telescoping, nach der Art, wie ein Teleskop ferne Dinge näher erscheinen lässt.

Vorwärts gerichtetes Telescoping bläht die Zahlen für einprägsame Ereignisse auf. Eine Kundin, die vor vierzehn Monaten eine schlechte Erfahrung mit dem Support gemacht hat, verlegt sie oft "ins letzte Jahr". Deine Zahl steigt, und nichts in den Daten verrät dir, warum.

So begrenzt du das Zeitfenster

Neter und Waksbergs Gegenmittel war das begrenzte Interview. In einem Panel markiert das vorherige Interview, was schon gemeldet wurde, sodass das nächste nur neue Ereignisse zählt. Die Idee funktioniert auch ohne Panel.

Knüpfe das Fenster an ein Datum oder ein Ereignis, das Menschen einordnen können. "Seit dem 1. Januar" ist leichter zu beurteilen als "in den letzten 10 Monaten". "Seit den neuen Preisen im März" ist noch leichter, sofern deine Befragten die Änderung bemerkt haben.

Frag zuerst nach dem längeren Zeitraum und grenz dann ein. "Hattest du im letzten Jahr Kontakt mit dem Support?", gefolgt von "Und in den letzten drei Monaten?", gibt den Leuten einen Platz für die älteren Ereignisse. Dann quetschen sie die nicht in das Fenster, das dich interessiert. Die erste Antwort darfst du wegwerfen. Sie sollte nur die falsch einsortierten Ereignisse auffangen.

"Normalerweise" und "letzte Woche" sind verschiedene Fragen

"Wie viele Stunden pro Woche verbringst du normalerweise in Meetings?" und "Wie viele Stunden hast du letzte Woche in Meetings verbracht?" wirken austauschbar. Sind sie nicht.

"Normalerweise" lädt zur Schätzung einer typischen Woche ein, und die typische Woche, die Menschen beschreiben, ist eine idealisierte. Die Ausnahmen fallen weg, und die Antwort rückt in Richtung des eigenen Selbstbilds. "Letzte Woche" zeigt auf Tage, die sich teilweise rekonstruieren lassen, also wird ein bisschen gezählt. Jede einzelne Antwort ist ungenauer. Über die ganze Stichprobe ist sie weniger verzerrt.

Entscheide bewusst. Willst du einzelne Personen einordnen, ist "normalerweise" vielleicht das stabilere Signal. Für einen genauen Durchschnitt eines Teams oder Unternehmens fragst du nach einem konkreten, kurz zurückliegenden Zeitraum und lässt die Stichprobe die ungewöhnlichen Wochen ausgleichen. Misch die beiden nicht in einer Umfrage. Die Befragten halten sie für dieselbe Frage, und du vergleichst Zahlen, die Verschiedenes messen.

Deine Antwortkategorien sagen, was normal ist

Gibst du Kategorien vor, verändern diese Kategorien die Antworten. Norbert Schwarz, Hans-Jürgen Hippler, Brigitte Deutsch und Fritz Strack haben das 1985 in Public Opinion Quarterly gezeigt. Sie fragten Menschen, wie viel sie pro Tag fernsehen. Eine Gruppe bekam eine Skala von "bis zu einer halben Stunde" bis "mehr als 2,5 Stunden". Die andere eine Skala von "bis zu 2,5 Stunden" bis "mehr als 4,5 Stunden".

Mit der hohen Skala gaben 37,5 Prozent an, täglich 2,5 Stunden oder mehr fernzusehen. Mit der niedrigen Skala waren es 16,2 Prozent. Dieselbe Population, dasselbe Verhalten, mehr als doppelt so viele. Die Leute lasen die Mitte der Skala als Durchschnitt und ordneten sich relativ dazu ein. Die Gruppe mit der niedrigen Skala schätzte Fernsehen außerdem als wichtiger für ihr Leben ein, weil die Skala ihr sagte, dass sie mehr schaute als die meisten.

Am stärksten wirkt der Effekt bei häufigem, schlecht erinnertem Verhalten, das Menschen ohnehin schätzen. Ein Produktteam, das "Seltener als einmal pro Woche / 1 bis 3 Mal pro Woche / 4 bis 6 Mal pro Woche / Täglich / Mehrmals täglich" vorgibt, hat den Befragten schon erklärt, wie normale Nutzung aussieht.

Lieber Zahlen als Kategorien, und beides lieber als vage Wörter

Für zählbares Verhalten ist ein offenes Zahlenfeld meist die bessere Wahl. Es gibt keine Skala, an der man sich orientiert, und du kannst die Antworten hinterher gruppieren, wie du willst. Leg in der Validierung ein vernünftiges Maximum fest und schreib eine kurze Einheit dazu, etwa "Tage" oder "Mal".

Brauchst du doch Kategorien, leite sie aus deinen eigenen Daten oder einem Pilot ab, und sorg dafür, dass sie sich nicht überschneiden und keine Lücken lassen. Der Beitrag über die Gestaltung von Multiple-Choice-Fragen erklärt, wie das geht. Wo auch immer du die mittlere Kategorie hinlegst, ein Teil der Leute liest sie als üblich.

Verzichte auf vage Häufigkeitswörter als Antwortoptionen: "nie, selten, manchmal, oft, immer". "Oft" bedeutet beim Kaffee etwas anderes als beim Zahnarztbesuch, also können zwei Menschen mit identischem Verhalten verschiedene Kästchen ankreuzen. Für Empfindungen sind vage Skalen in Ordnung, etwa wie oft sich jemand gehetzt fühlt. Bei Verhalten, das man zählen kann, fragst du nach der Zahl.

Rechne mit gerundeten Zahlen

Offene Zahlenantworten haben ihre eigene Eigenheit: Heaping, also das Häufen auf runden Werten. Wer schätzt, rundet auf bequeme Werte. Tage sammeln sich bei 7, 14 und 30. Ein Histogramm zu "Wie oft hast du uns im letzten Monat besucht?" zeigt Spitzen bei 5, 10, 20 und 30, die mit dem tatsächlichen Verhalten nichts zu tun haben.

Lies diese Spitzen nicht als Segmente. Sie zeigen dir, wer geschätzt hat. Berichte Mediane oder breite Bänder, denn ein paar gerundete hohe Werte ziehen einen Mittelwert nach oben. Und liegen die meisten Antworten auf runden Zahlen, ist dein Bezugszeitraum für dieses Verhalten vermutlich zu lang.

Filterfragen bringen Menschen bei, was ein "Ja" kostet

Der übliche Aufbau von Verhaltensfragen ist ein Filter mit den Details dahinter. "Hattest du in den letzten drei Monaten Kontakt mit dem Support?" Wenn ja: "Wie oft?" und "Worum ging es?" Mit bedingter Logik ist das schnell gebaut, und wer nichts getan hat, überspringt Fragen, die ihn nicht betreffen.

Das hat eine Nebenwirkung. Stellt eine Umfrage mehrere Filter mit je einem Block Folgefragen dahinter, lernen Menschen schnell, dass "Ja" die Umfrage verlängert. Methodiker nennen die Folge motivated misreporting: Befragte sagen bei späteren Filtern "Nein", um schneller fertig zu sein. Die Untererfassung wächst, je weiter der Fragebogen fortschreitet, genau dort, wo die Ermüdung die Qualität ohnehin senkt. Der Beitrag über Umfragelänge und Abbrüche beschreibt diesen Rückgang.

Eine Lösung: Stell alle Filter zuerst, als gruppierte Liste, und erst danach die Folgefragen zu jedem "Ja". So kann niemand das Muster lernen, bevor alle Filter beantwortet sind.

Frag nicht, was du schon messen kannst

Hast du Nutzungslogs, Rechnungsdaten oder eine Ticket-Historie, ist eine Umfrage das falsche Werkzeug zum Zählen. Eine selbst angegebene Zahl von Logins neben deinen Logs sagt dir vor allem, wie gut Menschen schätzen, und die Antwort darauf kennst du schon.

Nutze die Umfrage für das, was Logs nicht zeigen, zum Beispiel warum jemand etwas getan hat. Willst du Verhalten und Einstellung nebeneinander sehen, verknüpfe die Antwort mit dem Datensatz, den du schon hast, und sag das in der Einladung. Der Beitrag über Anonymität und Vertraulichkeit erklärt, was du den Leuten danach noch versprechen kannst.

Teste, wie Menschen auf ihre Zahl kamen

Um all das zu sehen, musst du nach dem Prozess fragen. Frag in einem kognitiven Interview, nachdem jemand eine Häufigkeitsfrage beantwortet hat: "Wie bist du auf diese Zahl gekommen?" Was dann kommt, ist oft entlarvend: "Einfach geraten", "Ich habe an eine normale Woche gedacht und hochgerechnet", "Ich habe die Male gezählt, an die ich mich vom Sommer erinnere".

Beschreiben die meisten eine Rate, obwohl du wolltest, dass gezählt wird, verkürze den Bezugszeitraum. Nennen sie Ereignisse außerhalb des Fensters, knüpf es an ein Datum. Sagen sie "Ich habe die mittlere genommen", dann beantwortet deine Skala die Frage. Im Beitrag über das Vortesten einer Umfrage liest du, wie du solche Interviews vor dem Start mit fünf bis zehn Personen führst.