Umfragemüdigkeit: Wie oft kannst du dieselben Menschen befragen?

Deine Umfrage landet nicht in einem leeren Postfach. Sie liegt neben der Onboarding-Umfrage, die das Produktteam letzte Woche verschickt hat, der Bewertung eines Support-Tickets von gestern und der Pulsbefragung, die HR für Montag geplant hat. Die Empfängerin sieht einfach ein Unternehmen, das schon wieder etwas will. Jede Anfrage verbraucht etwas Wohlwollen, und die nächste Umfrage zahlt dafür, egal ob sie von dir stammt oder aus der Nachbarabteilung.

Zwei Arten von Umfragemüdigkeit

Mit dem Begriff sind zwei Probleme gemeint, und jedes braucht eine eigene Lösung.

Die erste ist Ermüdung innerhalb eines Fragebogens: Bei Frage 25 klickt jemand in einer Matrix nur noch dieselbe Spalte an oder schließt den Tab. Darum geht es im Beitrag über Fragebogenlänge und Abbrüche.

Die zweite ist Ermüdung über Umfragen hinweg. Jemand wurde so oft gefragt, dass die nächste Einladung ungeöffnet bleibt. Frage 25 umzuschreiben bringt dann nichts, weil diese Person nie bei Frage 1 ankommt. Um diese zweite Art geht es hier.

Die Beweislage ist dünner als beim Thema Fragebogenlänge. In einem Literaturüberblick von 2022 im Journal of Interdisciplinary Studies in Education kam Barry Fass-Holmes zu dem Schluss, dass Umfragemüdigkeit "has not been rigorously defined", obwohl sie ständig für niedrige Rücklaufquoten verantwortlich gemacht wird. Sei also skeptisch bei präzisen Faustregeln, auch bei denen weiter unten.

Was die Experimente an der Wesleyan University gemessen haben

Die nützlichste Studie ist alt und klein. Und erstaunlich sauber. Stephen Porter, Michael Whitcomb und William Weitzer führten an der Wesleyan University zwei randomisierte Experimente durch und veröffentlichten sie 2004 in Heft 121 von New Directions for Institutional Research. Sie schickten einigen Studierenden absichtlich mehr Umfragen als anderen und verglichen, was danach passierte.

Im Frühjahr 2001 wurden die 649 Studierenden im Abschlussjahr zufällig in zwei Gruppen geteilt. Eine Gruppe bekam Ende März und im April einen siebenseitigen Fragebogen über ihr Studium. Danach bekamen alle von Ende April bis in den Mai den achtseitigen Senior Survey. Wer vorher nicht gefragt worden war, antwortete zu 67 Prozent. Wer gerade die erste Umfrage bekommen hatte, zu 57 Prozent. Eine zusätzliche Anfrage kurz davor kostete 10 Prozentpunkte.

Das zweite Experiment lief im Studienjahr 2002-2003. Erstsemester wurden zufällig auf vier Gruppen zu je 144 Personen verteilt und bekamen im Lauf des Jahres zwischen einer und vier Online-Umfragen. Bei der Umfrage zur Mensa Ende November lag der Rücklauf bei 68 Prozent ohne vorherige Umfrage, bei 58 Prozent nach einer und bei 46 Prozent nach zwei. Ein Minus von 22 Punkten, und alle drei Umfragen lagen in einem einzigen Semester.

Direkt aufeinanderfolgende Anfragen schaden am meisten

Im März folgte eine vierte Umfrage. Wer im Herbst schon drei Umfragen bekommen hatte, antwortete zu 47 Prozent, gegenüber 60 Prozent bei denen, die nur diese eine bekamen. Immer noch 13 Punkte Verlust, aber weniger als die 22 Punkte im November, als die Anfragen dichter beieinander lagen.

Die Autoren folgerten, dass die Müdigkeit am stärksten ist, wenn Umfragen direkt hintereinander kommen, und dass der Effekt mit der Zeit nachzulassen scheint. Eine Umfrage aus dem vorigen Semester wirkt sich auf die nächste womöglich kaum aus.

Die Verteilung über das Jahr zählt also mehr als die Gesamtzahl. Vier Umfragen über zwölf Monate fühlen sich ganz anders an als vier in sechs Wochen, auch wenn im Planungssheet bei beiden "viermal im Jahr" steht.

Relevanz zählt mehr als die Anzahl

Bei einer Gruppe stieg der Rücklauf bei der zweiten Umfrage sogar. Das war die Mensa-Umfrage: kurz, und über etwas, womit jedes Erstsemester täglich zu tun hatte. Auch die Umfrage zur Orientierungswoche, die die Studierenden gerade hinter sich hatten, hinterließ kaum messbare Müdigkeit. Den Schaden richtete ein landesweiter Fragebogen über Alkohol und Drogen an, den die Autoren als lang und persönlich zudringlich beschreiben.

Eine frühere Studie an der U.S. Air Force Academy, die Porter und Kollegen zitieren, zeigt in dieselbe Richtung. Von den befragten Kadetten fühlten sich 97 Prozent zumindest etwas überbefragt, 48 Prozent sagten "ja, definitiv". Auf die Frage, was sie damit meinten, beschrieben sie häufige Umfragen, die mit ihrem Alltag nichts zu tun zu haben schienen.

Das passt zur Leverage-Salience-Theorie, die Robert Groves, Eleanor Singer und Amy Corning 2000 in Public Opinion Quarterly veröffentlicht haben. Menschen wägen Merkmale einer Anfrage ab, etwa Thema und Absender, und diese Merkmale zählen für jede Person anders. Eine Umfrage über etwas, das der Person wichtig ist, kann schwerer wiegen als die Tatsache, dass es die dritte in diesem Monat ist.

"Schick weniger Umfragen" ist deshalb die falsche Regel. Besser: Schick keine Umfragen, für die sich die Leute nicht interessieren, und schick sie nie direkt hintereinander.

Wer weiter antwortet, ist nicht jeder

Der Rücklauf bei Wesleyan brach nie ein. Keine Umfrage im zweiten Experiment fiel unter 44 Prozent, egal wie viele Anfragen vorher kamen. Die Autoren vermuten einen festen Kern verlässlicher Teilnehmer, die alles ausfüllen, was man ihnen schickt.

Das ist eine schlechte Nachricht. Wenn häufiges Befragen alle außer den kooperativsten Menschen aussortiert, pendelt sich die Rücklaufquote ein und wirkt stabil, während die Gruppe dahinter immer weniger der Population ähnelt, die du beschreiben willst. Treue Kunden antworten weiter, die, die sich leise verabschieden, hören auf. Engagierte Mitarbeitende füllen auch die fünfte Pulsbefragung aus. Die Gleichgültigen sind schon bei der zweiten ausgestiegen.

In mehreren Tabellen der Studie war der Rückgang bei manchen Untergruppen größer, auch wenn die meisten Unterschiede bei so kleinen Gruppen nicht statistisch signifikant waren. Der Beitrag über Stichprobenqualität erklärt, warum eine verzerrte Rücklaufquote mehr schadet als eine niedrige.

Warum der Druck weiter steigt

Die Autoren befürchteten schon 2004, dass billige Web-Tools jeden zum Umfrageversender machen. Heute hat jeder Helpdesk und jede HR-Plattform eine Umfragefunktion eingebaut. Pew Research Center berichtete im Februar 2019, dass die Rücklaufquote seiner Telefonumfragen 2017 auf 7 Prozent und 2018 auf 6 Prozent gefallen war. Dafür gibt es sicher mehr als eine Ursache. Aber wenn alle mehr fragen, ist jede einzelne Anfrage weniger wert.

Auch die Erwartung zählt. Porter und Kollegen zitieren ein Experiment von Apodaca, Lea und Edwards aus dem Jahr 1998: Allein der Hinweis, dass man in den kommenden Jahren noch mehrmals kontaktiert werde, senkte die Rücklaufquote um 5 Prozentpunkte.

Leg einen Kalender aller Umfragen an deine Zielgruppe an

Was du nicht siehst, kannst du nicht steuern. Fang mit einer Liste aller Umfragen an, die dieselben Menschen erreichen, egal welches Team sie verschickt.

Bei Kunden sind das Ticketbewertungen, NPS, Onboarding- und Kündigungsumfragen, Rekrutierung für Nutzerforschung und Feedback nach Events. Bei Mitarbeitenden die jährliche Mitarbeiterbefragung, Pulsbefragungen, Onboarding- und Exit-Umfragen, Schulungsbewertungen und alles, was Führungskräfte auf eigene Faust verschicken.

Notiere für jede Umfrage, wer sie bekommt, was sie auslöst und wem sie gehört. Du wirst Überschneidungen finden, die niemand geplant hat. Zum Beispiel diese: Ein Kunde eröffnet ein Support-Ticket, bekommt eine Ticketbewertung, in derselben Woche die quartalsweise NPS-Umfrage und danach noch eine Einladung zu einem Forschungsinterview.

Leg eine Kontaktregel pro Person fest

Mit dem Kalender vor dir stellst du eine Regel auf, die pro Person gilt: einen Mindestabstand zwischen zwei Umfrageeinladungen an dieselbe Person. Dreißig Tage sind ein üblicher Startwert für Kundenbefragungen. Betrachte diese Zahl als Annahme und prüfe sie an deinen eigenen Daten.

Kollidieren zwei Umfragen, wartet eine. Eine brauchbare Reihenfolge: zuerst alles, worum die Person selbst gebeten hat, dann transaktionale Umfragen zu etwas, das gerade passiert ist, dann periodische Umfragen, dann der Rest. Ein Forschungsteam, das "nur ein paar Kunden" sprechen will, darf die Regel nicht umgehen, bloß weil seine Umfrage kurz ist.

Für die Befragten gibt es auch keinen Unterschied zwischen deiner Umfrage und deiner Erinnerung. Eine Einladung plus zwei Erinnerungen sind drei Kontakte, also zähl sie in der Regel mit. Der Beitrag über die Zustellung von Einladungen erklärt, warum jede zusätzliche Mail auch Absenderreputation kostet.

Arbeite mit Stichproben

Wenn du jede Person seltener fragen willst, frag nicht jedes Mal alle. Angenommen, du hast 20.000 Kunden und brauchst 400 gute Antworten für die gewünschte Genauigkeit. Die Umfrage jedes Quartal an alle 20.000 zu schicken, verbraucht Wohlwollen, das du im nächsten Quartal brauchst.

Zieh jede Runde eine neue Zufallsstichprobe und lass die Leute vom letzten Mal in Ruhe. Über ein Jahr bekommt so jeder Kunde eine Einladung, und du hast trotzdem vier Messungen. Der Beitrag darüber, wie viele Befragte du brauchst, rechnet diese Zahl für dich aus.

Kleine Populationen haben diese Möglichkeit nicht. Ein Team von 40 Leuten lässt sich nicht per Stichprobe befragen, jede Umfrage erreicht alle, und Abstimmung wird dort noch wichtiger.

Ausgelöste Umfragen brauchen eine Bremse

Eine Bewertung nach jedem Support-Ticket klingt vernünftig, bis ein Kunde mit einem verzwickten Problem in zwei Wochen sechs Tickets eröffnet und sechs identische Umfragen bekommt. Genau die Person, von der du am dringendsten hören willst, nervst du am meisten.

Gib jedem Auslöser eine Unterdrückungsregel: Befrage nur zum ersten Ticket in einem bestimmten Zeitraum oder nur zum Ticket, das den Fall abschließt, und nie, wenn die Person kürzlich schon eine Einladung bekommen hat. Bedingte Logik steuert, welche Fragen jemand innerhalb einer Umfrage sieht. Ob die Umfrage überhaupt verschickt wird, regelst du in der Kontaktregel.

Zeig, was die letzte Umfrage verändert hat

Die Kadetten beschwerten sich über Umfragen, die irrelevant wirkten. Relevanz hat noch eine zweite Seite: ob nach dem Antworten sichtbar etwas passiert.

Füllen Leute deine Mitarbeiterbefragung aus und hören dann ein Jahr lang nichts, liest sich die nächste Einladung wie eine Erinnerung daran, dass die letzte im Sand verlaufen ist. Eine kurze Nachricht vor der neuen Runde ändert das Angebot: "Ihr habt uns X gesagt, deshalb haben wir Y geändert. Z haben wir nicht gemacht, und zwar aus diesem Grund." Der Beitrag darüber, wie du den Feedback-Kreislauf schließt, beschreibt, wie das pro Person geht. Ein allgemeines Rundschreiben wirkt schwächer.

Behalte deine eigenen Zahlen im Blick

Müdigkeit siehst du in deinen eigenen Daten, wenn du nach Kontakthistorie schaust. Teile die Rücklaufquote jeder Umfrage danach auf, wie viele Einladungen die Person in den drei oder sechs Monaten davor bekommen hat. Sinkt der Rücklauf mit jeder weiteren Einladung, siehst du das Wesleyan-Muster in deiner eigenen Population. Schau dir auch die Qualität an. Mehr Durchklicken in einer Spalte und kürzere offene Antworten bei häufig befragten Personen sind Müdigkeitszeichen, die in der Rücklaufquote nicht auftauchen. Der Beitrag über die Überwachung der Antwortqualität listet auf, worauf du achten solltest.

Vergleiche danach Antwortende und Nicht-Antwortende anhand dessen, was du schon über sie weißt, etwa Kundendauer und Region. Wird dieser Unterschied mit jeder Runde größer, beschreiben deine Trendlinien inzwischen eine andere Gruppe. Repariere die Kontaktregeln, bevor du den Fragebogen anfasst. Diese Leute haben aufgehört, bevor sie ihn überhaupt gesehen haben.