Wie lang darf eine Umfrage sein? Auf Abschluss ausgelegt

Du kannst tadellose Fragen schreiben und deine Umfrage trotzdem ruinieren, indem du zu viele davon stellst. Länge arbeitet gegen dich, und zwar auf eine Weise, mit der kaum jemand rechnet. Jede Frage, die du hinzufügst, senkt die Chance, dass jemand die Umfrage abschließt, und zieht die Antworten auf die Fragen, die schon erreicht wurden, mit nach unten. Die Umfrage mit den saubersten Daten ist fast nie die, die alles fragt, was dich neugierig gemacht hat.

Länge ist eine Entscheidung, die du triffst

Die meisten Umfragen werden auf dieselbe Weise lang. Jemand schreibt die Fragen auf, die ihm wichtig sind. Ein paar Beteiligte hängen jeweils "nur noch eine" dran. Niemand ist für die Summe verantwortlich. So wird die Länge zur Summe aller Wunschlisten, eine Zahl, die niemand wirklich gewählt hat. Da liegt der Fehler. Wie lang deine Umfrage läuft, ist eine der folgenreichsten Entscheidungen im ganzen Entwurf, und sie verdient dieselbe Sorgfalt, die du dem Formulieren einer einzelnen Frage schenkst.

Sie wiegt so schwer, weil Länge dich zweimal trifft. Sie senkt, wie viele Leute anfangen und abschließen, was deine Stichprobe schrumpft und Richtung der Geduldigen verzerrt. Und bei den Leuten, die durchhalten, schleift sie die Qualität der Antworten ab, während sie ermüden. Du zahlst einmal in Menge und noch einmal in Qualität. Keine der beiden Kosten taucht in einem sauberen Export auf. Du siehst nur einen kleineren Datensatz und etwas schlechtere Zahlen, ohne dass irgendetwas auf die Länge zeigt.

Was die Forschung tatsächlich fand

Das meistzitierte Experiment dazu stammt von Galesic und Bosnjak, veröffentlicht in Public Opinion Quarterly im Jahr 2009. Sie führten eine Webumfrage durch, in der sie verschiedenen Befragten sagten, sie dauere 10, 20 oder 30 Minuten, und sie verschoben dieselben Fragen an andere Positionen, um zu sehen, wie sich die Qualität mit der Ermüdung verändert. Dieser Aufbau trennt zwei Dinge, die man meist verwechselt: was die angekündigte Länge damit macht, wer sich überhaupt die Mühe macht, und was die Position einer Frage damit macht, wie gut sie beantwortet wird.

Beide Effekte waren real und zeigten in dieselbe Richtung. Je länger die angegebene Dauer, desto weniger Leute fingen an, und desto weniger dieser Starter schlossen tatsächlich ab. Der Abschluss fiel deutlich von der 10-Minuten-Version zur 30-Minuten-Version. Das ist eine Studie aus 2009 und damit keine frische Nachricht, aber der Befund ist zeitlos und hat sich in Wiederholungen gehalten. Sag den Leuten, eine Umfrage sei lang, und du verlierst Teilnehmer, bevor sie eine einzige Frage beantwortet haben.

In der zweiten Hälfte stirbt die Qualität

Die andere Hälfte dieses Ergebnisses vergessen die meisten. Fragen weiter hinten im Fragebogen wurden schneller beantwortet, öfter übersprungen, bekamen kürzere offene Antworten und zeigten weniger Variation in Rastern als dieselben Fragen weiter vorn. Das Letzte ist das Warnzeichen. Weniger Variation in einem Raster bedeutet, dass die Leute aufhörten, jede Zeile zu lesen, und einfach eine Spalte gerade nach unten ankreuzten. Das ist Satisficing, sichtbar und offen.

Der Schaden ist also schief verteilt. Deine ersten zehn Fragen bekommen frische, aufmerksame Leute. Deine letzten zehn bekommen müde Leute, die den Ausgang suchen. Setzt du deine wichtigste Messung ans Ende, weil sich das nach einem starken Abschluss anfühlte, hast du ihr deine schlechtesten Daten gegeben. Es ist derselbe Fehler, der in Antwortqualität überwachen beschrieben ist, nur verursachst du ihn hier selbst, indem du die Umfrage zu lang machst, um die Aufmerksamkeit zu halten.

Jede Frage hat Grenzkosten

Behandle jede Frage als etwas mit einem Preis, bezahlt in Abbrüchen und in Aufmerksamkeit. Die ersten paar sind so gut wie umsonst. Der Befragte kam bereitwillig herein. Jede Frage danach kostet etwas mehr als die vorige, weil du ein Budget an Geduld aufzehrst, das sich nie wieder füllt. Irgendwo hinter der Mitte steigt der Preis pro Frage steil, und eine Frage, die auf Platz fünf eine sorgfältige Antwort bekommen hätte, bekommt auf Platz fünfundzwanzig ein Achselzucken.

Das dreht das übliche Argument in einer Besprechung um. Die Frage, die du zu jedem Punkt stellen musst, ist nicht, ob er interessant ist. Fast alles ist interessant. Die Frage ist, ob er seinen Platz verdient, angesichts der Antworten, die er dich bei jeder anderen Frage kostet, und der Teilnehmer, die er dich ganz kostet. So betrachtet fallen viele Nice-to-have-Punkte lautlos weg. Was übrig bleibt, liefert bessere Daten, weil es nicht unter Füllmaterial begraben liegt.

Sortiere jede Frage in must, should und nice

Bevor eine Umfrage rausgeht, zwingst du jede Frage in eins von drei Fächern. Ein Must knüpft an eine Entscheidung, die du treffen wirst, oder an eine Analyse, die du schon geplant hast. Ändert die Antwort nichts an dem, was du tust, ist es kein Must. Ein Should stärkt die Analyse, ohne sie zu tragen. Ein Nice ist etwas, das du aus Neugier hinzugefügt hast, oder weil jemand freundlich fragte und du nicht Nein sagen wolltest.

Streich dann das ganze Nice-Fach. Nicht den größten Teil. Alles. Halbes Streichen ist genau der Grund, warum Umfragen aufgebläht bleiben, denn jeder einzelne Punkt wirkt für sich vertretbar. Der Trick ist, nach Kategorie zu entscheiden, nicht Frage für Frage. Ein Test fürs Must-Fach: Schreib für jede Frage den Satz auf, den du in den Bericht setzen würdest, wenn die Antwort so oder so ausfällt. Klappt der Satz nicht? Dann steuert die Frage keine Entscheidung, und sie gehört nicht nach vorn, falls sie überhaupt hingehört.

Zeit ist die Zahl, die Befragte spüren

Befragte zählen deine Fragen nicht. Sie spüren Minuten, und ihre Toleranz hängt davon ab, wie die Umfrage sie erreicht hat. Wer unten in einer Transaktions-E-Mail auf einen Link klickte, gibt dir ein, zwei Minuten. Ein geworbenes Panelmitglied, das für seine Zeit bezahlt wird, sitzt viel länger. Stimme die Länge auf den Kanal und die Beziehung ab, die du hast, nicht darauf, wie viel du gern wissen würdest.

Rate die echte Ausfüllzeit nicht, miss sie beim Vorabtest, denn deine eigene Schätzung ist immer zu niedrig. Du kennst die Fragen, also liest du sie in der halben Zeit, die ein Fremder braucht. Und prüf es auf einem Handy. Eine Umfrage, die auf dem Laptop vier Minuten dauert, kann auf einem kleinen Bildschirm mit einem hakeligen Dropdown sieben kosten, und die meisten deiner Befragten sitzen am Handy. Die Layoutentscheidungen aus barrierefreie Umfragen entwerfen wirken direkt auf die Ausfüllzeit.

Die angekündigte Länge entscheidet auch, wer überhaupt anfängt, also sei ehrlich und sei konkret. "Diese Umfrage dauert etwa 4 Minuten" schlägt sowohl Schweigen als auch ein schwammiges "ein paar Minuten", denn eine konkrete, glaubwürdige Zahl lässt jemanden mit Zuversicht Ja sagen. Übertreibst du, verschreckst du Leute. Untertreibst du, bekommst du eine Welle wütender Abbrecher in dem Moment, in dem sie merken, dass du gelogen hast, meist kurz nachdem sie dir genug gegeben haben, um sich benutzt zu fühlen. Dieses Versprechen gehört eigentlich zur Einladung, dem Thema von so kommt deine Umfrage-Einladung in den Posteingang.

Fortschrittsanzeigen helfen, bis sie schaden

Ein Fortschrittsbalken soll beruhigen, und bei einer kurzen Umfrage tut er das. Bei einer langen kann er sich gegen dich wenden. Schießt der Balken erst vor und kriecht dann, sehen die Leute, wie viel noch übrig ist, und brechen genau dort ab, wo die Verlangsamung auffällt. Die Forschung zu Fortschrittsrückmeldung ist aus genau diesem Grund gemischt. Ein Balken, der schnellen Fortschritt zeigt, spornt zum Abschluss an. Ein Balken, der langsamen Fortschritt zeigt, redet ihn den Leuten aus.

Zeig eine Fortschrittsanzeige also, wenn die Umfrage wirklich kurz ist oder das Tempo den ganzen Weg gleichmäßig wirkt. Ist deine lang und vorn vollgestopft mit schnellen Fragen, bewirbt ein ehrlicher Balken vor allem die Schinderei, die noch kommt. Fortschritt pro Seite, etwa "Seite 2 von 4", ist oft freundlicher als ein Prozentwert. Er verbirgt das ungleiche Gewicht einzelner Seiten und gibt den Leuten Etappen, die sie wirklich erreichen können.

Eine lange Seite oder viele kurze

Seitenaufteilung ist ein echter Hebel auf den Abschluss, weit mehr als eine Layoutvorliebe. Eine lange Scrollseite kann effizient wirken, wenn die Umfrage kurz ist. Mach sie länger, und dieselbe Seite zeigt den ganzen Berg auf einmal, was Leute dazu einlädt, abzuspringen, bevor sie anfangen. Das Aufteilen in kurze Seiten verbirgt die Gesamtlänge und gibt ein Gefühl von Bewegung, denn eine Seite abzuschließen fühlt sich wie ein kleiner Gewinn an, der dich zur nächsten zieht.

Das hat einen Preis. Mehr Seiten bedeuten mehr Serveranfragen und mehr Gelegenheiten, dass eine wackelige Verbindung jemanden mittendrin verliert, und das beißt am härtesten auf dem Handy. Gruppiere Fragen in Seiten, die als Thema zusammenpassen, halte jede Seite kurz genug, um schnell zu wirken, und trenne nie einen logischen Block an einer Seitengrenze, an der der Kontext verloren geht. Das hängt damit zusammen, wie du das Ganze anordnest, dem Thema von Effekte der Fragereihenfolge.

Lass Leute aufhören und zurückkommen

Für jede Umfrage, die lang genug ist, dass jemand sie vielleicht nicht in einem Rutsch schafft, speicherst du Teilantworten und lässt Leute weitermachen. Zwei gute Dinge folgen daraus. Du rettest Antworten, die du sonst weggeworfen hättest, denn wer bei Frage achtzehn aufhört, hat dir trotzdem siebzehn brauchbare Antworten gegeben, wenn du sie behalten hast. Und du bekommst eine echte Abbruchkurve zum Lernen, denn jede abgebrochene Antwort markiert eine Stelle, an der die Umfrage jemanden verloren hat.

Wirf Teilantworten nicht stillschweigend weg. Auch ohne Fortsetzungslink sind die Fragen, die jemand vor dem Abbruch beantwortete, oft für sich analysierbar, solange du ehrlich bleibst, dass die späteren Fragen auf einer kleineren, stärker selbstgewählten Basis ruhen. Wirf jede unvollständige Antwort weg, und du wirfst genau den Beleg weg, der dir gesagt hätte, dass die Umfrage zu lang ist.

Raster sind eine Längenfalle

Matrix- und Rasterfragen wirken kompakt, weil sie viele Punkte auf einen Bildschirm packen. Aber sie tragen die Ermüdung jeder Zeile und setzen dabei das Gesicht einer einzigen Frage auf. Deshalb sind Raster die Stelle, an der Galesic und Bosnjak die Variation spät in der Umfrage einbrechen sahen. Ein müder Befragter, der auf ein Raster mit zehn Zeilen starrt, kreuzt eine Spalte nach unten an und macht weiter. Das Kompakte ist optisch. Die Arbeit ist es nicht.

Trägt ein Raster echtes Gewicht, halte es kurz und setz es früh, solange die Aufmerksamkeit hoch ist. Ist es lang, teile es auf, streiche Zeilen, oder frag dich, ob du wirklich jeden Punkt brauchst. Die Skala in diesen Zeilen ist eine eigene Entscheidung mit eigenem Einfluss auf die Qualität, behandelt in Skalenfragen entwerfen. Ein kurzes Raster, früh gestellt, schlägt ein gründliches auf Frage dreißig, das alle gerade nach unten durchklicken.

Nutze Logik, um pro Person zu kürzen

Der beste Weg, eine Umfrage kürzer zu machen, ist, aufzuhören, Leuten Fragen zu zeigen, die auf sie nicht zutreffen. Bedingte Logik lässt jeden Befragten nur die passende Teilmenge beantworten, sodass die Umfrage sich für alle kurz anfühlt, auch wenn das ganze Instrument groß ist. Wer sagt, er habe eine Funktion nie genutzt, sollte danach keine fünf Fragen zu dieser Funktion bekommen. Überspring sie, direkt zu dem, was passt.

Der Haken ist, dass Verzweigung die Länge und die Reihenfolge pro Pfad ändert. Eine Umfrage, die sich auf der getesteten Route straff anfühlt, kann auf einer Route lang und seltsam werden, die du nie gegangen bist. Denk über den längsten Pfad nach, auf dem ein echter Befragter landen kann, nicht über den Durchschnitt, und prüf, dass selbst der schlimmste Fall in deinem Zeitbudget bleibt. Der Bau dieser Pfade steht in bedingte Logik und Feedback.

Miss deine eigene Abbruchkurve

Hör auf zu raten, wo deine Umfrage Leute verliert. Schau hin. Trag den Abschluss gegen die Position der Frage auf, und die genauen Absprungpunkte springen heraus: meist ein steiler früher Rückgang, wenn die Unentschlossenen gehen, danach kleinere Klippen bei bestimmten Fragen. Eine scharfe Klippe an einer Frage ist ein Signal. Sie ist zu persönlich, zu verwirrend, oder der Punkt, an dem die angestaute Ermüdung die Leute über die Kante kippt. Diese Frage, oder ihre Position, ist das, was du änderst.

Das gehört in den Vorabtest, nicht in eine Obduktion nach dem Start, und es passt natürlich in einen sanften Start, dem Thema von so testest du eine Umfrage, bevor du sie verschickst. Schick zuerst an einen kleinen Teil deiner Stichprobe, lies die Abbruchkurve, streiche oder verschiebe, was Leute abwirft, und öffne erst dann die Schleusen. Die Alternative ist, hinterher festzustellen, dass ein Drittel deiner Stichprobe bei Frage zwölf ging, wenn du es nur noch wegerklären kannst.

Ein Längenbudget, das du anwenden kannst

Leg das Zeitbudget fest, bevor du eine einzige Frage schreibst, ausgehend vom Kanal und davon, wie viel du gerade diesen Leuten abverlangst. Sortiere jede Frage in must, should und nice, und streiche das Nice-Fach im Ganzen. Setz deine wichtigen Messungen früh, solange die Aufmerksamkeit frisch ist, und halte nie eine tragende Frage für einen starken Abschluss zurück. Verzweige, damit niemand beantwortet, was auf ihn nicht zutrifft, und prüf den längsten Pfad, nicht den Durchschnitt. Zeig Fortschritt nur da, wo er beruhigt. Teile eine lange Umfrage in kurze Seiten. Speichere Teilantworten, damit ein Abbrecher dir trotzdem etwas hinterlässt. Mach danach einen sanften Start, lies die echte Kurve, und streiche noch einmal. Länge ist jene seltene Entwurfsentscheidung, die sowohl schadet, wie viele Antworten du sammelst, als auch, wie gut sie sind, und genau darum lohnt es sich, sie bewusst festzulegen und nicht anwachsen zu lassen.