Umfragen für das Smartphone in der Hand Ihrer Befragten gestalten

Sie bauen die Umfrage am Laptop und sehen sich die Vorschau am Laptop an. Dann öffnet ein guter Teil Ihrer Befragten sie auf dem Smartphone, am Bahnsteig, mit einem Daumen. Ihre Fragen kommen dort in anderer Form an. Die Matrix scrollt seitwärts, die Skalenbeschriftungen brechen auf drei Zeilen um, und eine Fingerkuppe verdeckt den halben Schieberegler.

Prüfen Sie zuerst Ihre eigene Geräteverteilung

Wie viele Menschen auf dem Smartphone antworten, hängt von Zielgruppe und Kanal ab. Eine Mitarbeiterbefragung, die während der Arbeitszeit verschickt wird, landet meist am Desktop. Eine E-Mail nach einem Kauf oder ein Link in einer Messenger-App landet meist auf dem Handy.

Teilen Sie Starts, abgeschlossene Antworten und Abbrüche Ihrer letzten Umfragen nach Gerät auf. Machen Smartphones ein Fünftel der Starts und ein Drittel der Abbrüche aus, wissen Sie, wo das Design versagt. Haben Sie den Gerätetyp nie erfasst? Fangen Sie bei der nächsten Umfrage damit an.

Wer am Smartphone antwortet, antwortet nicht schlampiger

In einem Crossover-Experiment von 2017 luden Christopher Antoun, Mick Couper und Frederick Conrad 1.390 Mitglieder eines wahrscheinlichkeitsbasierten Onlinepanels ein, denselben Fragebogen zweimal auszufüllen, einmal auf dem Smartphone und einmal am PC. Am Smartphone erledigten die Leute häufiger nebenbei etwas anderes, und öfter waren andere Menschen in der Nähe. Viel änderte das nicht. Die Befragten antworteten am Smartphone mindestens so gewissenhaft und gaben mindestens so oft sensible Informationen preis.

Schwächen zeigte das Smartphone bei der Bedienung. Einen kleinen Schieberegler und ein Datumsrad auf den gewünschten Wert zu bringen, fiel den Befragten schwer. Die Person mit dem Handy macht ihre Sache also meist gut. Der Ärger kommt von Designentscheidungen, die eine Maus und einen breiten Bildschirm voraussetzen, und um die geht es im Rest dieses Beitrags.

Wo mobile Befragte abbrechen

Ein schlechtes mobiles Design zeigt sich zuerst an den Abbrüchen. In einem Experiment von 2013 ließ Aigul Mavletova Befragte eine Webumfrage entweder am PC oder auf dem Mobiltelefon ausfüllen. Am PC lag die Abschlussquote bei 81,9 Prozent, am Telefon bei 40,1 Prozent. Die Abbruchquote war am PC fast 17 Prozentpunkte niedriger. Am Telefon fielen außerdem die offenen Antworten kürzer aus.

Das sind Telefone von 2013 und eine Umfrage, die nicht für sie gebaut war. Zitieren Sie die Zahlen also nicht als heutige Lücke. Die Richtung stimmt aber. Eine Umfrage, die am Laptop gerade noch erträglich ist, wird am Smartphone weggeklickt. Der Beitrag über Umfragelänge und Abbrüche zeigt, wie schnell die Antwortqualität mit jeder Frage sinkt. Am Smartphone beginnt diese Kurve früher.

Abbrüche verzerren zudem Ihre Stichprobe. Brechen mobile Befragte ab und bleiben Desktop-Nutzer, neigen Ihre vollständigen Antworten zu Desktop-Nutzern. Die können sich von den Verlorenen genau in den Punkten unterscheiden, die Sie messen wollten.

Ersetzen Sie zuerst die Matrixfrage

Eine Matrixfrage, also mehrere Aussagen mit einer gemeinsamen Skala oben, ist auf einem breiten Bildschirm effizient und auf einem schmalen eine Qual. Die Spalten schrumpfen, bis die Beschriftungen unlesbar sind, oder sie laufen aus dem Bild.

Aigul Mavletova, Mick Couper und Daniil Lebedev führten in einem Opt-in-Panel in Russland ein Experiment in zwei Wellen durch, veröffentlicht 2018, mit 1.678 Befragten in der ersten und 1.079 in der zweiten Welle. Sie variierten das Format, Matrix oder Frage für Frage, und das Gerät, Smartphone oder PC. In der Matrix gab es mehr Straightlining, also immer dieselbe Antwort in einer Reihe. Die konkurrente Validität war in der Matrix auf beiden Geräten niedriger. Wer die Matrix bekam, meldete außerdem häufiger technische Probleme und bewertete die Umfrage schlechter.

Die Matrix schadete also auch am PC. Wenn Sie sie streichen, verlieren Sie am Desktop nichts. Stellen Sie jede Aussage als eigene Frage dar, mit den Antwortoptionen untereinander. Der Leitfaden zum Erkennen schlechter Antworten erklärt, warum sich Straightlining kaum noch bereinigen lässt, wenn es erst einmal in den Daten steckt.

Schieberegler, Datumsräder und Ranglisten zum Ziehen

Ein Schieberegler sieht modern aus und funktioniert unter einem Daumen schlecht. Der Finger verdeckt den Griff, der Griff springt auf einen Wert, den niemand gewählt hat, und viele Regler starten auf einem Standardwert, den manche einfach stehen lassen. Antoun, Couper und Conrad haben genau das bei Smartphones beobachtet.

Beim Datumsrad ist es dasselbe. Durch Jahrzehnte zu drehen, um das Geburtsjahr zu erreichen, dauert, und wer zu weit dreht, muss zurück. Eine kurze Liste beschrifteter Optionsfelder misst dasselbe mit einem Tippen, und Sie sehen, ob jemand wirklich geantwortet hat. Fragen Sie bei Datumsangaben nur so genau, wie Sie es brauchen. Monat und Jahr reichen oft.

Rangfolgen per Ziehen sind noch heikler. Auf einem kleinen Touchscreen ist das Gefummel, und ein versehentlich abgelegtes Element zählt als Antwort. Ist die Reihenfolge wichtig, fragen Sie erst nach der ersten Wahl und dann nach der zweiten.

Ein Layout für jeden Bildschirm

Smartphone und Laptop sollten dieselbe Frage zeigen. Responsive Layouts unterlaufen das unbemerkt. Eine horizontale Fünf-Punkte-Skala am Laptop wird am Handy zur senkrechten Liste. Eine lange Beschriftung wird abgeschnitten. Eine Reihe Optionsfelder wird zum Dropdown, das die Optionen erst nach einem Tippen zeigt.

Jede dieser Varianten ist ein anderer Reiz. Und ein anderer Reiz kann andere Antworten erzeugen. Zeigen Sie Smartphones eine senkrechte Skala mit dem positiven Ende oben und Laptops eine waagerechte, die links mit dem negativen Ende beginnt, dann ist ein Teil jedes Unterschieds zwischen den Geräten schlicht Ihr Layout.

Gestalten Sie deshalb für den kleinsten Bildschirm und verwenden Sie dieses Layout überall. Don Dillman und seine Mitautoren nennen das in ihrem Buch zur Tailored Design Method unified mode design: eine Darstellung, für alle gleich. Praktisch heißt das Antwortoptionen untereinander auf jedem Gerät und Beschriftungen, die kurz genug sind, um nie abgeschnitten zu werden. Verzichten Sie unter etwa zwölf Optionen auf Dropdowns. Der Leitfaden zu Skalenfragen beschreibt, welche Skalenformen das am besten überstehen.

Schreiben Sie Fragen, die auf einen Bildschirm passen

Mit kleinerer Schrift passt eine Frage zwar, aber sie liest sich schlechter. Streichen Sie lieber Wörter. Ein langer Fragetext schiebt die Antwortoptionen unter den Rand, und wer nach unten zu den Optionen und wieder nach oben zur Frage scrollt, liest nicht mehr sorgfältig.

Vergleichen Sie:

• "Wenn Sie an all Ihre Kontakte mit unserem Kundenservice in den letzten drei Monaten denken, einschließlich E-Mail, Chat und Telefon, wie zufrieden würden Sie sagen, waren Sie insgesamt mit der Hilfe, die Sie erhalten haben?"
• "Wie zufrieden waren Sie in den letzten drei Monaten mit der Hilfe unseres Kundenservice?"

Die zweite Fassung passt mit ihren Optionen auf einen Handybildschirm. Ist der Kanal wichtig, stellen Sie dazu eine eigene Frage. Der Beitrag über bessere Umfragefragen geht tiefer auf Formulierungen ein.

Offene Fragen auf der Handytastatur

Tippen auf Glas ist langsam, und das sieht man an kürzeren offenen Antworten. Stellen Sie also weniger offene Fragen und machen Sie sie schärfer.

"Sonstige Anmerkungen?" erntet am Laptop ein Achselzucken und am Smartphone gar nichts. "Was hätte Sie fast davon abgehalten, Ihre Bestellung abzuschließen?" gibt ein klares Ziel und bringt einen brauchbaren Satz zurück. Setzen Sie Ihre wichtigste offene Frage früh, bevor die Tippmüdigkeit einsetzt. Machen Sie eine offene Frage nur dann zur Pflicht, wenn Sie die Antwort wirklich brauchen. Ein Pflichttextfeld auf dem Handy füllt sich mit "k.A." und "...".

In der Auswertung kann ein Thema, das in mobilen Antworten seltener vorkommt, einfach weniger Wörter bedeuten. Der Beitrag zur Analyse offener Antworten zeigt, wie Sie diese einheitlich codieren und wo eine KI-Zusammenfassung hilft oder Themen erfindet, die nicht dastehen.

Seitenweise oder eine lange Scrollseite

Eine Frage pro Seite heißt für jede Antwort ein Tippen und ein Ladevorgang, und das zieht sich bei schwacher Verbindung. Eine einzige lange Seite lässt Menschen den Faden verlieren, und bedingte Fragen weiter unten werden übersehen.

Gut fahren Sie meist mit kurzen Seiten mit zusammengehörigen Fragen, ein bis zwei Bildschirmhöhen lang, und einer Weiter-Schaltfläche, die immer erreichbar ist. Setzen Sie eine Folgefrage direkt unter die Frage, die sie auslöst, auf dieselbe Seite, damit die Befragten sie erscheinen sehen. Und zeigen Sie den Fortschritt ehrlich. Ein Balken, der nach fünf Minuten bei 20 Prozent steht, rät einem mobilen Befragten zum Aufhören.

Tippflächen und der Daumen

Kleine, eng gesetzte Optionsfelder sind schwer zu treffen, und ein Fehltipp fällt oft nicht auf. Jemand tippt auf "Stimme zu", der Bildschirm registriert "Stimme voll zu", und die Umfrage geht weiter.

WCAG 2.2 legt im Erfolgskriterium 2.5.8 eine Mindestzielgröße von 24 mal 24 CSS-Pixeln fest. Die Human Interface Guidelines von Apple empfehlen 44 mal 44 Punkte für Touch-Ziele, Material Design empfiehlt 48 mal 48 dichteunabhängige Pixel. Machen Sie die ganze Zeile einer Option antippbar und lassen Sie Abstand zwischen den Zeilen. Der Leitfaden zu barrierefreien Umfragen behandelt den Rest, und fast alles davon hilft auch denen, die einhändig antworten.

Ladezeit und der erste Bildschirm

Eine Umfrage, die über mobile Daten mehrere Sekunden lädt, verliert Menschen vor der ersten Frage. Lassen Sie große Kopfbilder und schwere Skripte weg.

Entfernen Sie außerdem alles, was ohne Grund zwischen Einladung und erster Frage steht. Eine Anmeldeseite kostet Starts. Ein Cookie-Banner, das den halben Bildschirm verdeckt, ebenfalls. Brauchen Sie einen Einwilligungstext, halten Sie ihn auf einem lesbaren Bildschirm und verlinken Sie die vollständige Fassung. Der Beitrag über die Zustellung von Umfrageeinladungen behandelt den Schritt davor.

Testen Sie auf den Geräten Ihrer Befragten

Die responsive Vorschau im Browser zeigt nicht, wie die Tastatur die Weiter-Schaltfläche aus dem Bild schiebt, oder wie schwer ein Optionsfeld in einem fahrenden Bus zu treffen ist.

Füllen Sie die Umfrage vor dem Start selbst auf mindestens zwei echten Smartphones aus, einem kleinen und einem großen, auf iOS und Android, wenn Ihre Zielgruppe beides nutzt. Mit einer Hand. Sehen Sie danach zwei oder drei Menschen aus Ihrer Zielgruppe zu, ohne zu helfen. Der Leitfaden zum Vortest einer Umfrage erklärt, wie Sie solche Sitzungen und einen Soft Launch aufsetzen. Lassen Sie den Soft Launch die Abbrüche nach Gerät ausweisen. Dann fällt ein reines Smartphone-Problem auf, bevor Sie alle einladen.

Erfassen Sie das Gerät und werten Sie danach aus

Erfassen Sie bei jeder Antwort den Gerätetyp. Vergleichen Sie Abbrüche, Bearbeitungszeit, Straightlining, die Länge offener Antworten und Ihre wichtigsten Ergebnisse nach Gerät.

Menschen am Smartphone und Menschen am Laptop sind selten dieselben, ein Unterschied kann also daran liegen, wer sie sind. Prüfen Sie, ob er innerhalb vergleichbarer Gruppen bestehen bleibt, etwa in einer Altersgruppe. Schrumpft er, stand das Gerät stellvertretend für die Population. Bleibt er, suchen Sie nach einem Layoutunterschied bei der Frage selbst.

Mit dem MCP-Server von SurveyLane bitten Sie einen Assistenten, Abbrüche oder einen Zufriedenheitswert nach Gerät aufzuschlüsseln, und sehen schnell, ob eine Frage auf Smartphones scheitert.