So testen Sie eine Umfrage, bevor Sie sie versenden
Die günstigste Korrektur an einer Umfrage machen Sie vor dem Start. So prüfen Sie Ihre Fragen mit Expertenreview, kognitiven Interviews und einem weichen Start, damit Sie Probleme finden, solange sie noch kostenlos zu beheben sind.
Von SurveyLane · Das Team hinter SurveyLane
Sobald eine Umfrage live ist, ist jeder Fehler darin eingefroren. Eine verwirrende Frage verwirrt weiter, ein kaputter Sprung strandet weiter Befragte, und Sie merken es erst, wenn die Daten falsch zurückkommen. Der Vortest ist der Moment, in dem Sie diese Fehler aufspüren, solange sie noch billig zu beheben sind, bevor der erste echte Befragte das Formular sieht.
Warum die Korrektur vor den Start gehört
Eine Umfrage ist ein Messinstrument, und ein Instrument kalibriert man nicht, nachdem man die Messungen gemacht hat. Sind die Antworten erst da, lässt sich eine schlecht formulierte Frage nicht mehr reparieren. Sie können sie aus der Auswertung streichen und die Mühe wegwerfen, die jeder Befragte hineingesteckt hat, oder sie behalten und um den Fehler herum argumentieren, was jede Schlussfolgerung schwächt, die sie berührt. So oder so: Die einzige echte Korrektur geschah, oder eben nicht, bevor Sie auf Senden gedrückt haben.
Deshalb ist der Vortest die beste Stunde, die Sie in eine Umfrage stecken. Eine Stunde, in der Sie fünf Menschen mit einem Entwurf ringen sehen, erspart Ihnen die Auswertung von tausend Antworten auf eine Frage, die alle gleich falsch gelesen haben. Die Probleme, die Sie fangen, sind gewöhnlich. Ein Wort, das zweierlei bedeutet. Eine Skala, die nicht zur Frage passt. Ein Pflichtfeld, das Menschen blockiert, die ehrlich keine Antwort haben.
Die vier Stellen, an denen eine Frage brechen kann
Um gut zu testen, hilft es zu wissen, wonach Sie suchen. Methodiker modellieren das Beantworten einer Frage als vier Schritte, ein Rahmen von Roger Tourangeau: Der Befragte muss die Frage verstehen, die passende Information aus dem Gedächtnis abrufen, daraus ein Urteil bilden und dieses Urteil auf eine Ihrer Antwortoptionen abbilden. Eine Frage kann an jedem der vier scheitern, und jedes Scheitern sieht anders aus.
Das Verstehen scheitert, wenn die Formulierung mehrdeutig ist, einen Begriff nutzt, den der Befragte nicht teilt, oder still zwei Dinge auf einmal fragt. Der Abruf scheitert, wenn Sie etwas verlangen, das Menschen nicht erinnern: "Wie oft haben Sie letzten Monat unsere Website besucht" unterstellt ein Gedächtnis, das niemand führt. Das Urteil scheitert, wenn die Frage eine Zusammenfassung verlangt, die der Befragte nie gebildet hat, also erfindet er sie vor Ort. Die Abbildung scheitert, wenn Ihre Optionen die gewünschte Antwort nicht enthalten, also wählt er das nächstgelegene falsche Kästchen. Beim Testen achten Sie auf den Moment, in dem jemand gegen eine dieser vier Wände läuft.
Beginnen Sie mit einem Expertenreview, denn es ist gratis
Der günstigste Vortest ist eine zweite fachkundige Person, die Ihren Entwurf mit Absicht liest. Kein flüchtiger Blick: eine echte Lektüre, Frage für Frage, bei der Sie sich zu jeder fragen, was sie misst und ob ein vernünftiger Befragter sie anders lesen könnte als gemeint. Wer nicht im Raum war, als Sie die Umfrage schrieben, fängt einen überraschenden Anteil der Probleme, weil er ohne Ihre Annahmen ankommt.
Ein Expertenreview ist am stärksten bei strukturellen Fehlern: Doppelfragen, suggestive Formulierungen, fehlende Antwortoptionen, Skalen, die nicht zum Konstrukt passen, Sprünge, die Menschen an die falsche Stelle schicken. Am schwächsten ist es dabei, wie gewöhnliche Befragte eine Frage wirklich lesen, denn ein Experte liest zu gut und löst Mehrdeutigkeiten auf, die ein Erstleser nicht auflöst. Bevor Sie überhaupt Fragen schreiben, behandelt der Beitrag über bessere Umfragefragen schreiben die Formulierungsfehler, die ein Expertenreview am besten fängt.
Kognitive Interviews: schauen Sie einem echten Menschen beim Antworten zu
Kognitive Interviews sind die Kernmethode, und sie sind einfacher, als sie klingen. Sie setzen sich mit einer Person aus Ihrer Zielgruppe hin, geben ihr die Umfrage und lassen sie erzählen, was in ihrem Kopf vorgeht, während sie antwortet. So testet eine Organisation wie das Pew Research Center neue Fragen, bevor sie im großen Maßstab hinausgehen, und so tauchen Probleme auf, die kein Expertenreview findet.
Es gibt zwei Techniken, und Sie nutzen beide. Beim Lauten Denken lassen Sie den Befragten seine Gedanken aussprechen, während er liest und antwortet: "Sagen Sie mir, was Sie denken, während Sie diese durchgehen." Sie bleiben still und hören zu. Das Nachfragen folgt: Nachdem er geantwortet hat, fragen Sie "Was bedeutete dieses Wort für Sie?", "Wie kamen Sie auf diese Zahl?" oder "Gab es eine Antwort, die Sie geben wollten, die aber fehlte?" Das Laute Denken zeigt, wo er zögert, das Nachfragen warum, und zusammen prüfen sie alle vier Bruchstellen aus dem letzten Abschnitt.
Wie viele Interviews, und mit wem
Sie brauchen keine statistisch repräsentative Stichprobe zum Testen, denn Sie messen noch nichts. Sie suchen Fehler, und Fehler wiederholen sich schnell. Fünf bis acht kognitive Interviews bringen die meisten ernsten Probleme einer typischen Umfrage zutage. Stolpern drei Ihrer ersten fünf Teilnehmer über dasselbe Element, brauchen Sie kein sechstes zur Bestätigung.
Wen Sie befragen, zählt mehr als wie viele. Wählen Sie Menschen, die Ihren echten Befragten ähneln, und nehmen Sie bewusst die Randfälle mit: die am wenigsten Kundigen, die, für die die Umfrage in einer Zweitsprache ist, die, deren Lage nicht in Ihre Annahmen passt. Eine Frage nach "Ihrer Führungskraft" bricht für jemanden mit zwei Führungskräften oder keiner, und das entdecken Sie nur, indem Sie so jemanden befragen. Das ist das Spiegelbild des Beitrags über Stichprobe und Repräsentativität: Dort wollen Sie einen repräsentativen Querschnitt, hier suchen Sie die Ränder.
Die Sitzung führen, ohne dem Befragten vorzusagen
Der typische Fehler eines kognitiven Interviews ist der Interviewer, der dem Befragten zu Hilfe eilt. Sobald jemand bei einer Frage die Stirn runzelt, ist der Reflex, zu erklären, was gemeint war. Widerstehen Sie. Das Runzeln ist die Information; erklären Sie es, haben Sie eine Version der Frage getestet, die in der echten Umfrage nicht vorkommt.
Halten Sie Ihre Reaktionen neutral, denn Befragte lesen Sie und passen sich an: Nicken Sie nicht bei Antworten, die Ihnen gefallen, und verziehen Sie nicht das Gesicht bei welchen, die es nicht tun. Gibt jemand eine kurze Antwort, ist "Erzählen Sie mir mehr davon" fast immer die richtige neutrale Aufforderung. Nehmen Sie die Sitzung auf, wenn die Person zustimmt, denn die genauen Worte, mit denen ein Befragter seine Verwirrung beschreibt, zeigen Ihnen oft, wie Sie die Frage umschreiben.
Testen Sie die Maschine, nicht nur die Fragen
Fragen sind nicht das Einzige, was brechen kann; die Umfrage als laufendes System hat eigene Bruchstellen. Klicken Sie jeden Pfad durch, nicht nur den glatten, und wenn Ihre Umfrage verzweigt, prüfen Sie, ob jeder Zweig an der richtigen Stelle landet. Der Beitrag über bedingte Logik und Feedback behandelt die Entwurfsseite; beim Testen prüfen Sie, ob die Verdrahtung hält.
Testen Sie die Umfrage auf einem Telefon, denn viele Befragte antworten auf einem Gerät, und eine Matrixfrage, die auf einem Laptop gut aussieht, kann bei 375 Pixeln Breite unbrauchbar sein. Testen Sie nur mit Tastatur und, wenn möglich, mit einem Screenreader; der Beitrag über barrierefreie Umfragen gestalten behandelt, was zu prüfen ist. Und prüfen Sie, ob Pflichtfelder nur dort Pflicht sind, wo eine fehlende Antwort wirklich ein Problem ist; ein erzwungenes Feld ohne gültige Option ist eine Wand, die die Sitzung beendet.
Der weiche Start: ein Pilot mit echten Befragten
Nach dem qualitativen Testen machen Sie einen weichen Start: Schicken Sie die Umfrage an einen kleinen Teil Ihres echten Publikums, ein paar Prozent, und sehen Sie sich die Daten an, bevor Sie den Rest freigeben. Das fängt, was einzelne Interviews nicht können: Muster, die erst bei Menge auftauchen. Ein Interview sagt Ihnen, ob eine Person die Frage beantworten kann, der Pilot sagt Ihnen, was eine Menge wirklich damit anstellt.
Passen Sie den Piloten an Ihr Gesamt an. Schicken Sie an hunderttausend Menschen, reichen ein paar hundert Antworten, um die offensichtlichen Pannen zu sehen. Ist Ihre ganze Grundgesamtheit dreihundert, können Sie keinen brauchbaren Piloten entbehren, also stützen Sie sich stärker auf kognitive Interviews und nehmen die ersten paar Dutzend Antworten als Kontrolle. So oder so wollen Sie einen Moment, in dem die Umfrage echten Befragten begegnet ist, aber noch nicht an alle gebunden ist.
Pilotdaten auf Ärger lesen
Ein Pilot lohnt nur, wenn Sie die Ergebnisse wirklich befragen, und Sie suchen Probleme, keine Befunde. Achten Sie auf die Abschlussquote: Gibt es eine Frage, bei der Menschen die Umfrage abbrechen, richtet diese Frage Schaden an. Wählen fast alle dieselbe Option, unterscheidet die Frage vielleicht nicht, oder die Skala wird gegen eine Ober- oder Untergrenze gedrückt. Eine Frage, die alle gleich beantworten, misst nichts.
Prüfen Sie die Item-Nonresponse, den Anteil, der jede optionale Frage überspringt, denn ein Ausschlag bei einem Element heißt meist, es ist verwirrend, aufdringlich oder es fehlt die gewünschte Option. Lesen Sie die offenen Antworten, denn Befragte nutzen sie oft, um Ihnen zu sagen, dass die Umfrage selbst kaputt ist; der Beitrag über offene Antworten analysieren behandelt, wie Sie sie in Menge durcharbeiten. Und achten Sie auf die Zeit: eine Ausfülldauer weit unter der erwarteten heißt, Menschen jagen durch, ohne zu lesen, ein Qualitätsproblem aus Antwortqualität überwachen.
Wenn der Pilot Ihnen eine Änderung nahelegt
Legt der Pilot ein echtes Problem offen, beheben Sie es vor dem Hauptversand, auch wenn es verlockend ist, es nicht zu tun. Sie haben schon Antworten in der Hand, und das Instrument zu ändern heißt, dass diese Antworten nicht mehr passen. Deshalb bleibt der Pilot klein: ein paar hundert Antworten auf eine fehlerhafte Frage sind ein hinnehmbarer Verlust, hunderttausend nicht. Behandeln Sie diese Antworten als Testdaten, nicht als Teil des sauberen Laufs. Widerstehen Sie auch der Gegenversuchung, ewig weiterzufeilen. Ab einem Punkt polieren Sie Formulierungen, die kein Befragter bemerkt, während die Umfrage ungesendet liegt, und Sie wollen keine ernsten Fehler mehr übrig, kein perfektes Instrument.
Eine kurze Abfolge, die wirklich funktioniert
Keiner der Schritte ist für sich teuer. Entwerfen Sie die Umfrage, legen Sie sie einen Tag weg, dann prüfen Sie sie selbst gegen die vier Bruchstellen. Geben Sie sie einer Kollegin zum Expertenreview. Führen Sie fünf bis acht kognitive Interviews, Randfälle inbegriffen, und schreiben Sie um, was mehr als eine Person stolpern lässt. Klicken Sie jeden Zweig auf einem Telefon durch, mit Tastatur, am besten mit Screenreader. Machen Sie einen weichen Start an einen kleinen Teil, lesen Sie die Zahlen, beheben Sie, was sie offenlegen. Dann, und erst dann, senden Sie den Rest. Was Ihnen das erspart, ist die eine Kostenstelle, die Sie nicht zurückholen: eine Umfrage, die das Falsche maß, zu spät bemerkt, um noch etwas zu tun.
Häufig gestellte Fragen
Wie viele Menschen brauche ich für kognitive Interviews?
Fünf bis acht reichen für die meisten Umfragen. Sie suchen Fehler, keine Häufigkeit, und ernste Probleme wiederholen sich schnell, also lässt dieselbe verwirrende Frage die meisten Leser stolpern. Stolpern drei Ihrer ersten fünf Teilnehmer über dasselbe Element, ist das schon ein Signal zum Umschreiben. Stecken Sie Ihre Mühe in die richtige Mischung an Menschen, vor allem Randfälle, nicht in viele Sitzungen.
Was ist der Unterschied zwischen einem kognitiven Interview und einem weichen Start?
Sie fangen Verschiedenes. Ein kognitives Interview ist qualitativ: Sie sitzen mit einer Person und lernen, warum eine Frage sie verwirrt, was aggregierte Daten nicht sagen. Ein weicher Start ist quantitativ: Sie schicken an einen kleinen Teil echter Befragter und lesen die Muster, die erst bei Menge auftauchen, etwa wo Menschen abbrechen oder welche Frage alle überspringen. Machen Sie erst die Interviews, dann den Piloten.
Kann ich den Vortest überspringen, wenn ich validierte Fragen wiederverwende?
Teils. Validierte Fragen sind auf ihre Formulierung geprüft, den einzelnen Elementen können Sie also mehr vertrauen. Aber Sie müssen die Umfrage als Ganzes testen: die Reihenfolge der Fragen, die Sprünge, die sie verbinden, wie sie auf einem Telefon aussehen und ob die Kombination zu Ihrem Publikum passt. Validierung reist mit einer Frage, nicht mit der Umfrage, in die Sie sie gesetzt haben, ein kurzer Pilot hilft also weiter.
Reicht ein Expertenreview für sich allein?
Nein. Ein Expertenreview ist hervorragend bei strukturellen Fehlern wie Doppelfragen, suggestiven Formulierungen und kaputter Logik, und es kostet fast nichts, machen Sie es also immer. Aber ein Experte liest zu gut, um zu sehen, wie ein gewöhnlicher Erstbefragter stolpert, weil er Mehrdeutigkeiten automatisch auflöst. Diese blinde Stelle zu decken, ist genau der Zweck kognitiver Interviews, also nutzen Sie beides.
