Stichprobenqualität: wer deine Umfrage ausfüllt und wer nicht
Eine hohe Zahl an Antworten ist noch keine repräsentative Stichprobe. So verzerren Abdeckung, Nonresponse und Selbstselektion deine Ergebnisse, und so gehst du mit den Menschen um, von denen deine Umfrage nie etwas hört.
Von SurveyLane · Das Team hinter SurveyLane
Du kannst Fragen fehlerfrei formulieren, die richtigen Skalen wählen und trotzdem mit Daten enden, die die falschen Menschen beschreiben. Das Problem ist nicht das Formular. Es ist, wer es ausgefüllt hat. Jede Umfrage zieht Antworten aus einem Teil der Menschen, die du kennen willst, und die Lücke zwischen diesem Teil und dem Ganzen ist der Ort, an dem stille Verzerrung wohnt. Ein sauberer Export mit 4.000 Antworten kann dich stärker in die Irre führen als 400, weil die Größe verbirgt, dass jedes Mal derselbe Menschentyp geantwortet hat.
Eine hohe Antwortzahl ist keine repräsentative Stichprobe
Die Zahl, die Menschen beruhigt, ist die Gesamtzahl. "Wir haben 4.000 Antworten." Das fühlt sich nach genug an. Aber Repräsentativität hat nichts damit zu tun, wie viele Menschen geantwortet haben. Sie hat damit zu tun, ob die Menschen, die geantwortet haben, denen ähneln, die es nicht taten. Größe kauft dir Präzision. Genauigkeit nicht. Ist die Stichprobe schief, messen mehr Antworten die Schieflage nur präziser.
Das ist der häufigste Fehler bei Umfragen im eigenen Haus. Du schickst eine Zufriedenheitsumfrage an deine ganze Liste, ein paar tausend Menschen antworten, und du berichtest den Durchschnitt als Stimme des Kunden. Es ist die Stimme des Kunden, der deine Mail öffnet und engagiert genug ist, um zu klicken. Eine echte Gruppe. Nicht dein Kundenstamm.
Rücklaufquote gegen Nonresponse-Verzerrung
Die Rücklaufquote ist der Anteil der eingeladenen Menschen, die die Umfrage abgeschlossen haben. Sie lohnt sich zu verfolgen. Aber sie entscheidet nicht, ob deinen Daten zu trauen ist. Das hängt an der Nonresponse-Verzerrung: Unterscheiden sich die Menschen, die geschwiegen haben, bei dem, was du misst, von denen, die geantwortet haben?
Die beiden laufen auseinander. Das Pew Research Center hat dokumentiert, dass die Rücklaufquoten telefonischer Umfragen von 36% im Jahr 1997 auf 9% im Jahr 2012 fielen und weiter auf 6% im Jahr 2018, während die Kontaktquote im selben Zeitraum von 65% auf 27% sank. Und dennoch liefern sorgfältig durchgeführte, richtig gewichtete Umfragen mit niedrigem Rücklauf immer noch recht genaue Schätzungen. Eine niedrige Rücklaufquote ist eine Warnleuchte, kein Urteil. Die Gefahr ist nicht, dass wenige geantwortet haben. Sie ist, dass die wenigen, die geantwortet haben, sich systematisch von den vielen unterscheiden, die es nicht taten.
Woher deine Stichprobe kommt: der Auswahlrahmen
Bevor jemand antworten kann, muss er erreichbar sein. Der Auswahlrahmen ist die Liste der Menschen, die deine Umfrage überhaupt bekommen können: deine Mailliste, deine aktiven Nutzer, das gekaufte Panel, die Kunden mit einer Telefonnummer in der Akte. Jeder Rahmen schließt jemanden aus, und diese Ausschlüsse sind selten zufällig.
Ist dein Rahmen "Menschen mit einer E-Mail-Adresse in unserem CRM", hast du jeden Kunden, der über einen Reseller kaufte, per Rechnung zahlte oder sich abmeldete, schon fallen gelassen. Ist er "Nutzer, die die App diesen Monat geöffnet haben", hast du alle fallen gelassen, die abgewandert sind, genau die Gruppe, von der eine Retention-Umfrage hören muss. Benenne deinen Rahmen laut, bevor du versendest, und schreib auf, wen er ausschließt. Dieser Satz ist die ehrliche Grenze jeder Aussage, die du später triffst.
Abdeckungsfehler: wer nie eine Chance hatte zu antworten
Ein Abdeckungsfehler ist die Diskrepanz zwischen deinem Rahmen und der Grundgesamtheit, um die es dir wirklich geht. Es sind die Menschen, die deine Umfrage nie erreichen konnte, egal wie gut die Rücklaufquote ist. Die klassische Variante ist, "die allgemeine Öffentlichkeit" über einen Kanal zu befragen, der in eine Richtung kippt. Web-Panels unterrepräsentieren Menschen, die älter sind, weniger online oder mit geringerem Einkommen. Eine Umfrage in der App verfehlt alle, die über die Website mit dir zu tun haben. Ein Ladenintercept verfehlt alle, die online kaufen.
Ein Abdeckungsfehler ist gefährlich, weil er von innerhalb der Daten unsichtbar ist. Du kannst die Menschen, die nie infrage kamen, nicht sehen, also vergleiche den Rahmen mit dem, was du über die Grundgesamtheit schon weißt, und sag es klar, wenn ein Kanal eine Gruppe, die du zu beschreiben behauptest, nicht erreichen kann.
Nonresponse-Verzerrung: wer die Chance hatte, aber nicht nutzte
Die Nonresponse-Verzerrung ist der bekanntere Verwandte. Diese Menschen waren in deinem Rahmen und bekamen die Einladung. Sie haben nur nicht geantwortet, und ihr Schweigen ist nicht zufällig. Wer antwortet, ist in der Regel zufriedener oder wütender als der Durchschnitt, hat mehr Zeit, ist in der Sprache der Umfrage sicherer und stärker am Thema beteiligt.
Eine Produktumfrage übersamplet deine Power-User und die kürzlich Enttäuschten. Eine Mitarbeiterbefragung übersamplet Menschen, die sich sicher genug fühlen zu sprechen, und Menschen mit einem Anliegen, während die stille, weniger engagierte Mitte nichts sagt. Der Beitrag zur Antwortqualität behandelt schlechte Antworten, die tatsächlich ankommen. Nonresponse geht um die guten Antworten, die nie kommen, und die sind schwerer zu fassen, weil nichts im Export sie markiert.
Gelegenheitsstichproben und Selbstselektion
Eine Gelegenheitsstichprobe ist, wer leicht zu erreichen war: ein Link auf deiner Startseite, eine Umfrage in deinem Newsletter, eine Bitte in einer Community, die du ohnehin betreibst. Selbstselektion ist dasselbe Problem mit aufgedrehter Lautstärke, denn wenn die Teilnahme völlig freiwillig und sichtbar ist, werden die Menschen, die mitmachen, durch ihre Motivation zum Mitmachen bestimmt. Engagiert genug zu sein, um zu klicken, hängt mit genau den Meinungen zusammen, die du zu messen versuchst.
Gelegenheitsstichproben sind gut, um Hypothesen zu erzeugen, zu prüfen, ob eine Frage verstanden wird, und Usability-Probleme zu finden. Sie sind nicht gut, um einen Anteil in einer Grundgesamtheit zu schätzen oder zwei Gruppen zu vergleichen, als wäre der Unterschied kausal. Der Fehler ist, ihre Zahlen zu behandeln, als kämen sie aus einer Wahrscheinlichkeitsstichprobe. "62% der Befragten bevorzugen das neue Design" ist eine Tatsache über deine Befragten. Es wird in dem Moment zur Lüge, in dem du das Wort "Befragten" weglässt und andeutest, es gelte für alle deine Nutzer. Musst du einen offenen Link nutzen, sag es, denn eine selbstselektierte und eine gezogene Stichprobe verdienen sehr unterschiedliches Vertrauen.
Die Fehlermarge betrifft die Stichprobe, nicht die Verzerrung
Die Fehlermarge, die neben einer Umfrage steht, beschreibt nur den Stichprobenfehler: die Variation, die du bekämest, wenn du verschiedene Zufallsstichproben derselben Größe aus demselben Rahmen ziehst. Sie setzt eine Wahrscheinlichkeitsstichprobe voraus und sagt nichts über Abdeckungsfehler, Nonresponse oder eine schlechte Frage.
Ein Plus-oder-Minus von drei Punkten unter einer selbstselektierten Web-Umfrage ist also nahezu bedeutungslos. Es beantwortet, wie stark die Zahl schwanken würde, wenn du neu ziehst, während die echte Frage ist, ob dies überhaupt die richtigen Menschen sind. Nenne eine Fehlermarge nur, wenn du eine Wahrscheinlichkeitsstichprobe gezogen hast. Rechnest du Statistiken über Skalenfragen, behandelt der Leitfaden zum Gestalten von Skalenfragen die Messseite desselben Problems.
Gewichtung: eine Korrektur, kein Allheilmittel
Gewichtung passt deine Ergebnisse so an, dass unterrepräsentierte Gruppen stärker zählen und überrepräsentierte weniger, mit bekannten Bevölkerungszahlen als Ziel. Ist dein Kundenstamm zu 55% mobil, aber nur 40% deiner Befragten, kannst du mobile Antworten hochgewichten, um die Lücke zu schließen. Gut gemacht, nimmt es die Verzerrung auf den Variablen weg, nach denen du gewichtest.
Die Grenzen zählen so viel wie der Mechanismus. Gewichtung korrigiert nur Verzerrung auf Merkmalen, die du in deiner Stichprobe messen kannst und deren wahre Verteilung in der Grundgesamtheit du kennst. Sie tut nichts gegen Verzerrung bei Dingen, die du nicht gemessen hast, und sie kann keine Befragten aus einer Gruppe erfinden, die null Antworten lieferte. Gewichte eine Gruppe, die 2% deiner Stichprobe ausmacht, auf 20% hoch, und eine Handvoll Menschen trägt plötzlich die ganze Schätzung, sodass das Rauschen explodiert, während die Verzerrung sinkt. Es ist ein echtes Werkzeug. Kein Reinwaschen, das eine kaputte Stichprobe sauber macht.
Rücklauf ehrlich erhöhen
Nonresponse wächst, wenn sich die Menschen, die auslassen, von denen unterscheiden, die antworten. Die Rücklaufquote anzuheben hilft also am meisten, wenn es die Zögernden hereinholt statt mehr von den Eifrigen. Kurze Umfragen werden häufiger fertig, also streiche jede Frage, die keine Entscheidung ändert. Eine klare Einladung von einem erkennbaren Absender schlägt eine vage, und Zustellbarkeit zählt hier: eine Einladung im Spam-Ordner ist eine Nonresponse, die du selbst verursacht hast.
Timing und Erinnerungen holen Menschen zurück, die antworten wollten und es vergaßen. Bescheidene, allgemeine Anreize heben den Rücklauf, ohne stark zu verzerren, wer antwortet, während themenspezifische Anreize genau die verzerrte Gruppe hereinholen, die du ausgleichen wolltest. Ein zugängliches Formular zählt auch. Wie der Leitfaden zu barrierefreien Umfragen erklärt, werden Befragte, die das Formular mit einem Screenreader oder Telefon nicht abschließen können, zu stillen Nonresponses, die nie als Fehler auftauchen.
Berichten, wen du verfehlt hast
Das Glaubwürdigste in einem Umfragebericht ist eine klare Beschreibung seiner Grenzen. Sie kostet nichts und ist das Erste, wonach ein sorgfältiger Leser sucht. Nenne den Rahmen, die Rücklaufquote und die Gruppen, von denen du weißt, dass sie unterrepräsentiert sind. Hast du gewichtet, sag, wonach und auf welches Ziel. War es eine Gelegenheits- oder selbstselektierte Stichprobe, benenne das und halte kausale Sprache heraus.
Das ist kein Räuspern. Ein Stakeholder, der weiß, dass die Umfrage nur engagierte Nutzer erreichte, liest einen Zufriedenheitswert von 90% richtig, als "engagierte Nutzer sind zufrieden", statt ihn zu "Kunden sind zufrieden" zu strecken. Dieselbe Ehrlichkeit gilt, wenn du offene Antworten in einen KI-Workflow gibst. Der Leitfaden zum Analysieren von Umfragen mit KI lohnt sich daneben, denn ein Modell fasst eine schiefe Stichprobe fröhlich zu selbstsicheren, falschen Themen zusammen, ohne je zu melden, wer fehlte.
Eine Checkliste vor dem Versand
Geh das durch, bevor die Einladung rausgeht. Benenne die Grundgesamtheit, die du beschreiben willst, und den Rahmen, den du tatsächlich ziehst, in je einem Satz. Nenne die Gruppen, die der Rahmen nicht erreichen kann, und entscheide, ob du die Aussage, die du treffen willst, noch machen kannst. Bestätige, dass du die Umfrage an eine definierte Stichprobe schickst, statt einen offenen Link zu posten. Prüfe, ob das Formular auf einem Telefon und mit einem Screenreader funktioniert, damit der Abschluss nicht still nach Gerät gefiltert wird. Entscheide, nach welchen Bevölkerungszahlen du gewichten könntest. Schreib dann jetzt den Grenzen-Absatz, bevor du die Ergebnisse siehst, damit er das Design ehrlich beschreibt, statt die Zahlen zu verteidigen, die du zufällig bekommen hast.
Häufig gestellte Fragen
Ist eine niedrige Rücklaufquote immer ein Problem?
Nicht von allein. Eine niedrige Quote erhöht das Risiko einer Nonresponse-Verzerrung, garantiert sie aber nicht. Entscheidend ist, ob sich die Menschen, die geantwortet haben, bei dem, was du misst, von denen unterscheiden, die es nicht taten. Große Umfragen melden routinemäßig einstellige Rücklaufquoten und liefern nach Gewichtung immer noch genaue Schätzungen. Behandle eine niedrige Quote als Anlass, auf Verzerrung zu prüfen, und sieh eine hohe Quote nie als Beweis, dass die Stichprobe taugt.
Wie groß muss meine Stichprobe sein?
Das hängt davon ab, wie präzise du die Schätzung brauchst und wie fein du die Daten aufteilst, nicht von einer festen Zahl. Aber Größe ist die zweite Frage. Entscheide zuerst, ob dein Rahmen die Menschen erreicht, die du beschreiben willst, denn eine größere Stichprobe aus einem schiefen Rahmen macht eine falsche Antwort nur präziser. Teilst du Ergebnisse nach Segment auf, bemiss jedes Segment einzeln, denn eine Umfrage mit 4.000 Antworten kann trotzdem nur 30 Menschen in der Gruppe enthalten, die du am dringendsten vergleichen willst.
Kann Gewichtung eine schiefe Stichprobe reparieren?
Nur teilweise. Gewichtung korrigiert Verzerrung auf Merkmalen, die du gemessen hast und deren wahre Verteilung du kennst, etwa Region, Gerät oder Alter. Sie tut nichts gegen Verzerrung bei Dingen, die du nicht gemessen hast, und sie kann eine Gruppe, die keine Antwort lieferte, nicht vertreten. Starke Gewichtung bläht zudem das Rauschen auf, weil ein paar Menschen für viele einstehen. Nutze sie, um eine ordentliche Stichprobe nachzujustieren, nicht um eine kaputte zu retten.
Was ist der Unterschied zwischen Abdeckungsfehler und Nonresponse-Verzerrung?
Ein Abdeckungsfehler geht darum, wer nie hätte antworten können, weil er gar nicht in deinem Rahmen war, etwa Kunden ohne E-Mail-Adresse in der Akte. Nonresponse-Verzerrung geht darum, wer im Rahmen war und die Einladung bekam, aber nicht antworten wollte. Du behebst sie unterschiedlich: den Abdeckungsfehler, indem du den Rahmen erweiterst, die Nonresponse, indem du die Teilnahme unter denen anhebst, die eher auslassen.
