Wie viele Antworten brauchst du wirklich? Stichprobengröße und Fehlermarge
Wie viele Antworten eine Umfrage braucht, ist eine Rechenaufgabe, kein Bauchgefühl. So bestimmen Fehlermarge, Konfidenzniveau und Untergruppenanalyse die Zahl, und warum eine größere Stichprobe die falschen Leute nie geradebiegt.
Von SurveyLane · Das Team hinter SurveyLane
"Wie viele Leute brauchen wir?" Mit dieser Frage fängt jede Umfrage an, und die meisten Teams beantworten sie am schlechtesten. Die ehrliche Antwort ist eine kurze Rechnung, keine runde Zahl, die jemand halb aus einem Meeting erinnert. Machst du es richtig, hörst du in dem Moment auf zu sammeln, in dem die Daten präzise genug sind, um zu handeln. Machst du es falsch, brichst du zu früh ab und liest Rauschen als Signal, oder du jagst Tausenden zusätzlicher Antworten hinterher, die die Zahl um einen Bruchteil eines Punktes verschieben.
Mehr Antworten kaufen Präzision, nicht die Wahrheit
Die Stichprobengröße steuert genau eine Sache: wie stark deine Schätzung schwanken würde, wenn du eine andere Zufallsstichprobe derselben Größe zögest. Fachleute nennen das den zufälligen Stichprobenfehler. Er schrumpft, wenn die Stichprobe wächst. Mehr sammeln repariert sonst nichts.
Die Verzerrung bleibt unberührt. Antworten die falschen Leute, misst eine größere Stichprobe die falschen Leute nur genauer. Nimm eine Zufriedenheitsumfrage, die nur die Begeisterten und die Wütenden ausfüllen: Sie wird bei 4.000 Antworten nicht besser, sie meldet dieselbe schiefe Zahl mit einem engeren Intervall drum herum. Der Leitfaden dazu, wer deine Umfrage ausfüllt und wer nicht behandelt die Frage, ob du überhaupt die richtigen Leute hast. Lies ihn zuerst, denn dieser Text behandelt nur, wie viele davon du brauchst.
Was die Fehlermarge wirklich misst
Die Fehlermarge ist die halbe Breite des Konfidenzintervalls um einen Prozentwert. Eine Umfrage sagt 52 Prozent, plus minus 3 Punkte, bei 95 Prozent Konfidenz. Das behauptet dieser Satz: Wiederholst du dieselbe Zufallsstichprobe viele Male, enthalten etwa 19 von 20 Intervallen, hier 49 bis 55 Prozent, den wahren Wert in der Grundgesamtheit.
Zwei Warnungen gehören dazu. Es sagt nichts darüber, ob dein eines Intervall die Wahrheit zufällig einfängt; es beschreibt, wie sich die Methode über viele Stichproben verhält. Und es deckt nur den Stichprobenfehler ab. Eine Suggestivfrage, ein kaputter Auswahlrahmen, die Leute, die nie geantwortet haben, nichts davon steckt in der Zahl. Das Pew Research Center legt das in seiner Arbeit zur Variabilität von Umfrageschätzungen dar: Die Zahl fängt das Rauschen aus dem Ziehen ein und lässt die Verzerrung aus allem anderen in Ruhe. Nenne eine Fehlermarge also nur, wenn du wirklich eine Zufallsstichprobe gezogen hast.
Die drei Regler: Konfidenz, Marge und Aufteilung
Drei Größen bestimmen die Zahl, und du legst alle drei fest, bevor eine einzige Einladung rausgeht.
Das Konfidenzniveau ist, wie oft die Methode auf lange Sicht innerhalb ihres Intervalls landen soll. Standard sind 95 Prozent, was den Multiplikator z auf 1,96 setzt. Gehst du auf 90 Prozent, fällt z auf 1,645, was dich weniger Antworten kostet. Gehst du auf 99 Prozent, klettert er auf 2,576, was viel mehr kostet.
Die Fehlermarge ist die Präzision, auf die du handeln kannst. Plus minus 5 Punkte reichen für einen groben Eindruck, plus minus 2 sind teuer und für die meiste interne Arbeit übertrieben. Halbierst du die Marge, vervierfachst du ungefähr die Stichprobe, dieser Regler treibt die Kosten also stärker als jeder andere.
Die Aufteilung ist der Anteil, den du zu messen erwartest, geschrieben als p. Die Präzision ist am schlechtesten, wenn sich die Meinungen gleich verteilen, bei p = 0,5, denn dort erreicht die Varianz p(1-p) ihr Maximum. Die Antwort kennst du selten vorher, also plane mit 0,5. Das gibt dir die größte Stichprobe, die irgendein einzelner Prozentwert verlangen kann, damit bist du abgesichert, egal was zurückkommt.
Die Formel, einmal durchgerechnet
Für einen Anteil aus einer großen Grundgesamtheit ist das die Stichprobengröße, die du brauchst:
n0 = z^2 * p * (1 - p) / e^2
z = 1,96 (95% Konfidenz)
p = 0,5 (schlechteste Aufteilung)
e = 0,03 (Zielmarge, 3 Punkte)
n0 = 1,96^2 * 0,5 * 0,5 / 0,03^2
= 3,8416 * 0,25 / 0,0009
= 1067
Runde immer auf, nie ab: Eine halbe Person gibt es nicht, und Abrunden bricht still die Garantie. Rechne dieselbe Formel bei ein paar anderen Margen:
e = 0,05 -> n0 = 385
e = 0,03 -> n0 = 1.068
e = 0,02 -> n0 = 2.401
e = 0,01 -> n0 = 9.604
Der abnehmende Ertrag springt heraus. Von plus minus 5 auf plus minus 3 kostet etwa 680 Antworten. Von plus minus 3 auf plus minus 1 kostet weitere 8.500. Ab einem Punkt wird Präzision sehr schnell sehr teuer.
Diese 1.068 bei plus minus 3 sind der Grund, warum so viele nationale Umfragen bei rund 1.000 Befragten landen, und Pews eigene Tabelle setzt ihn auf 1.067 Fälle. Nichts Mystisches daran. Da wird die Präzision gut genug für die meisten Entscheidungen, und der nächste Schritt kostet mehr, als er einbringt. Also sind 1.000 ein guter Standard für eine Schlagzeilenzahl über eine Grundgesamtheit, und niemandes Universalantwort: Vergleichst du Gruppen oder ziehst die Marge enger, verschiebt sich die richtige Zahl.
Das Konfidenzniveau kostet mehr, als du denkst
Den Konfidenzregler höher zu stellen hat einen Preis. Halte die Marge bei plus minus 3 Punkten und die Aufteilung bei 0,5, und sieh zu, wie die Stichprobe klettert:
90% Konfidenz (z = 1,645) -> n0 = 752
95% Konfidenz (z = 1,960) -> n0 = 1.068
99% Konfidenz (z = 2,576) -> n0 = 1.844
Von 95 auf 99 Prozent verdoppelt fast, was du zahlst, für eine Garantie, die eine Produkt- oder CX-Entscheidung selten braucht. Für die meiste interne Arbeit sind 95 Prozent die richtige Einstellung, und 90 Prozent sind vertretbar, wenn der Einsatz niedrig ist und du nur die Richtung willst. Reserviere 99 Prozent für Entscheidungen, bei denen ein Fehler wirklich teuer wird.
Kleine Grundgesamtheiten: die Korrektur, die Antworten spart
Alle Zahlen oben nehmen an, die Grundgesamtheit sei praktisch unendlich. Ist sie klein und bekannt und erreichst du jedes Mitglied, brauchst du weniger Antworten, als die Grundformel nahelegt, denn jede Antwort verrät dir anteilig mehr über eine kleine Gruppe als über eine große. Die Endlichkeitskorrektur regelt das.
n = n0 / (1 + (n0 - 1) / N)
Ziel: plus minus 5 Punkte, also n0 = 385
Grundgesamtheit N = 2.000 -> n = 385 / (1 + 384/2000) = 324
Grundgesamtheit N = 500 -> n = 385 / (1 + 384/500) = 218
Das kommt ständig in den Umfragen vor, die Teams tatsächlich fahren. Eine Mitarbeiterbefragung in einer Firma mit 500 Leuten braucht keine 385 Antworten für eine Marge von plus minus 5. Sie braucht etwa 218. Wende die Korrektur an, und ein Ziel, das unerreichbar schien, rückt wieder in Reichweite. Lässt du sie weg, setzt du ein Ziel, das du nicht schaffst, und liest das Defizit als Scheitern.
Die Untergruppenfalle
Hier fallen die meisten Stichprobenpläne still auseinander. Die Fehlermarge, die du berechnet hast, gehört zu der Gruppe, deren Antworten du zählst. Teilst du das Ganze in Segmente, trägt jedes Segment seine eigene Marge, breiter, getrieben von seiner eigenen kleineren Zahl.
Stell dir eine Umfrage mit 1.000 Antworten und einer sauberen Schlagzeile von plus minus 3 vor. Die Region, die du am liebsten vergleichen willst, enthält 40 Leute, und 40 Antworten tragen eine Marge von fast plus minus 15 Punkten, jeder Unterschied zwischen zwei solchen Segmenten ist also größtenteils Rauschen. Lege fest, welche Vergleiche zählen, bevor du verschickst, dimensioniere die kleinste Zelle auf eine Marge, auf die du handeln kannst, und lass die Gesamtzahl daraus folgen. Zuerst die Gesamtzahl zu dimensionieren und später zu schneiden ist der häufigste Weg, auf dem eine gut gebaute Umfrage ihre eigene Frage nicht beantworten kann.
Gewichten und Klumpen: der Designeffekt
Die saubere Formel setzt eine Zufallsstichprobe voraus, in der jede Antwort gleich zählt. Echte Stichproben tun das selten. Die Lücke hat einen Namen, den Designeffekt, geschrieben als deff: der Faktor, um den deine Varianz größer ist als die einer Zufallsstichprobe derselben Größe. Er bläht die Zahl der Antworten auf, die du sammeln musst.
Gewichten ist meist der Grund. Gewichtest du Antworten, um eine schiefe Stichprobe geradezuziehen, erhöhst du die Varianz deiner Schätzungen, denn mehr der Korrektur ruht auf weniger Leuten. Pew merkt an, dass immer mehr Gewichtungsvariablen die Fehlermarge in der Regel verbreitern. Ein Designeffekt von 1,5 heißt 50 Prozent mehr abgeschlossene Antworten, um die Präzision zu erreichen, die die einfache Formel versprach. Weißt du schon, dass du stark gewichten wirst, plane einen deff zwischen 1,3 und 2,0 und multipliziere dein Ziel damit. Der Leitfaden zum Gewichten von Umfragedaten behandelt, wann sich diese Korrektur lohnt.
Von Abschlüssen zu Einladungen: rückwärts rechnen
Die Zahl, die du berechnet hast, sind abgeschlossene Antworten, keine verschickten Einladungen. Um sie zu erreichen, teilst du durch die Rate, mit der aus Einladungen Abschlüsse werden, und diese Rate ist oft brutal niedrig. Hier trifft der Plan auf die Wirklichkeit.
benötigte Abschlüsse = 1.068
erwartete Abschlussrate = 8%
zu verschickende Einladungen = 1.068 / 0,08 = 13.350
Ist deine Liste kleiner? Dann hast du drei Hebel. Nimm eine breitere Marge hin. Wende die Endlichkeitskorrektur an, wenn die Grundgesamtheit wirklich geschlossen ist. Oder heb die Abschlussrate, der ehrliche Hebel. Eine kürzere Umfrage wird öfter zu Ende gebracht, wie der Leitfaden zu Umfragelänge und Abbruch zeigt, und die Einladung muss überhaupt erst in den Posteingang, was der Leitfaden zum Zustellen von Umfrageeinladungen durchgeht. Eine Einladung im Spam-Ordner ist eine Nichtantwort, die du selbst verursacht hast, und sie zählt in dieser Rechnung voll mit.
Eine Zahl zu schätzen ist etwas anderes, als einen Unterschied nachzuweisen
Eine Stichprobe zu dimensionieren, um einen Anteil zu schätzen, ist die leichte Variante. Eine zu dimensionieren, um einen Unterschied zwischen zwei Gruppen nachzuweisen, ist ein anderes Tier, und die beiden zu verwechseln verbrennt ständig Feldbudgets.
Angenommen, du willst sicher sein, dass 55 Prozent wirklich von 50 Prozent abweichen, eine Lücke von fünf Punkten. Das kostet grob 1.500 abgeschlossene Antworten je Gruppe, keine 1.000 über die ganze Umfrage. Kleinere Lücken kosten weit mehr, ein Abstand von zwei Punkten geht in die Tausende je Gruppe. Lege also vorab den kleinsten Unterschied fest, der wirklich ändern würde, was du tust, den minimal nachweisbaren Effekt. Ändert eine Verschiebung von drei Punkten keine einzige Entscheidung, zahl nicht dafür, sie so fein zu messen. Deshalb melden unterdimensionierte Tracker Quartal für Quartal keine signifikante Änderung: Sie waren nie dimensioniert, um eine zu fangen, die zählt.
Setz die Zahl ans Ende, nicht an den Anfang
Noch eine Warnung zum Schluss. Die Stichprobengröße kauft Präzision gegen den zufälligen Stichprobenfehler und sonst nichts. Eine enge Marge unter einer selbstselektierten Web-Umfrage ist Theater, ein schmales Intervall, das genau auf der falschen Zahl sitzt. Kläre also die Grundgesamtheit, prüfe, ob der Rahmen sie erreicht, schreib saubere Fragen, und dimensioniere die Stichprobe erst dann auf die Entscheidung. Rechne einen echten Fall rückwärts von der härtesten Anforderung. Fährst du CX für 40.000 Kunden und willst drei Tarifstufen auf plus minus 4 Punkte vergleichen, setzt die kleinste Zelle die Untergrenze, und diese Zelle, der Designeffekt und deine Abschlussrate bestimmen zusammen, wie viele Einladungen du verschickst. Schreib die Einschränkungen auf, bevor Daten eintreffen, damit eine anständige Zahl nie überverkauft wird.
Häufig gestellte Fragen
Reichen 1.000 Antworten immer aus?
Sie reichen für einen einzelnen Gesamtprozentwert über eine Grundgesamtheit, wo sie eine Marge von fast plus minus 3 Punkten bei 95 Prozent Konfidenz geben. Sie hören auf zu reichen, sobald du die Daten aufteilst: Jedes Segment braucht dann seine eigene Stichprobe, und eine Umfrage mit 1.000 Antworten hält nur ein paar Dutzend Leute in einer kleinen Untergruppe. Dimensioniere den kleinsten Vergleich, der zählt, lass die Gesamtzahl folgen, und behandle jede winzige Zelle nur als Hinweis.
Hängt meine Stichprobengröße davon ab, wie groß meine Grundgesamtheit ist?
Nur wenn die Grundgesamtheit klein und geschlossen ist. Bei einer großen Grundgesamtheit ändert eine Verdopplung die benötigte Zahl kaum; die Formel behandelt sie faktisch als unendlich. Bei einer kleinen, bekannten Gruppe, etwa einer Firma mit 500 Leuten, senkt die Endlichkeitskorrektur das Ziel spürbar, du brauchst also weniger Antworten, als die Grundformel nahelegt.
Kann eine größere Stichprobe eine verzerrte Umfrage geradebiegen?
Nein. Die Stichprobengröße verengt nur den zufälligen Stichprobenfehler, und das ist das teuerste Missverständnis in der Umfragearbeit. Weichen die Leute, die geantwortet haben, systematisch von denen ab, die stumm blieben, misst mehr Antworten diese Schieflage nur genauer. Repariere zuerst den Rahmen und hol die Zögerlichen herein, dimensioniere danach die Stichprobe. Eine präzise Schätzung der falschen Grundgesamtheit ist schlechter als eine ehrliche Lücke im Wissen.
Warum mit einer 50/50-Aufteilung planen, wenn ich ein schiefes Ergebnis erwarte?
Weil du die Stichprobe dimensionierst, bevor du die Antwort kennst, und die Varianz eines Anteils ist bei 50/50 am größten. Mit p = 0,5 zu planen gibt dir die größte Stichprobe, die irgendein einzelner Anteil verlangen kann, du bist also abgesichert, egal was zurückkommt. Weißt du wirklich, dass ein Anteil extrem wird, sagen wir 90/10, kannst du kleiner planen, aber die Ersparnis ist bescheiden.
