Umfragedaten gewichten: korrigieren, wer wirklich geantwortet hat
Viele Antworten bedeuten noch nicht die richtige Mischung an Menschen. Mit Gewichtung korrigierst du diese Schieflage im Nachhinein. So funktionieren Poststratifizierung und Raking, was sie an Präzision kosten, und welche Verzerrung sie nicht beheben.
Von SurveyLane · Das Team hinter SurveyLane
Du hast tausend Antworten gesammelt, und die Mischung stimmt nicht. Zwei Drittel sind Frauen, die unter 30 sind kaum aufgetaucht, und eine Region hat doppelt so oft geantwortet wie der Rest. Die Daten sind echt, aber sie sehen nicht aus wie die Population, die du beschreiben wolltest. Gewichtung ist der Schritt, in dem du diese Schieflage nachträglich geradeziehst, indem manche Antworten stärker zählen als andere. Gut gemacht, zieht sie eine schiefe Stichprobe zurück in Richtung Wahrheit. Schlampig gemacht, gibt sie dir falsches Vertrauen in Zahlen, die wackliger sind, als sie aussehen.
Gewichtung kommt, nachdem die Stichprobe schiefging
Gewichtung ist kein erster Zug. Sie ist eine Reparatur. Je früher du die richtigen Leute in deine Stichprobe bekommst, desto weniger musst du dich auf sie stützen, und genau darum geht es in Stichprobenqualität: wer deine Umfrage ausfüllt und wer nicht. Aber eine perfekt ausgewogene Stichprobe bekommst du fast nie, weil manche Gruppen nun einmal bereitwilliger antworten als andere. Gewichtung gibt es für diese Lücke zwischen der Stichprobe, die du wolltest, und der, die du bekommen hast.
Die Idee ist einfach, auch wenn die Mechanik es nicht ist. Ist eine Gruppe unter deinen Befragten unterrepräsentiert, lässt du jede ihrer Antworten für mehr Menschen stehen. Ist eine Gruppe überrepräsentiert, drehst du jede Antwort herunter. Die gewichteten Summen spiegeln dann, wie die Population aufgebaut ist, und nicht, wie deine Befragten zufällig ausfielen.
Was ein Gewicht eigentlich ist
Ein Gewicht ist ein Multiplikator auf jede Antwort, der sagt, für wie viele Menschen in der Population dieser eine Befragte steht. In einer ungewichteten Umfrage hat jede Antwort ein Gewicht von eins, und alle zählen gleich. Gewichtung bricht diese Gleichheit mit Absicht. Ein Befragter aus einer unterrepräsentierten Gruppe bekommt vielleicht ein Gewicht von 1,8, und jemand aus einer überrepräsentierten Gruppe eines von 0,6.
Die konkrete Version. Angenommen, die 18- bis 29-Jährigen sind 20% deiner Population, aber nur 10% deiner Stichprobe. Um das zu beheben, gibst du jedem jungen Befragten ein Gewicht von etwa zwei, damit sie als Block den Anteil von 20% tragen, den sie haben sollten. Jeder Mittelwert, Prozentsatz und jede Kreuztabelle, die du danach berechnest, nutzt diese Gewichte, also ziehen die jungen Befragten das Doppelte ihrer Kopfzahl.
Designgewichte gegenüber Anpassungsgewichten
Zwei verschiedene Gründe können einer Antwort ein anderes Gewicht geben, und es hilft, sie auseinanderzuhalten. Designgewichte kommen aus der Ziehung selbst. Hast du eine kleine Gruppe bewusst überproportional gezogen, damit du genug davon zum Analysieren hast, wusstest du, dass ihre Auswahlwahrscheinlichkeit höher war, und das Designgewicht ist einfach der Kehrwert dieser Wahrscheinlichkeit.
Anpassungsgewichte sind die nachträgliche Sorte, und das meinen die meisten Teams, wenn sie Gewichtung sagen. Die Schieflage hast du nicht geplant. Nonresponse hat sie dir hereingeschoben. Also schiebst du die Stichprobe an bekannte Populationswerte für Alter, Geschlecht, Region, Bildung heran, wofür du eben gute Referenzen hast. Designgewichte korrigieren, wie du gezogen hast. Anpassungsgewichte korrigieren, wer sich die Mühe gemacht hat zu antworten. Eine ernsthafte Analyse nutzt oft beide.
Poststratifizierung: die einfachste Korrektur
Poststratifizierung ist die anschaulichste Korrektur. Du teilst die Population in Schichten, Zellen wie "Frauen, 30-44, Nord", ermittelst, welchen Anteil jede Zelle haben soll, und gewichtest deine Befragten so um, dass jede Zelle ihren Zielanteil trifft. Passen deine Daten zur Population bei den Variablen, die dein Ergebnis treiben, entfernt das allein schon viel Verzerrung.
Die Schwäche ist das Zellenraster. Poststratifizierung braucht die volle gemeinsame Verteilung, du musst also den Populationsanteil jeder Kombination jeder Variable auf einmal kennen. Kreuze drei oder vier Variablen, und du bekommst Dutzende Zellen, manche mit einer Handvoll Befragten oder gar keinem. Eine leere Zelle kannst du nicht gewichten, und eine Zelle mit zwei Personen gibt diesen zweien riesige, sprunghafte Gewichte. So bleibt es sauber bei einer oder zwei Variablen und fällt auseinander, sobald du viele willst.
Raking, wenn du nicht jede Zelle füllen kannst
Raking ist der Umweg, und es ist die Methode, die die meisten großen Umfragen tatsächlich fahren. Statt der vollen gemeinsamen Verteilung braucht es nur die Ränder: die gesamte Altersverteilung, die gesamte Geschlechterverteilung, die gesamte Regionsverteilung, jede für sich. Es passt die Gewichte an, bis ein Rand stimmt, dann der nächste, dann der nächste, und läuft zurück, bis alle Ränder auf einmal stimmen. Der Fachbegriff ist iterative proportionale Anpassung.
Das Methodenteam des Pew Research Center nennt Raking, in einer Studie vom Januar 2018 von Andrew Mercer, Arnold Lau und Courtney Kennedy, den gängigsten Ansatz gerade weil es so wenig von dir verlangt. Du bringst Randanteile je Variable mit, die du meist bekommst, statt einer vollen Kreuztabelle, die du meist nicht bekommst. Der Preis ist, dass Raking jeden Rand trifft, ohne zu garantieren, dass eine bestimmte gemeinsame Zelle stimmt.
Raking, in einer Schleife:
setze jedes Gewicht auf 1
wiederhole, bis es stabil ist:
skaliere die Gewichte, bis die ALTER-Summen zur Population passen
skaliere die Gewichte, bis die GESCHLECHT-Summen zur Population passen
skaliere die Gewichte, bis die REGION-Summen zur Population passen
(jeder Durchlauf stößt die anderen an; nach ein paar Durchläufen setzen sie sich)
Woher deine Populationswerte kommen
Gewichtung ist nie besser als die Zielwerte, auf die du gewichtest, und jede Methode oben nimmt an, dass du die echten Populationsanteile kennst. Hol sie aus einer verlässlichen Quelle, einem nationalen Zensus oder amtlicher Statistik oder einer gut gemachten Referenzumfrage, und nie aus einer Schätzung oder den Marketingfolien eines Wettbewerbers. Sind deine Zielwerte veraltet oder falsch, repariert Gewichtung deine Daten nicht. Sie zieht sie mit Überzeugung zur falschen Antwort.
Das entscheidet auch, auf welche Variablen du überhaupt gewichten kannst. Du kannst nur für eine Variable korrigieren, wenn du sie in deiner Umfrage gemessen hast und einen verlässlichen Populationswert dafür hast. Deshalb sind Alter, Geschlecht, Region und Bildung die üblichen Verdächtigen. Ist das, was deine Stichprobe verzerrt, etwas, wofür du keinen Populationswert hast, kannst du nicht darauf gewichten.
Die Verzerrung, an die Gewichtung nicht herankommt
Gewichtung korrigiert die Variablen, auf die du gewichtest, und nur diese. Unterscheiden sich die Menschen, die deine Umfrage ignoriert haben, von denen, die geantwortet haben, auf eine Weise, die deine Gewichtungsvariablen nicht erfassen, lässt Gewichtung diese Verzerrung völlig stehen. Die Alters- und Geschlechterverteilung zu treffen ändert nichts daran, dass etwa zufriedene Kunden geantwortet und verärgerte die Mail gelöscht haben.
Die Pew-Studie macht das konkret. Gewichtung nur auf Demografie verringerte die Verzerrung nur leicht, und der echte Gewinn kam von Variablen, die näher an dem lagen, was die Umfrage maß. Gewichtung ersetzt also nicht, die richtigen Leute zu erreichen, ein Punkt, der auf so landet deine Umfrage-Einladung im Posteingang und auf die Stichprobe selbst zurückgeht. Ist Nonresponse mit deinem eigentlichen Thema verwoben, rettet dich keine Neugewichtung auf Demografie.
Der Preis der Gewichtung: Varianz und effektive Stichprobengröße
Gewichtung kostet Präzision. Tragen Antworten ungleiche Gewichte, schwanken deine Schätzungen mehr, als die rohe Stichprobengröße vermuten lässt, denn ein paar schwer gewichtete Befragte steuern jetzt das Ergebnis. Statistiker messen das mit dem Design-Effekt, dem Faktor, um den Gewichtung die Varianz deiner Schätzungen aufbläht. Ein Design-Effekt von 1,5 heißt, deine gewichtete Stichprobe ist so präzise wie eine reine Zufallsstichprobe, die anderthalbmal kleiner ist.
Dieser Schwund hat einen Namen: die effektive Stichprobengröße, und die ist immer kleiner als deine echte Anzahl.
effektive Stichprobengröße n_eff = (Summe der Gewichte)^2 / (Summe der quadrierten Gewichte)
Sammle 1.000 Antworten und gewichte sie kräftig, und deine effektive Stichprobengröße liegt vielleicht bei 650. Deine Fehlermargen berechnest du aus diesen 650, nicht aus den 1.000 auf der Schachtel. Meldest du die 1.000, als wären sie sauber, überzeichnest du deine eigene Präzision.
Extreme Gewichte kappen
Das Mittel gegen ausufernde Varianz ist das Kappen. Ein einzelner Befragter aus einer winzigen, unterrepräsentierten Zelle kann bei einem Gewicht von 15 landen, also spricht diese eine Person für fünfzehn. Hat sie seltsam geantwortet, reißt sie die ganze Schätzung mit. Kappen setzt den Gewichten eine Obergrenze. Zieh alles über, sagen wir, 5 zurück auf 5, und keine einzelne Antwort kann das Ganze dominieren.
Kappen ist ein bewusster Tausch. Ein Gewicht zu kappen heißt, dass diese Zelle ihren Populationswert nicht mehr perfekt trifft, du nimmst also eine Spur Verzerrung in Kauf, um ein Stück Stabilität zurückzukaufen. Das ist oft die richtige Wahl: eine Schätzung, die leicht daneben, aber stabil ist, schlägt eine, die bei einem einzigen Befragten wild ausschlägt. Lege die Obergrenze fest, bevor du auf die Ergebnisse siehst, damit die Wahl eine Regel ist und kein Schubs zur erhofften Antwort.
Opt-in- und Online-Stichproben gewichten
Opt-in- und Online-Panels sind schwerer als eine Wahrscheinlichkeitsstichprobe, die nur schief zurückkam, denn die Leute, die sich angemeldet haben, wurden nie zufällig ausgewählt, also kann die Schieflage tiefer sitzen als Demografie. Die Pew-Studie testete dafür zwei schwerere Werkzeuge. Propensity-Gewichtung modelliert je Befragtem die Wahrscheinlichkeit, in der Stichprobe statt in der Population zu sein, und gewichtet darauf, behält jeden Fall, riskiert aber wilde, stark schwankende Gewichte. Matching paart jeden Befragten mit einer ähnlichen Person aus einer Referenzstichprobe und wirft die ohne Partner weg, was deine nutzbaren Daten schrumpfen lässt.
Keines ist Zauberei, und die ehrliche Lesart dieser Forschung ist, dass die Methode weniger zählt als die Variablen. Anpassungsvariablen hinzuzufügen, die wirklich mit dem Ergebnis zusammenhängen, half weit mehr als jeder clevere Algorithmus auf Demografie allein. Arbeitest du mit Opt-in-Stichproben, steck deine Mühe ins Finden und Messen von Variablen, die vorhersagen, was dir wichtig ist, und gewichte darauf.
Gewichten, ohne sich selbst zu täuschen
Behandle Gewichtung als dokumentierte Entscheidung, nicht als Schalter, den du am Ende umlegst. Schreib die Variablen auf, die Populationswerte und ihre Quelle, die Methode und jede Kappregel, alles bevor du siehst, wie die Gewichte deine Kernzahl verschieben. Melde danach sowohl das gewichtete als auch das ungewichtete Ergebnis. Stimmen sie überein, war Gewichtung eine leichte Berührung. Klaffen sie stark auseinander, ist diese Lücke selbst ein Befund: deine Stichprobe war bei etwas Wichtigem stark schief, und Leser verdienen zu wissen, wie viel deiner Schlussfolgerung auf den Gewichten ruht.
Gewichtung steht neben dem Aussieben schlechter Antworten, behandelt in schlechte Umfrageantworten erkennen, und sie passt zum Urteil, das du schon auf offene Antworten analysieren anwendest. Erkundest du deine Daten in normaler Sprache über deine Umfragen mit KI analysieren, auf die sichere Art, sorge dafür, dass die Gewichte mitreisen, damit eine KI-Zusammenfassung die Population widerspiegelt und nicht deinen rohen Befragtenpool.
Häufig gestellte Fragen
Wann sollte ich meine Umfragedaten gewichten?
Gewichte, wenn deine Befragten sich bei Variablen, die deine Schlüsse berühren, von der Population unterscheiden und du verlässliche Populationswerte für diese Variablen hast. Passt deine Stichprobe schon eng zur Population, verschiebt Gewichtung deine Zahlen kaum und fügt vor allem Varianz hinzu, also lohnt es sich nicht. Je stärker die Schieflage bei etwas, das dein Ergebnis treibt, desto mehr verdient Gewichtung ihren Platz. Eine große Lücke zwischen gewichtetem und ungewichtetem Ergebnis zeigt dir zudem, wie viel die Schieflage ausmachte.
Was ist der Unterschied zwischen Poststratifizierung und Raking?
Poststratifizierung braucht die volle gemeinsame Verteilung deiner Gewichtungsvariablen, also den Populationsanteil jeder Kombination von Kategorien, und gewichtet jede dieser Zellen auf ihr Ziel um. Raking braucht nur die einzelnen Ränder, die gesamte Verteilung je Variable für sich, und läuft durch sie, bis sie alle auf einmal stimmen. Nutze Poststratifizierung, wenn du auf ein oder zwei Variablen gewichtest und volle Zelldaten hast. Nutze Raking, wenn du mehrere Variablen hast und nur ihre einzelnen Verteilungen bekommst.
Kann Gewichtung eine verzerrte Stichprobe reparieren?
Nur teilweise, und nur bei den Variablen, auf die du gewichtest. Gewichtung balanciert die Merkmale neu, die du gemessen hast und für die du Zielwerte hast, etwa Alter oder Region, aber sie tut nichts gegen Unterschiede, die sie nicht sieht. Unterscheiden sich die Menschen, die deine Umfrage übersprungen haben, von denen, die geantwortet haben, auf eine Weise, die nichts mit deinen Gewichtungsvariablen zu tun hat, überlebt diese Verzerrung die Gewichtung vollständig. Gewichtung ist eine Korrektur für Schieflage, kein Ersatz dafür, die richtigen Leute zu erreichen.
Warum verkleinert Gewichtung meine effektive Stichprobengröße?
Ungleiche Gewichte lassen deine Schätzungen stärker auf ein paar Befragte lehnen, was ihre Varianz erhöht. Die effektive Stichprobengröße ist die Größe, die eine reine Zufallsstichprobe hätte haben müssen, um gleich präzise zu sein, und sie ist immer kleiner als deine rohe Anzahl, sobald Gewichte schwanken. Tausend Antworten mit schweren Gewichten verhalten sich vielleicht wie sechs- oder siebenhundert, also berechne deine Fehlermargen aus der effektiven Größe und nicht aus der Kopfzahl.
