Enquêtedata wegen: corrigeren voor wie er echt antwoordde

Je hebt duizend responses binnen en de mix klopt niet. Twee derde is vrouw, de min-30-jarigen kwamen amper opdagen, en één regio antwoordde twee keer zo vaak als de rest. De data is echt, maar hij lijkt niet op de populatie die je wilde beschrijven. Wegen is de stap waarin je die scheefheid achteraf rechttrekt, door sommige responses zwaarder te laten meetellen dan andere. Goed gedaan trek je een scheve steekproef terug richting de waarheid. Slordig gedaan geeft het je vals vertrouwen in cijfers die wankeler zijn dan ze lijken.

Wegen doe je nadat de steekproef misging

Wegen is geen eerste zet. Het is een reparatie. Hoe eerder je de juiste mensen in je steekproef krijgt, hoe minder je erop hoeft te leunen, en dat is precies het verhaal van steekproefkwaliteit: wie je enquête invult en wie niet. Maar een perfect gebalanceerde steekproef krijg je bijna nooit, want sommige groepen antwoorden nu eenmaal makkelijker dan andere. Wegen bestaat voor dat gat tussen de steekproef die je wilde en die je kreeg.

Het idee is simpel, ook al zijn de mechanismen dat niet. Is een groep ondervertegenwoordigd onder je respondenten, dan laat je elk van hun antwoorden voor meer mensen staan. Is een groep oververtegenwoordigd, dan draai je elk antwoord terug. De gewogen totalen weerspiegelen dan hoe de populatie is opgebouwd, en niet hoe je respondenten toevallig uitpakten.

Wat een gewicht eigenlijk is

Een gewicht is een vermenigvuldiger op elke response die zegt voor hoeveel mensen in de populatie die ene respondent staat. In een ongewogen enquête heeft elke response een gewicht van één en telt iedereen even zwaar. Wegen breekt die gelijkheid met opzet. Een respondent uit een ondervertegenwoordigde groep krijgt misschien een gewicht van 1,8, en iemand uit een oververtegenwoordigde groep een gewicht van 0,6.

De concrete versie. Stel dat 18- tot 29-jarigen 20% van je populatie zijn, maar slechts 10% van je steekproef. Om dat te herstellen geef je elke jonge respondent een gewicht van ongeveer twee, zodat ze als blok het aandeel van 20% dragen dat ze zouden moeten hebben. Elk gemiddelde, percentage en kruistabel die je daarna berekent gebruikt die gewichten, dus de jonge respondenten trekken twee keer hun aantal.

Ontwerpgewichten versus correctiegewichten

Twee verschillende redenen kunnen een response een ander gewicht geven, en het helpt om ze uit elkaar te houden. Ontwerpgewichten komen uit de steekproeftrekking zelf. Heb je bewust een kleine groep oversampled zodat je er genoeg van had om te analyseren, dan wist je dat hun selectiekans hoger lag, en het ontwerpgewicht is gewoon het omgekeerde van die kans.

Correctiegewichten zijn de achteraf-variant, en dat is wat de meeste teams bedoelen met wegen. De scheefheid heb je niet gepland. Nonrespons duwde hem naar binnen. Dus je duwt de steekproef bij naar bekende populatiecijfers voor leeftijd, geslacht, regio, opleiding, waar je maar goede referenties voor hebt. Ontwerpgewichten corrigeren voor hoe je trok. Correctiegewichten corrigeren voor wie de moeite nam te antwoorden. Een serieuze analyse gebruikt vaak allebei.

Poststratificatie: de simpelste correctie

Poststratificatie is de meest intuïtieve correctie. Je verdeelt de populatie in strata, cellen zoals "vrouwen, 30-44, noord", bepaalt welk aandeel elke cel hoort te hebben, en herweegt je respondenten zodat elke cel zijn doelaandeel haalt. Klopt je data met de populatie op de variabelen die je uitkomst sturen, dan haal je hiermee alleen al veel vertekening weg.

De zwakte is het cellenrooster. Poststratificatie heeft de volledige gezamenlijke verdeling nodig, dus je moet het populatieaandeel weten van elke combinatie van elke variabele tegelijk. Kruis drie of vier variabelen en je krijgt tientallen cellen, sommige met een handvol respondenten of helemaal geen. Een lege cel kun je niet wegen, en een cel met twee mensen geeft die twee enorme, sprongerige gewichten. Zo blijft het schoon op één of twee variabelen en valt het uiteen zodra je er veel wilt.

Raking als je niet elke cel kunt vullen

Raking is de omweg, en het is de methode die de meeste grote enquêtes echt draaien. In plaats van de volledige gezamenlijke verdeling heeft het alleen de marges nodig: de algemene leeftijdsverdeling, de algemene geslachtsverdeling, de algemene regioverdeling, elk apart. Het past de gewichten aan tot één marge klopt, dan de volgende, dan de volgende, en loopt terug tot alle marges tegelijk kloppen. De vakterm is iteratieve proportionele aanpassing.

Het methodenteam van het Pew Research Center noemt raking, in een studie uit januari 2018 van Andrew Mercer, Arnold Lau en Courtney Kennedy, de meest gebruikte aanpak juist omdat het zo weinig van je vraagt. Je brengt marginale verhoudingen per variabele mee, die je meestal wel hebt, in plaats van een volledige kruistabel, die je meestal niet hebt. De prijs is dat raking elke marge matcht zonder te garanderen dat een bepaalde gezamenlijke cel klopt.

Raking, in één lus:
  begin elk gewicht op 1
  herhaal tot het stabiel is:
    schaal de gewichten zodat de LEEFTIJD-totalen kloppen met de populatie
    schaal de gewichten zodat de GESLACHT-totalen kloppen met de populatie
    schaal de gewichten zodat de REGIO-totalen kloppen met de populatie
  (elke ronde duwt de andere; na een paar rondes zakken ze allemaal in)

Waar je populatiecijfers vandaan komen

Wegen is nooit beter dan de doelcijfers waarnaar je weegt, en elke methode hierboven neemt aan dat je de echte populatieaandelen kent. Haal die uit een gezaghebbende bron, een nationale volkstelling of officiële statistiek of een goed opgezette referentie-enquête, en nooit uit een gok of de marketingslides van een concurrent. Zijn je doelcijfers verouderd of fout, dan repareert wegen je data niet. Het trekt hem met vertrouwen naar het verkeerde antwoord.

Dit bepaalt ook op welke variabelen je überhaupt kunt wegen. Je kunt alleen voor een variabele corrigeren als je hem én in je enquête hebt gemeten én er een betrouwbaar populatiecijfer voor hebt. Daarom zijn leeftijd, geslacht, regio en opleiding de vaste verdachten. Is wat je steekproef scheeftrekt iets waar je geen populatiecijfer voor hebt, dan kun je er niet op wegen.

De vertekening waar wegen niet bij kan

Wegen corrigeert de variabelen waarop je weegt en alleen die. Verschillen de mensen die je enquête negeerden van de mensen die antwoordden op een manier die je weegvariabelen niet vangen, dan laat wegen die vertekening volledig staan. De leeftijds- en geslachtsverdeling matchen doet niets aan het feit dat, zeg, tevreden klanten antwoordden en boze klanten de mail wisten.

De Pew-studie maakt dat concreet. Wegen op demografie alleen verminderde de vertekening maar licht, en de echte winst kwam van variabelen die dichter bij het onderwerp van de enquête lagen. Wegen vervangt dus niet het bereiken van de juiste mensen, een punt dat teruggrijpt op zo komt je enquête-uitnodiging in de inbox en op de steekproef zelf. Zit nonrespons verweven met je eigenlijke onderwerp, dan redt geen enkele herweging op demografie je.

De prijs van wegen: variantie en effectieve steekproefomvang

Wegen kost precisie. Dragen responses ongelijke gewichten, dan schommelen je schattingen meer dan de ruwe steekproefomvang doet vermoeden, want een paar zwaar gewogen respondenten sturen nu de uitkomst. Statistici meten dat met het design effect, de factor waarmee wegen de variantie van je schattingen opblaast. Een design effect van 1,5 betekent dat je gewogen steekproef zo precies is als een aselecte steekproef die anderhalf keer kleiner is.

Die krimp heeft een naam: de effectieve steekproefomvang, en die is altijd kleiner dan je echte aantal.

effectieve steekproefomvang  n_eff = (som van de gewichten)^2 / (som van de kwadraten van de gewichten)

Verzamel 1.000 responses en weeg ze stevig, en je effectieve steekproefomvang is misschien 650. Je foutmarges bereken je uit die 650, niet uit de 1.000 op de doos. Rapporteer de 1.000 alsof hij schoon is en je overdrijft je eigen precisie.

Extreme gewichten afkappen

Het middel tegen op hol geslagen variantie is afkappen. Eén respondent uit een piepkleine, ondervertegenwoordigde cel kan eindigen met een gewicht van 15, dus die ene persoon spreekt voor vijftien. Antwoordde die vreemd, dan trekt hij de hele schatting mee. Afkappen zet een plafond op de gewichten. Trek alles boven, zeg, 5 terug naar 5, en geen enkele response kan de boel domineren.

Afkappen is een bewuste ruil. Een gewicht afkappen betekent dat die cel zijn populatiecijfer niet meer perfect matcht, dus je accepteert een sliertje vertekening om een brok stabiliteit terug te kopen. Dat is vaak de juiste keuze: een schatting die iets scheef maar stabiel is verslaat er een die wild uitslaat op één respondent. Bepaal het plafond voordat je naar de resultaten kijkt, zodat de keuze een regel is en geen zetje richting het antwoord dat je hoopte.

Opt-in- en online-steekproeven wegen

Opt-in- en onlinepanels zijn lastiger dan een kanssteekproef die enkel scheef terugkwam, want de mensen die zich aanmeldden werden nooit aselect gekozen, dus de scheefheid kan dieper zitten dan demografie. De Pew-studie testte hier twee zwaardere gereedschappen voor. Propensity-weging modelleert per respondent de kans om in de steekproef te zitten versus in de populatie en weegt daarop, houdt elke case, maar riskeert wilde, sterk variërende gewichten. Matching koppelt elke respondent aan een vergelijkbaar iemand uit een referentiesteekproef en gooit de ongematchte weg, wat je bruikbare data verkleint.

Geen van beide is magie, en de eerlijke lezing van dat onderzoek is dat de methode minder uitmaakt dan de variabelen. Correctievariabelen toevoegen die echt met de uitkomst samenhangen hielp veel meer dan welk slim algoritme op demografie alleen. Werk je met opt-in-steekproeven, steek je moeite dan in het vinden en meten van variabelen die voorspellen wat je belangrijk vindt, en weeg daarop.

Wegen zonder jezelf voor de gek te houden

Behandel wegen als een gedocumenteerde beslissing, geen knop die je aan het eind omzet. Schrijf de variabelen op, de populatiecijfers en hun bron, de methode en elke afkapregel, allemaal voordat je ziet hoe de gewichten je kerncijfer verschuiven. Rapporteer daarna zowel het gewogen als het ongewogen resultaat. Komen ze overeen, dan was wegen een lichte aanraking. Lopen ze sterk uiteen, dan is dat gat zelf een bevinding: je steekproef was flink scheef op iets wat ertoe doet, en lezers verdienen te weten hoeveel van je conclusie op de gewichten rust.

Wegen staat naast het eruit filteren van slechte responses, behandeld in slechte enquête-antwoorden herkennen, en het past bij het oordeel dat je al toepast op open antwoorden analyseren. Verken je je data in gewone taal via je enquêtes analyseren met AI, op de veilige manier, zorg dan dat de gewichten meereizen, zodat een AI-samenvatting de populatie weerspiegelt en niet je ruwe respondentenpool.