Hoeveel respondenten heb je echt nodig? Steekproefgrootte en foutmarge

"Hoeveel mensen hebben we nodig?" Elke enquête begint met die vraag, en de meeste teams beantwoorden hem het slechtst. Het eerlijke antwoord is een korte rekensom, geen rond getal dat iemand zich half herinnert uit een vergadering. Doe je het goed, dan stop je met verzamelen op het moment dat de data precies genoeg is om op te sturen. Doe je het fout, dan stop je te vroeg en lees je ruis als signaal, of je jaagt duizenden extra responses na die het antwoord met een fractie van een punt verschuiven.

Meer responses koopt precisie, niet de waarheid

Steekproefgrootte stuurt precies één ding aan: hoeveel je schatting zou wiebelen als je een andere aselecte steekproef van dezelfde omvang trok. Statistici noemen dat de toevallige steekproeffout. Die krimpt naarmate de steekproef groeit, en verder repareert meer verzamelen niets.

Vertekening blijft onaangeroerd. Antwoorden de verkeerde mensen, dan meet een grotere steekproef die verkeerde mensen alleen preciezer. Neem een tevredenheidsenquête die alleen de dolgelukkigen en de woedenden invullen: die wordt niet beter bij 4.000 responses, hij rapporteert hetzelfde scheve getal met een strakker interval eromheen. De gids over wie je enquête invult en wie niet gaat over de vraag of je de juiste mensen hebt. Lees die eerst, want dit stuk gaat alleen over hoeveel je er nodig hebt.

Wat de foutmarge echt meet

De foutmarge is de halve breedte van het betrouwbaarheidsinterval rond een percentage. Een peiling zegt 52 procent, plus of min 3 punten, bij 95 procent betrouwbaarheid. Dit is wat die zin claimt: herhaal je dezelfde aselecte steekproef vele malen, dan bevat ongeveer 19 op de 20 intervallen, hier 49 tot 55 procent, de echte waarde in de populatie.

Twee waarschuwingen horen erbij. Het zegt niets over de vraag of jouw ene interval de waarheid toevallig vangt; het beschrijft hoe de methode zich over veel steekproeven gedraagt. En het dekt alleen de steekproeffout. Een sturende vraag, een kapot steekproefkader, de mensen die nooit reageerden, niets daarvan zit in het getal. Pew Research Center legt dit uit in zijn werk over de variabiliteit van enquêteschattingen: het cijfer vangt de ruis uit het steekproeftrekken en laat de vertekening uit al het andere met rust. Noem dus alleen een foutmarge als je echt een aselecte steekproef hebt getrokken.

De drie knoppen: betrouwbaarheid, marge en verdeling

Drie invoerwaarden bepalen het getal, en je zet ze alle drie vast voordat er één uitnodiging de deur uit gaat.

Het betrouwbaarheidsniveau is hoe vaak je wilt dat de methode op de lange duur binnen haar interval landt. De standaard is 95 procent, wat de vermenigvuldiger, z, op 1,96 zet. Zak je naar 90 procent, dan daalt z naar 1,645, wat je minder responses kost. Ga je naar 99 procent, dan klimt hij naar 2,576, wat een heleboel meer kost.

De foutmarge is de precisie waarop je kunt handelen. Plus of min 5 punten is prima voor een ruwe indruk, plus of min 2 is duur en voor het meeste interne werk overdreven. Halveer je de marge, dan verviervoudig je ongeveer de steekproef, dus deze knop drijft de kosten harder op dan welke andere ook.

De verdeling is het aandeel dat je verwacht te meten, geschreven als p. De precisie is het slechtst als de meningen gelijk verdeeld zijn, bij p = 0,5, want daar piekt de variantie p(1-p). Je kent het antwoord zelden voordat je vraagt, dus plan op 0,5. Dat geeft je de grootste steekproef die enig percentage kan vragen, dus je bent gedekt wat er ook terugkomt.

De formule, één keer uitgewerkt

Voor een percentage uit een grote populatie is dit de steekproefgrootte die je nodig hebt:

n0 = z^2 * p * (1 - p) / e^2

z = 1,96   (95% betrouwbaarheid)
p = 0,5    (slechtste verdeling)
e = 0,03   (doelmarge, 3 punten)

n0 = 1,96^2 * 0,5 * 0,5 / 0,03^2
   = 3,8416 * 0,25 / 0,0009
   = 1067

Rond altijd naar boven af, nooit naar beneden: een halve persoon bestaat niet en naar beneden afronden breekt de garantie. Draai dezelfde formule bij een paar andere marges:

e = 0,05  ->  n0 = 385
e = 0,03  ->  n0 = 1.068
e = 0,02  ->  n0 = 2.401
e = 0,01  ->  n0 = 9.604

De afnemende meeropbrengst springt eruit. Van plus of min 5 naar plus of min 3 kost ongeveer 680 responses. Van plus of min 3 naar plus of min 1 kost er nog eens 8.500. Voorbij een bepaald punt wordt precisie heel snel heel duur.

Die 1.068 bij plus of min 3 is de reden dat zoveel landelijke peilingen rond de 1.000 respondenten uitkomen, en Pews eigen tabel zet hem op 1.067 gevallen. Niets mystieks aan: het is waar de precisie goed genoeg wordt voor de meeste beslissingen en de volgende stap meer kost dan hij oplevert. Dus 1.000 is een prima standaard voor één cijfer over één populatie, en niemands universele antwoord: ga groepen vergelijken of trek de marge strakker, en het juiste getal verschuift.

Het betrouwbaarheidsniveau kost meer dan je denkt

De betrouwbaarheidsknop hoger zetten heeft een prijs. Houd de marge op plus of min 3 punten en de verdeling op 0,5, en kijk hoe de steekproef klimt:

90% betrouwbaarheid (z = 1,645)  ->  n0 = 752
95% betrouwbaarheid (z = 1,960)  ->  n0 = 1.068
99% betrouwbaarheid (z = 2,576)  ->  n0 = 1.844

Van 95 naar 99 procent verdubbelt je kosten bijna, voor een garantie die een product- of CX-beslissing zelden nodig heeft. Voor het meeste interne werk is 95 procent de juiste stand, en 90 procent is te verdedigen als de inzet laag is en je alleen richting wilt. Bewaar 99 procent voor waar ernaast zitten echt kostbaar is.

Kleine populaties: de correctie die responses bespaart

Alle getallen hierboven gaan ervan uit dat de populatie in feite oneindig is. Als hij klein en bekend is en je elk lid kunt bereiken, heb je minder responses nodig dan de basisformule suggereert, want elke response vertelt je verhoudingsgewijs meer over een kleine groep dan over een grote. De eindige-populatiecorrectie regelt dat.

n = n0 / (1 + (n0 - 1) / N)

Doel: plus of min 5 punten, dus n0 = 385

Populatie N = 2.000  ->  n = 385 / (1 + 384/2000)  = 324
Populatie N = 500    ->  n = 385 / (1 + 384/500)   = 218

Dit komt voortdurend voor in de enquêtes die teams echt draaien. Een medewerkersonderzoek bij een bedrijf van 500 mensen heeft geen 385 responses nodig voor een marge van plus of min 5. Het heeft er ongeveer 218 nodig. Pas de correctie toe en een doel dat onhaalbaar leek, komt terug binnen bereik. Sla je hem over, dan zet je een doel dat je niet kunt halen en lees je het tekort als mislukking.

De subgroepval

Hier vallen de meeste steekproefplannen stilletjes uit elkaar. De foutmarge die je berekende, hoort bij de groep waarvan je de responses telt. Splits je het totaal in segmenten, dan draagt elk segment zijn eigen marge, breder, gedreven door zijn eigen kleinere aantal.

Stel je een enquête voor met 1.000 responses en een nette kop van plus of min 3. De regio die je het liefst wilt vergelijken bevat 40 mensen, en 40 responses dragen een marge van bijna plus of min 15 punten, dus elk verschil dat je tussen twee zulke segmenten ziet is vooral ruis. Bepaal welke vergelijkingen ertoe doen voordat je verstuurt, dimensioneer de kleinste cel op een marge waarop je kunt handelen, en laat het totaal daaruit volgen. Eerst het totaal dimensioneren en later snijden is de meest voorkomende manier waarop een goed opgezette enquête zijn eigen vraag niet kan beantwoorden.

Wegen en clustering: het designeffect

De schone formule gaat uit van een aselecte steekproef waarin elke response even zwaar telt. Echte steekproeven doen dat zelden. Het gat heeft een naam, het designeffect, geschreven als deff: de factor waarmee je variantie groter is dan die van een aselecte steekproef van dezelfde omvang. Hij blaast het aantal responses op dat je moet verzamelen.

Wegen is meestal de oorzaak. Weeg je responses om een scheve steekproef recht te trekken, dan verhoog je de variantie van je schattingen, want meer van de correctie leunt op minder mensen. Pew merkt op dat steeds meer weegvariabelen de foutmarge doorgaans verbreden. Een designeffect van 1,5 betekent 50 procent meer voltooide responses om de precisie te halen die de simpele formule beloofde. Weet je al dat je zwaar gaat wegen, plan dan voor een deff tussen 1,3 en 2,0 en vermenigvuldig je doel ermee. De gids over enquêtedata wegen behandelt wanneer die correctie zijn geld waard is.

Van completes naar uitnodigingen: reken terug

Het getal dat je berekende zijn voltooide responses, geen verstuurde uitnodigingen. Om het te halen deel je door het tempo waarin uitnodigingen completes worden, en dat tempo is vaak keihard laag.

benodigde completes = 1.068
verwacht voltooiingspercentage = 8%

te versturen uitnodigingen = 1.068 / 0,08 = 13.350

Is je lijst kleiner dan dat? Dan heb je drie hendels. Accepteer een bredere marge. Pas de eindige-populatiecorrectie toe, als de populatie echt gesloten is. Of til het voltooiingspercentage op, de eerlijke hendel. Een kortere enquête wordt vaker afgemaakt, zoals de gids over enquêtelengte en uitval uitlegt, en de uitnodiging moet eerst überhaupt in de inbox komen, wat de gids over enquête-uitnodigingen bezorgen doorneemt. Een uitnodiging in de spamfolder is een non-respons die je zelf veroorzaakt, en die telt volledig mee in deze rekensom.

Een getal schatten is iets anders dan een verschil aantonen

Een steekproef dimensioneren om één percentage te schatten is de makkelijke variant. Er een dimensioneren om een verschil tussen twee groepen aan te tonen is een ander beest, en de twee door elkaar halen verbrandt voortdurend veldbudgetten.

Stel dat je zeker wilt weten dat 55 procent echt afwijkt van 50 procent, een gat van vijf punten. Dat kost ruwweg 1.500 voltooide responses in elke groep, geen 1.000 over de hele enquête. Kleinere verschillen kosten veel meer, een gat van twee punten loopt op tot in de duizenden per groep. Bepaal dus vooraf het kleinste verschil dat echt zou veranderen wat je doet, het minimaal detecteerbare effect. Als een verschuiving van drie punten geen enkele beslissing verandert, betaal dan niet om het zo fijn te meten. Het is de reden dat onderbemeten trackers elk kwartaal geen significante verandering rapporteren: ze waren nooit gedimensioneerd om er een te vangen die telt.

Zet het getal op het eind

Nog één waarschuwing om mee af te sluiten. Steekproefgrootte koopt precisie tegen de toevallige steekproeffout en verder niets. Een strakke marge onder een zelfselecterende webpoll is theater, een smal interval dat pal op het verkeerde getal zit. Bepaal dus de populatie, controleer of het kader haar bereikt, schrijf schone vragen, en dimensioneer de steekproef pas daarna op de beslissing. Werk een echt geval terug vanaf de zwaarste eis. Run je CX voor 40.000 klanten en vergelijk je drie pakketniveaus op plus of min 4 punten, dan zet de kleinste cel de ondergrens en bepalen die cel, het designeffect en je voltooiingspercentage samen hoeveel uitnodigingen je verstuurt. Schrijf de beperkingenparagraaf voordat er data binnen is, zodat een prima getal nooit wordt oververkocht.