Steekproefkwaliteit: wie je enquête invult en wie niet

Je kunt vragen foutloos formuleren, de juiste schalen kiezen en toch data overhouden die de verkeerde mensen beschrijft. Het probleem is niet het formulier. Het is wie het invulde. Elke enquête haalt antwoorden uit een deel van de mensen die je wilt kennen, en het gat tussen dat deel en het geheel is waar de stille vertekening zit. Een schone export van 4.000 responses kan je meer misleiden dan 400, omdat de omvang verbergt dat steeds hetzelfde type persoon antwoordde.

Een hoog aantal responses is geen representatieve steekproef

Het getal dat mensen laat ontspannen is het totaal. "We hebben 4.000 responses." Dat voelt als genoeg. Maar representativiteit heeft niets te maken met hoeveel mensen antwoordden. Het gaat erom of de mensen die antwoordden lijken op de mensen die dat niet deden. Omvang koopt je precisie. Juistheid niet. Zit er scheefheid in de steekproef, dan meten meer responses die scheefheid alleen maar preciezer.

Dit is de meest gemaakte fout bij enquêtes in eigen huis. Je stuurt een tevredenheidsenquête naar je hele lijst, een paar duizend mensen reageren, en je rapporteert het gemiddelde als de stem van de klant. Het is de stem van de klant die je mail opent en zich betrokken genoeg voelt om te klikken. Een echte groep. Niet je klantenbestand.

Responspercentage versus nonresponsvertekening

Het responspercentage is het aandeel van de uitgenodigde mensen dat de enquête afmaakte. Het is de moeite van het volgen waard, maar het bepaalt niet of je data te vertrouwen is. Dat hangt af van nonresponsvertekening: verschillen de mensen die zwegen, op wat je meet, van de mensen die antwoordden?

De twee lopen uiteen. Pew Research Center registreerde dat responspercentages voor telefonische enquêtes daalden van 36% in 1997 naar 9% in 2012, en verder naar 6% in 2018, terwijl het contactpercentage in dezelfde periode zakte van 65% naar 27%. En toch leveren zorgvuldig uitgevoerde, goed gewogen enquêtes met lage respons nog steeds redelijk accurate schattingen op. Een laag responspercentage is een waarschuwingslampje, geen vonnis. Het gevaar is niet dat weinig mensen antwoordden. Het is dat de weinigen die antwoordden systematisch verschillen van de velen die dat niet deden.

Waar je steekproef vandaan komt: het steekproefkader

Voordat iemand kan antwoorden, moet hij bereikbaar zijn. Het steekproefkader is de lijst van mensen die je enquête überhaupt kunnen ontvangen: je maillijst, je actieve gebruikers, het panel dat je kocht, de klanten met een telefoonnummer in je bestand. Elk kader sluit iemand uit, en die uitsluitingen zijn zelden willekeurig.

Is je kader "mensen met een e-mailadres in ons CRM", dan heb je elke klant die via een reseller kocht, op factuur betaalde of zich uitschreef al laten vallen. Is het "gebruikers die de app deze maand openden", dan liet je iedereen vallen die vertrok, precies de groep waar een retentie-enquête van moet horen. Benoem je kader hardop voordat je verstuurt, en schrijf op wie het buitensluit. Die zin is de eerlijke grens van elke uitspraak die je later doet.

Dekkingsfout: wie nooit de kans kreeg om te antwoorden

Een dekkingsfout is het verschil tussen je kader en de populatie waar je echt om geeft. Het zijn de mensen die je enquête nooit kon bereiken, hoe goed het responspercentage ook is. De klassieke versie is "het grote publiek" bevragen via een kanaal dat scheeftrekt. Webpanels ondervertegenwoordigen mensen die ouder zijn, minder online of met een lager inkomen. Een enquête in de app mist iedereen die via de website met je te maken heeft. Een winkelintercept mist iedereen die online koopt.

Een dekkingsfout is gevaarlijk omdat hij vanuit de data zelf onzichtbaar is. Je kunt de mensen die nooit in aanmerking kwamen niet zien, dus vergelijk je kader met wat je al over de populatie weet, en zeg het gewoon wanneer een kanaal een groep die je beweert te beschrijven niet kan bereiken.

Nonresponsvertekening: wie de kans had maar niet nam

Nonresponsvertekening is het bekendere neefje. Deze mensen zaten in je kader en kregen de uitnodiging. Ze antwoordden alleen niet, en hun zwijgen is niet willekeurig. Wie wel reageert is doorgaans tevredener of bozer dan gemiddeld, heeft meer tijd, is comfortabeler in de taal van de enquête en meer betrokken bij het onderwerp.

Een productenquête oversamplet je powerusers en de recent teleurgestelden. Een medewerkersonderzoek oversamplet mensen die zich veilig genoeg voelen om te spreken en mensen met een grief, terwijl het stille, minder betrokken midden niets zegt. De post over responskwaliteit bewaken gaat over slechte antwoorden die wél binnenkomen. Nonrespons gaat over de goede antwoorden die nooit komen, en die zijn lastiger te vangen omdat niets in de export ze markeert.

Gemakssteekproeven en zelfselectie

Een gemakssteekproef is wie makkelijk te bereiken was: een link op je homepage, een poll in je nieuwsbrief, een vraag in een community die je toch al beheert. Zelfselectie is hetzelfde probleem met het volume omhoog, want als deelnemen volledig vrijwillig en zichtbaar is, worden de mensen die meedoen bepaald door hun motivatie om mee te doen. Betrokken genoeg zijn om te klikken hangt samen met precies de meningen die je probeert te meten.

Gemakssteekproeven zijn goed voor het genereren van hypotheses, het testen of een vraag begrepen wordt en het opsporen van gebruiksproblemen. Ze zijn niet goed voor het schatten van een aandeel in een populatie of het vergelijken van twee groepen alsof het verschil oorzakelijk is. De fout is hun getallen behandelen alsof ze uit een kanssteekproef komen. "62% van de respondenten verkiest het nieuwe ontwerp" is een feit over je respondenten. Het wordt een leugen op het moment dat je het woord "respondenten" weglaat en suggereert dat het voor al je gebruikers geldt. Moet je een open link gebruiken, zeg dat dan, want een zelfgeselecteerde steekproef en een getrokken steekproef verdienen heel verschillende niveaus van vertrouwen.

Foutmarge gaat over de steekproef, niet over vertekening

De foutmarge die naast een peiling staat, beschrijft alleen steekproeffout: de variatie die je zou krijgen door verschillende willekeurige steekproeven van dezelfde omvang uit hetzelfde kader te trekken. Hij veronderstelt een kanssteekproef en zegt niets over dekkingsfouten, nonrespons of een slechte vraag.

Een plus of min drie punten onder een zelfgeselecteerde webpoll is dus vrijwel betekenisloos. Het beantwoordt hoeveel het getal zou schommelen als je opnieuw trok, terwijl de echte vraag is of dit überhaupt de juiste mensen zijn. Vermeld een foutmarge alleen wanneer je een kanssteekproef trok. Reken je statistieken over schaalvragen, dan behandelt de gids over schaalvragen ontwerpen de meetkant van hetzelfde probleem.

Weging: een correctie, geen wondermiddel

Weging past je resultaten aan zodat ondervertegenwoordigde groepen zwaarder tellen en oververtegenwoordigde groepen lichter, met bekende populatiecijfers als doel. Is je klantenbestand 55% mobiel maar slechts 40% van je respondenten, dan kun je mobiele responses ophogen om het gat te dichten. Goed gedaan haalt het de vertekening weg op de variabelen waarop je weegt.

De grenzen tellen net zo zwaar als het mechanisme. Weging corrigeert alleen vertekening op kenmerken die je in je steekproef kunt meten en waarvan je de echte verdeling in de populatie kent. Het doet niets tegen vertekening op dingen die je niet mat, en het kan geen respondenten verzinnen uit een groep die nul antwoorden gaf. Weeg een groep die 2% van je steekproef is op naar 20% en een handvol mensen draagt ineens de hele schatting, waardoor de ruis explodeert terwijl de vertekening daalt. Het is een echt gereedschap. Geen witwasstap die een kapotte steekproef schoonpoetst.

Respons ophogen op de eerlijke manier

Nonrespons groeit wanneer de mensen die overslaan verschillen van de mensen die antwoorden, dus het responspercentage optrekken helpt het meest als het de terughoudenden binnenhaalt in plaats van meer van de gretigen. Korte enquêtes worden vaker afgemaakt, dus schrap elke vraag die geen beslissing verandert. Een duidelijke uitnodiging van een herkenbare afzender verslaat een vage, en bezorgbaarheid telt hier: een uitnodiging in de spammap is een nonrespons die je zelf veroorzaakte.

Timing en herinneringen halen mensen terug die wilden antwoorden en het vergaten. Bescheiden, algemene incentives verhogen de respons zonder wie antwoordt sterk scheef te trekken, terwijl onderwerpspecifieke incentives juist de vertekende groep binnenhalen die je probeerde te balanceren. Een toegankelijk formulier telt ook mee. Zoals de gids over toegankelijke enquêtes uitlegt, worden respondenten die het formulier niet met een schermlezer of telefoon kunnen afmaken stille nonresponses die nooit als fout opduiken.

Rapporteren wie je miste

Het geloofwaardigste in een enquêterapport is een heldere beschrijving van de grenzen. Het kost niets en het is het eerste waar een zorgvuldige lezer naar zoekt. Benoem het kader, het responspercentage en de groepen waarvan je weet dat ze ondervertegenwoordigd zijn. Woog je, zeg dan waarop en naar welk doel. Was het een gemaks- of zelfgeselecteerde steekproef, benoem dat en houd oorzakelijke taal eruit.

Dit is geen keelschrapen. Een stakeholder die weet dat de enquête alleen betrokken gebruikers bereikte, leest een tevredenheidsscore van 90% correct, als "betrokken gebruikers zijn tevreden", in plaats van hem op te rekken tot "klanten zijn tevreden". Diezelfde eerlijkheid geldt wanneer je open antwoorden in een AI-workflow stopt. De gids over enquêtes analyseren met AI is de moeite waard om hiernaast te lezen, want een model vat een scheve steekproef vrolijk samen tot zelfverzekerde, verkeerde thema's zonder ooit te melden wie ontbrak.

Een controlelijst vóór verzending

Loop hier doorheen voordat de uitnodiging de deur uit gaat. Benoem de populatie die je wilt beschrijven en het kader dat je werkelijk bemonstert, in één zin elk. Noem de groepen die het kader niet kan bereiken, en beslis of je de uitspraak die je wilt doen nog steeds kunt maken. Bevestig dat je de enquête naar een afgebakende steekproef duwt in plaats van een open link te posten. Controleer of het formulier werkt op een telefoon en met een schermlezer, zodat voltooiing niet stilletjes op apparaat wordt gefilterd. Beslis op welke populatiecijfers je zou kunnen wegen. Schrijf dan nu de beperkingenparagraaf, vóór je de resultaten ziet, zodat hij het ontwerp eerlijk beschrijft in plaats van de getallen te verdedigen die je toevallig kreeg.