Enquêteresultaten rapporteren zonder de lezer op het verkeerde been te zetten
De meeste enquêterapporten krijgen twee minuten van iemand die daarna een besluit neemt. Zo laat je basis, onzekerheid, verdelingen en open antwoorden zien, zodat dat besluit rust op wat je data echt zegt.
Door SurveyLane · Het team achter SurveyLane
Een zorgvuldige enquête kan nog steeds eindigen in een verkeerd besluit, en meestal gaat het in de laatste stap mis. Een manager leest één slide, ziet "62% wil functie X" en niemand vraagt: 62% van wie? Behandel je rapport als een vragenlijst voor de lezer. Elke grafiek stelt een vraag, en een dubbelzinnige grafiek wordt beantwoord met wat de lezer al dacht. Daarom gelden de regels uit betere enquêtevragen schrijven hier net zo goed.
Begin bij het besluit dat ervan afhangt
De meeste rapporten volgen de vragenlijst: vraag 1 met grafiek, dan vraag 2, tot het einde. Die volgorde was handig voor de respondent. De lezer wil weten wat hij moet doen.
Begin bij het besluit waarvoor de enquête bedoeld was en zet de twee of drie bevindingen die daarover gaan op de eerste pagina. "Gaan we onboarding naar selfservice verplaatsen?" is een besluit. Wat daarvoor telt: hoe nieuwe klanten de huidige onboarding beoordelen, waar ze vastliepen, en of de mensen die worstelden precies de klanten zijn die je zou kwijtraken. De rest gaat naar een bijlage.
Schrijf de kop van elke bevinding als een zin met een getal erin. "Onboarding" zegt de lezer niets. "Vier op de tien nieuwe klanten hadden hulp nodig om de installatie af te ronden" geeft hem iets om te controleren en over te discussiëren. Het dwingt jou ook om eerst te bepalen wat de grafiek laat zien.
Elk percentage heeft een basis nodig
"62% vindt de nieuwe prijspagina beter" leest heel anders als het gaat om 62% van 1.400 klanten dan als het 62% is van de 29 mensen die de nieuwe pagina zagen en daarna een vervolgvraag kregen.
Zet de basis onder elke grafiek, steeds op dezelfde plek, in woorden die een lezer begrijpt: "Basis: klanten die de exportfunctie de afgelopen 30 dagen gebruikten, n = 312". Alleen "n = 312" is te weinig.
Met conditionele logica wordt dit nog belangrijker. Door routering beantwoorden verschillende mensen verschillende vragen, dus de basis verschuift per grafiek. Kreeg vraag 8 alleen wie de support lager dan een 5 gaf, dan beschrijft "71% noemt de reactietijd als grootste probleem" ontevreden supportgebruikers. Over je klanten als geheel zegt het niets. Schrijf het filter dus elke keer in de basisregel.
Bepaal wat je met 'weet niet' doet voordat je telt
Wie "weet niet" of "niet van toepassing" antwoordt, of de vraag overslaat, zit nog steeds in je data. Jij beslist waar die mensen terechtkomen, en die beslissing verschuift de kop.
Stel: je vraagt 500 mensen of het nieuwe dashboard makkelijker werkt. 240 zeggen ja, 110 nee, 150 hebben het te weinig gebruikt om het te kunnen zeggen. Op alle 500 vindt 48% het makkelijker. Laat je de "weet niet"-groep weg, dan wordt het 69%. Beide getallen kloppen. Het eerste gaat over je gebruikers. Het tweede over gebruikers die al een mening hadden.
Je mag allebei gebruiken. Verbergen welke je gebruikte mag niet. Kies de basis die bij het besluit past, zeg het erbij en toon de weggelaten groep als getal. Als 30% het nieuwe dashboard nog niet kon beoordelen, is dat ook een bevinding.
Afronding, totalen en meerdere antwoorden
Drie antwoorden van elk 33,3% worden na afronding 33, 33 en 33. Samen 99. Iemand ziet het. Een korte noot lost het op: "Door afronding tellen percentages niet altijd op tot 100." Schuif niet met één getal zodat de kolom klopt.
Bij vragen met meerdere antwoorden gebeurt het omgekeerde: mochten mensen elke reden aanvinken die van toepassing was, dan tellen de staven op tot ruim boven de 100. Zet dat bij de grafiek, want 180% ziet eruit als een fout. Stem ook je decimalen af op je steekproef. 47,3% op 180 responses suggereert een precisie die je niet hebt.
Een gemiddelde verbergt de verdeling
Een gemiddelde verbergt de vorm van de antwoorden, en juist die vorm is vaak de bevinding. Een 3,0 op een vijfpuntsschaal kan betekenen dat iedereen het midden koos. Het kan ook betekenen dat de helft een 1 gaf en de helft een 5. Het eerste is lauwe onverschilligheid. Het tweede is een verdeeld klantenbestand, en dat vraagt om een heel andere reactie.
Toon bij beoordelingsschalen de hele verdeling als gestapelde staaf, met de punten in hun natuurlijke volgorde. Wil je één samenvattend getal, geef dan het aandeel in de bovenste twee categorieën naast het aandeel in de onderste twee. Zet de schaallabels uit je schaalontwerp ook in de grafiek. "1" tot "5" zegt een lezer zonder vragenlijst niets.
Sorteer de punten van een schaal nooit op grootte: dan belandt "enigszins eens" naast "helemaal oneens". Ongeordende categorieën, zoals "belangrijkste reden om op te zeggen", sorteer je wel op grootte.
Een verschil is onzekerder dan elk getal apart
Hier gaat het in rapporten het vaakst mis. De tevredenheid is 64% bij klanten met een jaarabonnement en 57% bij maandklanten, en de zaal concludeert dat jaarklanten blijer zijn. Misschien. Elk getal heeft zijn eigen onzekerheid, en het verschil daartussen heeft er meer.
Andrew Mercer van Pew Research Center schreef in een uitleg over de foutmarge uit 2016: de foutmarge op het verschil tussen twee kandidaten is doorgaans ongeveer twee keer zo groot als de marge op het aandeel van elke kandidaat. Zijn voorbeeld met een subgroep is nog ontnuchterender. Een peiling met een marge van ongeveer 3 punten in totaal had ongeveer 8 punten voor een subgroep van 15% van de bevolking, en ongeveer 16 punten voor een verschil binnen die subgroep.
Kijk dan naar je eigen rapport. Een gat van zeven punten tussen twee segmenten van elk 200 respondenten is heel waarschijnlijk ruis. Wil je iets over dat gat beweren, toets dan het gat, en als de toets het niet ondersteunt, schrijf dan "geen duidelijk verschil". In hoeveel respondenten heb je nodig lees je hoe je de precisie berekent voordat je veldwerk begint. Voor verandering in de tijd geldt hetzelfde: van 41 naar 44 tussen twee metingen is nog geen trend.
Kruistabellen en het probleem van veertig vergelijkingen
In kruistabellen gaan rapporten vissen. Splits tien vragen uit naar vier segmenten en je hebt veertig vergelijkingen. Bij de gebruikelijke grens van 95% kun je verwachten dat er ongeveer twee puur door toeval significant lijken, ook als er niets aan de hand is. En juist die twee zijn de opvallendste cellen in het rapport, want toeval is goed in verrassingen.
Bepaal voordat je kijkt welke vergelijkingen de enquête moest beantwoorden, en rapporteer die als bevindingen. Al het andere krijgt het label verkennend: de moeite waard om bij de volgende meting te checken, meer niet. Zou een uitkomst in een subgroep een besluit veranderen, bevestig hem dan eerst. En markeert je tool significante cellen automatisch: hij draaide elke toets die hij kon.
Grafieken die mensen goed lezen
In een artikel uit 1984 in het Journal of the American Statistical Association testten William Cleveland en Robert McGill hoe nauwkeurig mensen hoeveelheden aflezen uit verschillende grafische vormen. Positie langs een gemeenschappelijke schaal scoorde het best. Hoeken en oppervlakken scoorden veel slechter. In de praktijk vergelijken mensen staaflengtes veel nauwkeuriger dan taartpunten.
Voor enquêteresultaten levert dat een kort lijstje op:
- Gebruik liggende staven voor antwoordcategorieën, zodat lange labels leesbaar blijven.
- Laat de as van een staafdiagram bij nul beginnen. Een as die bij 50% begint, maakt van een verschil van drie punten iets wat op een verdubbeling lijkt.
- Gebruik een taart- of donutgrafiek hooguit voor een tweedeling. Vijf ongeveer even grote punten zijn gokwerk.
- Geef hetzelfde antwoord in elke grafiek dezelfde kleur. Is "zeer tevreden" donkergroen op pagina 2, dan is het dat ook op pagina 9.
- Zet het getal op de staaf, zodat niemand hoeft te schatten aan de hand van rasterlijnen.
Het doel is een grafiek die moeilijk verkeerd te lezen is. Of hij mooi is, komt daarna.
Citaten uit open antwoorden illustreren een thema
Een goed citaat doet in een vergadering meer dan een grafiek. Kies de drie scherpste klachten uit 600 open antwoorden en de zaal gaat ervan uit dat ze voor iedereen spreken.
Gebruik een citaat om te laten horen hoe een thema klinkt, en zet er een aantal bij: "Ongeveer een op de vijf open antwoorden ging over exportformaten, bijvoorbeeld: ...". Kies citaten die typisch zijn voor het thema. De uitschieters laat je in de export. Heeft AI bij het coderen geholpen, controleer dan elk citaat dat je gebruikt tegen het ruwe antwoord, want een samenvatting kan een zin parafraseren die niemand ooit schreef. In open antwoorden analyseren lees je hoe je thema's codeert zodat de aantallen standhouden.
De methodeverantwoording die AAPOR verwacht
De American Association for Public Opinion Research heeft een Code of Professional Ethics and Practices, voor het laatst herzien in april 2021. Sectie III somt op wat direct vermeld moet worden in elk rapport over openbaar gemaakte enquêteresultaten. Hij is bedoeld voor publieke peilingen en werkt ook als checklist voor interne rapporten:
- hoe de data verzameld zijn, en wie het onderzoek financierde en uitvoerde
- de precieze formulering en presentatie van de vragen
- de onderzochte populatie en hoe de steekproef getrokken en geworven is
- de methoden en data van het veldwerk
- steekproefgroottes en, waar dat van toepassing is, de precisie van de resultaten
- hoe de data gewogen zijn, als dat gebeurd is
- hoe de data verwerkt en op kwaliteit gecontroleerd zijn
- een algemene beschrijving van de beperkingen van het onderzoeksontwerp
Voor een intern rapport past dat in een klein kader op de laatste pagina:
Methode: online enquête per e-mail verstuurd naar alle 4.820
klanten die in Q3 actief waren. Veldwerk 2-16 oktober. 1.212
volledige responses (25%). Niet gewogen. 37 responses verwijderd
wegens te snel invullen of straightlining. Volledige vragenlijst
in bijlage A.
Beperking: klanten die vóór oktober opzegden, zijn niet uitgenodigd.
Eén regel uit de code verdient aandacht: rapporten over niet-kanssteekproeven mogen alleen een maat voor precisie geven als ze uitleggen hoe die gedefinieerd en berekend is. De meeste klant- en medewerkersenquêtes zijn geen kanssteekproef, want je nodigde iedereen uit en een deel koos ervoor om te antwoorden. Een "foutmarge ±3%" onder zo'n enquête claimt een precisie die het ontwerp niet kan waarmaken, en nonrespons is toch al het grotere risico. In enquêtedata wegen lees je wat je achteraf wel en niet kunt corrigeren.
Zet de beperkingen naast de bevindingen
Beperkingen belanden meestal in grijze letters op de laatste slide. Zet elke beperking naast de bevinding waar hij over gaat: als maar 12% van je zakelijke klanten antwoordde, zeg dat dan onder de grafiek over zakelijke klanten. Schrijf bij elke hoofdbevinding één zin die begint met "Dit klopt niet als", en houd de zinnen die je niet kunt uitsluiten.
Geef het rapport daarna aan iemand die niet aan de enquête heeft gewerkt en vraag naar de drie belangrijkste bevindingen. Wijkt dat antwoord af van het jouwe, herschrijf dan het rapport.
Veelgestelde vragen
Rapporteer ik bij een beoordelingsschaal het gemiddelde of percentages?
Maak percentages per schaalpunt je hoofdweergave, want die laten zien of de meningen verdeeld zijn of samenklonteren. Een gemiddelde is prima als extra getal om ontwikkelingen in de tijd te volgen, maar altijd naast de verdeling en met de schaallabels uitgeschreven, zodat lezers weten waar een 3,6 voor staat.
Heb ik een foutmarge nodig als ik al mijn klanten heb ondervraagd?
Heb je je hele klantenbestand uitgenodigd, dan is er geen steekproeffout in de klassieke zin, maar wel nonrespons: de mensen die antwoordden kunnen verschillen van wie dat niet deed, en dat is meestal de grotere foutbron. Zet het responspercentage duidelijk in beeld en beschrijf wie ondervertegenwoordigd is. Een foutmarge die niet van toepassing is, laat je weg.
Mag ik onvolledige responses uit het rapport laten?
Dat kan, zolang je het vermeldt en de regel vastlegt voordat je naar de resultaten kijkt. Controleer of de afhakers verschillen van de mensen die alles invulden, op de vragen die ze wel beantwoordden. Waren de afhakers vooral ontevreden klanten, dan maakt weglaten je resultaten mooier dan ze zijn.
Hoeveel grafieken hoort een enquêterapport te hebben?
Eén per bevinding die over het besluit gaat, meestal minder dan tien op de hoofdpagina's. De overige vragen gaan in een bijlage, in de volgorde van de vragenlijst. Met een grafiek per vraag verdwijnen de drie uitkomsten die ertoe doen tussen dertig andere.
