Zo test je een enquête voordat je hem verstuurt

Zodra een enquête live staat, is elke fout erin bevroren. Een verwarrende vraag blijft mensen verwarren, een kapotte sprong blijft respondenten stranden, en je merkt het pas als de data verkeerd terugkomt. Vooraf testen is het moment waarop je die fouten opspoort zolang ze nog goedkoop te herstellen zijn, voordat de eerste echte respondent het formulier ziet.

Waarom de reparatie vóór de lancering moet

Een enquête is een meetinstrument, en een instrument kalibreer je niet nadat je de metingen hebt gedaan. Als de antwoorden binnen zijn, valt een slecht geformuleerde vraag niet meer te repareren. Je kunt hem uit de analyse gooien en de moeite weggooien die elke respondent erin stak, of hem houden en om de fout heen redeneren, wat elke conclusie die hem raakt verzwakt. Hoe dan ook: de enige echte reparatie gebeurde, of gebeurde niet, voordat je op verzenden drukte.

Daarom is vooraf testen het beste uur dat je aan een enquête besteedt. Een uur waarin je vijf mensen ziet worstelen met een concept, bespaart je het analyseren van duizend antwoorden op een vraag die ze allemaal op dezelfde manier verkeerd lazen. De problemen die je vangt zijn gewoon. Een woord dat twee dingen betekent. Een schaal die niet bij de vraag past. Een verplicht veld dat mensen blokkeert die oprecht geen antwoord hebben.

De vier plekken waar een vraag kan breken

Om goed te testen helpt het te weten waar je naar zoekt. Enquêtemethodologen modelleren het beantwoorden van een vraag als vier stappen, een raamwerk van Roger Tourangeau: de respondent moet de vraag begrijpen, de relevante informatie uit het geheugen ophalen, daaruit een oordeel vormen en dat oordeel dan op een van jouw antwoordopties leggen. Een vraag kan op elk van de vier falen, en elk falen ziet er anders uit.

Begrip faalt als de formulering dubbelzinnig is, een term gebruikt die de respondent niet deelt, of stilletjes twee dingen tegelijk vraagt. Ophalen faalt als je iets vraagt dat mensen niet kunnen herinneren: "hoe vaak bezocht u vorige maand onze site" veronderstelt een geheugen dat niemand bijhoudt. Oordeel faalt als de vraag een samenvatting eist die de respondent nooit heeft gevormd, dus verzint hij er ter plekke een. Antwoordkeuze faalt als jouw opties het antwoord dat iemand wil geven niet bevatten, dus kiest hij het dichtstbijzijnde verkeerde hokje. Bij het testen let je op het moment dat iemand tegen een van deze vier muren aanloopt.

Begin met een expertcheck, want die is gratis

De goedkoopste test is een tweede vakkundig persoon die je concept met aandacht leest. Geen vluchtige blik: een echte lezing, vraag voor vraag, waarbij je van elke vraag afvraagt wat hij meet en of een redelijke respondent hem anders kan lezen dan jij bedoelt. Iemand die niet in de kamer zat toen je de enquête schreef, vangt een verrassend deel van de problemen, omdat die zonder jouw aannames binnenkomt.

Een expertcheck is het sterkst bij structurele fouten: dubbele vragen, sturende formuleringen, ontbrekende antwoordopties, schalen die niet bij het construct passen, sprongen die mensen naar de verkeerde plek sturen. Hij is het zwakst bij hoe gewone respondenten een vraag echt lezen, want een expert leest te goed en lost dubbelzinnigheden op die een eerste lezer niet oplost. Voordat je überhaupt vragen schrijft, behandelt het stuk over betere enquêtevragen schrijven de formuleringsfouten die een expertcheck het best vangt.

Cognitieve interviews: kijk hoe een echt mens antwoordt

Cognitieve interviews zijn de kernmethode, en ze zijn eenvoudiger dan het klinkt. Je gaat met één persoon uit je doelgroep zitten, geeft hem de enquête en laat hem vertellen wat er in zijn hoofd gebeurt terwijl hij antwoordt. Zo test een organisatie als het Pew Research Center nieuwe vragen voordat ze op grote schaal uitgaan, en zo komen problemen boven die geen enkele expertcheck vindt.

Er zijn twee technieken, en je gebruikt ze allebei. Bij hardop denken laat je de respondent zijn gedachten uitspreken terwijl hij leest en antwoordt: "vertel me wat je denkt terwijl je deze doorloopt." Je blijft stil en luistert. Doorvragen is de opvolger: nadat hij heeft geantwoord, vraag je "wat betekende dat woord voor jou?", "hoe kwam je aan dat getal?", of "was er een antwoord dat je wilde geven maar er niet stond?" Het hardop denken laat zien waar hij aarzelt, het doorvragen waarom, en samen toetsen ze alle vier de faalpunten uit de vorige paragraaf.

Hoeveel interviews, en met wie

Je hebt geen statistisch representatieve steekproef nodig om te testen, want je meet nog niets. Je zoekt fouten, en fouten herhalen zich snel. Vijf tot acht cognitieve interviews brengen de meeste ernstige problemen in een doorsnee-enquête boven. Als drie van je eerste vijf deelnemers op hetzelfde onderdeel struikelen, heb je geen zesde nodig om het te bevestigen.

Wie je interviewt telt zwaarder dan hoeveel. Kies mensen die op je echte respondenten lijken, en neem bewust de randgevallen mee: de minst deskundige, degenen die de enquête in een tweede taal maken, degenen wiens situatie niet in je aannames past. Een vraag over "je leidinggevende" breekt voor iemand met twee leidinggevenden of geen, en dat ontdek je alleen door met zo iemand te praten. Dit is het spiegelbeeld van het stuk over steekproef en representativiteit: daar wil je een representatieve dwarsdoorsnede, hier zoek je juist de randen.

De sessie leiden zonder je respondent voor te zeggen

De valkuil van een cognitief interview is de interviewer die de respondent te hulp schiet. Zodra iemand fronst bij een vraag, is de neiging om uit te leggen wat je bedoelde. Doe het niet. De frons is de data; leg je het uit, dan test je een versie van de vraag die niet in de echte enquête staat.

Houd je reacties neutraal, want respondenten lezen je en passen zich aan: knik niet bij antwoorden die je bevallen en trek geen vies gezicht bij antwoorden die je niet bevallen. Geeft iemand een kort antwoord, dan is "vertel daar eens meer over" bijna altijd de juiste neutrale prompt. Neem de sessie op als de persoon toestemt, want de precieze woorden waarmee een respondent zijn verwarring beschrijft, laten je vaak zien hoe je de vraag herschrijft.

Test de machine, niet alleen de vragen

Vragen zijn niet het enige dat kan breken; de enquête als draaiend systeem heeft eigen faalvormen. Klik elk pad door, niet alleen het gladde, en als je enquête vertakt, controleer dan of elke tak op de juiste plek uitkomt. Het stuk over conditionele logica en feedback behandelt de ontwerpkant; bij het testen controleer je of de bedrading klopt.

Test de enquête op een telefoon, want veel respondenten antwoorden op een toestel, en een matrixvraag die op een laptop prima oogt kan onbruikbaar zijn bij 375 pixels breed. Test met alleen een toetsenbord en, als het kan, met een schermlezer; het stuk over toegankelijke enquêtes ontwerpen behandelt wat je moet nakijken. En controleer of verplichte velden alleen verplicht zijn waar een ontbrekend antwoord echt een probleem is; een gedwongen veld zonder geldige optie is een muur die iemands sessie beëindigt.

De zachte lancering: een pilot met echte respondenten

Na het kwalitatieve testen doe je een zachte lancering: stuur de enquête naar een klein deel van je echte publiek, een paar procent, en kijk naar de data voordat je de rest vrijgeeft. Dit vangt wat losse interviews niet kunnen: patronen die pas bij volume zichtbaar worden. Eén interview vertelt of één persoon de vraag kan beantwoorden, de pilot vertelt wat een menigte er werkelijk mee doet.

Stem de pilot af op je totaal. Stuur je naar honderdduizend mensen, dan is een paar honderd antwoorden ruim genoeg om de duidelijke mankementen te zien. Is je hele populatie driehonderd, dan kun je geen bruikbare pilot missen, dus leun zwaarder op cognitieve interviews en gebruik de eerste paar dozijn antwoorden als je controle. Hoe dan ook wil je een moment waarop de enquête echte respondenten heeft ontmoet maar nog niet aan iedereen vastzit.

Pilotdata lezen op problemen

Een pilot is alleen zinvol als je de resultaten echt ondervraagt, en je zoekt problemen, geen bevindingen. Let op het invulpercentage: is er een vraag waarbij mensen de enquête verlaten, dan richt die vraag schade aan. Kiest bijna iedereen dezelfde optie, dan onderscheidt hij misschien niet, of wordt de schaal tegen een boven- of ondergrens gedrukt. Een vraag die iedereen identiek beantwoordt, meet niets.

Kijk naar item-non-respons, het aandeel dat elke optionele vraag overslaat, want een piek bij één onderdeel betekent meestal dat het verwarrend of opdringerig is, of de gewenste optie mist. Lees de open antwoorden, want respondenten gebruiken ze vaak om je te vertellen dat de enquête zelf kapot is; het stuk over open antwoorden analyseren behandelt hoe je ze op volume doorwerkt. En let op de tijd: een invulduur die veel korter is dan verwacht betekent dat mensen erdoorheen jakkeren zonder te lezen, een kwaliteitsprobleem uit responskwaliteit bewaken.

Als de pilot je vertelt iets te veranderen

Onthult de pilot een echt probleem, herstel het dan vóór de hoofdverzending, ook al is het verleidelijk om dat niet te doen. Je hebt al antwoorden in handen, en het instrument veranderen betekent dat die antwoorden niet meer overeenkomen. Daarom blijft de pilot klein: een paar honderd antwoorden op een gebrekkige vraag is een aanvaardbaar verlies, honderdduizend niet. Behandel die antwoorden als testdata, niet als deel van de schone run. Weersta ook de tegenovergestelde neiging, om eeuwig te blijven bijschaven. Voorbij een bepaald punt polijst je formuleringen die geen respondent opmerkt, terwijl de enquête ongestuurd blijft.

Een korte volgorde die echt werkt

Geen van de stappen is op zichzelf duur. Stel de enquête op, leg hem een dag weg, en doe dan een zelfcheck tegen de vier faalpunten. Geef hem aan één collega voor een expertcheck. Doe vijf tot acht cognitieve interviews, randgevallen inbegrepen, en herschrijf wat meer dan één persoon laat struikelen. Klik elke tak door op een telefoon, met een toetsenbord, het liefst met een schermlezer. Doe een zachte lancering naar een klein deel, lees de cijfers, herstel wat ze blootleggen. Stuur dan, en pas dan, de rest. Wat je dat bespaart is de enige kostenpost die je niet terugkrijgt: een enquête die het verkeerde mat, te laat ontdekt om er nog iets aan te doen.