Antwoordopties die kloppen: meerkeuzevragen ontwerpen
De antwoordlijst onder een vraag bepaalt wat mensen je kunnen vertellen. Zo bouw je opties die elkaar uitsluiten, niemand buitensluiten en eerlijk meten, en daarom telt 'vink aan wat van toepassing is' stelselmatig te laag.
Door SurveyLane · Het team achter SurveyLane
Bijna alle adviezen over enquêtevragen gaan over de vraag zelf. De antwoordlijst wordt daarna in een halve minuut ingetikt, en precies daar gaat veel mis. De opties die je aanbiedt bepalen welke antwoorden mogelijk zijn en welke nooit geteld worden. Zit de lijst fout, dan levert ook een keurig geformuleerde vraag cijfers op die je niet kunt verdedigen.
De antwoordlijst hoort bij de vraag
Een respondent leest de vraag, kijkt naar de vakjes en kiest het vakje dat het best past. Ontbreekt een redelijk antwoord, dan kiest hij het dichtstbijzijnde. Overlappen twee vakjes, dan kiest hij er eentje op goed geluk. Staan er veertien, dan leest hij de eerste paar en houdt op.
Niets daarvan zie je terug in je export. Daarom behandelt het artikel over betere enquêtevragen schrijven de opties als deel van de vraag.
Pew Research Center vat de kernregel samen in één zin: gesloten vragen horen alle redelijke antwoorden te bevatten, zodat de lijst uitputtend is, en de categorieën mogen niet overlappen, zodat ze elkaar uitsluiten.
Elkaar uitsluitend: geen antwoord past in twee vakjes
Overlap is de meest gemaakte fout. Het schoolvoorbeeld zijn getalsklassen.
Hoe oud ben je?
18-25
25-35
35-45
45 of ouder
Iemand van 25 past in twee vakjes, iemand van 35 ook. De een kiest de lagere klasse, de ander de hogere, en je groepen vervagen precies op de randen. De oplossing is saai: 18-24, 25-34, 35-44, 45 of ouder.
Categorieën overlappen ook. "Hoe heb je van ons gehoord?" met "Social media", "Instagram", "Via een vriend" en "Online" geeft iemand die een Instagrampost van een vriend zag vier verdedigbare antwoorden. Bouw de lijst langs één dimensie, bijvoorbeeld het kanaal, en stel een tweede vraag als je een tweede dimensie wilt weten.
Frequenties overlappen stiller. "Dagelijks" en "Meerdere keren per week" lopen door elkaar voor iemand die het product vijf van de zeven dagen gebruikt. Veranker ze aan aantallen, zoals "5 of meer dagen per week".
Uitputtend: elke respondent heeft een vakje nodig
Iedereen moet een optie vinden die voor hem klopt. Anders kiest hij de dichtstbijzijnde, en die slokt antwoorden op die er niet thuishoren.
Pew heeft een helder voorbeeld van hoe sterk een lijst stuurt. Na de Amerikaanse presidentsverkiezingen van 2008 kreeg één groep de vraag welk onderwerp het zwaarst woog bij hun stem, met vijf voorgelezen opties. Een andere groep kreeg dezelfde vraag zonder lijst. Toen de economie expliciet werd aangeboden, koos 58% die. In de open versie noemde maar 35% de economie uit zichzelf. In de gesloten versie gaf 8% een antwoord buiten de vijf opties. In de open versie noemde 43% iets wat helemaal niet op de lijst stond.
De lijst vormde dus de meningen die hij moest meten. Een optie die je weglaat wordt bijna onzichtbaar, want weinig mensen noemen uit zichzelf wat jij niet voorstelde. Staat "ons bedrijf stapte over op een ander pakket" niet in je lijst met opzegredenen, dan kom je nooit te weten hoeveel klanten daarom vertrokken.
"Anders, namelijk" vangt minder dan je hoopt
De gebruikelijke pleister op een onvolledige lijst is een vakje "Anders, namelijk" met een tekstveld. Laat het staan, maar de cijfers uit 2008 laten de grens zien: wie een lijst krijgt, kiest vooral uit die lijst. "Anders" vangt alleen de antwoorden van mensen die gemotiveerd genoeg zijn om te typen.
Gebruik het als vroeg waarschuwingssignaal. Komt in de eerste dagen van het veldwerk hetzelfde antwoord steeds terug, dan was het een ontbrekende optie en is het aantal dat je ziet een ondergrens. Voeg hem toe bij de volgende ronde. Hercodeer hem niet om hem daarna te presenteren alsof iedereen hem had kunnen kiezen.
Zet "Anders" onderaan, na de echte opties. En maak het tekstveld optioneel. Een verplicht "namelijk" maakt van een vinkje een schrijfopdracht.
Waarom "vink aan wat van toepassing is" te laag telt
"Welke van de volgende dingen heb je meegemaakt? Vink aan wat van toepassing is." De aanvinklijst is compact en voelt efficiënt. Hij telt ook stelselmatig te laag.
Pew heeft dat getest. Op het online American Trends Panel, van 30 juli tot 12 augustus 2018, onder 4.581 Amerikaanse volwassenen, zag de helft van de steekproef een lijst gebeurtenissen als aanvinklijst. De andere helft beantwoordde elke gebeurtenis als losse ja/nee-vraag. In het rapport van Arnold Lau en Courtney Kennedy, gepubliceerd op 9 mei 2019, lagen de schattingen met de ja/nee-vorm gemiddeld 8 procentpunt hoger.
Sommige items verschoven veel meer. Geweigerd worden voor een zorgverzekering ging van 13% in de aanvinklijst naar 19% met ja/nee-vragen. Je baan kwijtraken of moeite hebben een nieuwe te vinden ging van 51% naar 63%. Te veel betaald hebben bij een monteur of reparateur ging van 36% naar 52%.
De oorzaak is gewoon moeite. Een aanvinklijst toont alle opties tegelijk en niets dwingt mensen om elke optie te overwegen. Ze vinken aan wat opvalt en gaan door. Een leeg vakje kan "nee" betekenen, of "zo ver heb ik niet gelezen". Je ziet het verschil niet.
De positie maakte het erger. Pew mat bij de aanvinkvragen een gemiddeld primacy-effect van 3 procentpunt: items bovenaan werden vaker aangevinkt, alleen omdat ze bovenaan stonden. Bij de ja/nee-vorm was dat 0. Het artikel over vraagvolgorde-effecten legt dat mechanisme verder uit.
Het alternatief: ja of nee per item
Stel elk item als eigen ja/nee-vraag, vaak in een compact raster. Na deze resultaten stapte Pew in online enquêtes waar het kan over op de ja/nee-vorm.
Is je in de afgelopen 12 maanden het volgende overkomen?
Ja Nee
Te veel betaald bij een monteur ○ ○
Je baan verloren ○ ○
Geweigerd voor een zorgverzekering ○ ○
Mensen moeten bij elke rij stoppen en kiezen, en een overgeslagen rij ziet er niet langer uit als een "nee".
Het kost wel tijd, en op een telefoon wordt een breed raster een lange scroll. Houd het aantal items klein en de labels kort, en test op telefoonbreedte. Wat die extra seconden met het afmaken doen, lees je in het artikel over enquêtelengte en uitval.
Wanneer een aanvinklijst toch volstaat
Aanvinken is een afweging die je soms prima kunt maken. Pew vond ook iets bruikbaars: de rangorde van meest naar minst gekozen was in beide vormen gelijk of bijna gelijk. De aanvinklijst zat fout op de niveaus, maar had de volgorde grotendeels goed.
Daaruit volgt wanneer je hem kunt gebruiken. Wil je alleen weten welke van zes koppelingen mensen het meest gebruiken, dan geeft een aanvinklijst een bruikbare rangorde tegen minder moeite. Heb je het niveau zelf nodig, zoals het aandeel klanten dat een fout op de factuur kreeg, gebruik dan ja/nee. Dat is precies het getal dat een aanvinklijst omlaag drukt.
Korte, concrete lijsten lijden het minst. Twaalf vage ervaringen waarvoor mensen elk even in hun geheugen moeten graven: daar verliest een aanvinklijst het meest.
Hoeveel opties zijn te veel
De onderkant van een lange lijst krijgt minder aandacht dan de bovenkant. Pew adviseert om het aantal antwoordopties in de meeste gevallen klein te houden, "vier of hooguit vijf".
Dat is een richtgetal voor meningsvragen. Een lijst met landen of functietitels is van nature lang, en daar werkt een doorzoekbare keuzelijst beter dan veertig keuzerondjes. Voor alles daartussen probeer je eerst dit:
- Splits de vraag. Twaalf opties verbergen vaak twee vragen met elk zes.
- Groepeer opties onder korte tussenkopjes, zodat mensen naar hun blok springen.
- Wissel de volgorde per respondent, zodat het positie-effect gelijk verdeeld wordt.
- Schrap opties die in je proefronde bijna niemand koos, en laat "Anders" ze opvangen.
Hussel nooit een lijst met een natuurlijke volgorde, zoals frequenties, bedragen of leeftijdsklassen. En laat "Anders" en "Geen van deze" onderaan staan, ook als de rest wisselt.
Eén antwoord of meerdere: laat de analyse beslissen
"Wat was de belangrijkste reden dat je opzegde?" en "Welke van deze redenen speelden mee?" beantwoorden verschillende zakelijke vragen.
Eén antwoord dwingt een prioriteit af. De percentages tellen op tot 100% en je krijgt een duidelijke hoofdreden, maar bijkomende redenen verdwijnen. Meerdere antwoorden tonen de hele spreiding zonder prioriteit, en de percentages tellen op tot meer dan 100%, wat iedereen verwart die de grafiek leest.
Vaak wil je allebei. Vraag per reden met ja of nee of die meespeelde. Vraag daarna welke het zwaarst woog, en toon alleen de redenen waarop iemand ja zei. Hoe je dat routeert, staat in het artikel over conditionele logica en feedback.
Weet niet, niet van toepassing en zeg ik liever niet zijn verschillende antwoorden
Een ontbrekende uitweg is ook een gat in je lijst. Wie nooit contact had met de klantenservice, kan die niet beoordelen. Zonder "Niet van toepassing" slaat hij de vraag over, als dat mag, of hij gokt, en die gok belandt in je tevredenheidsgemiddelde.
Deze opties betekenen elk iets anders:
- "Weet niet": de vraag is op hem van toepassing, maar hij mist de informatie.
- "Niet van toepassing": de vraag gaat niet over hem.
- "Zeg ik liever niet": hij weet het en wil het niet zeggen.
Voeg je ze samen, dan raak je het signaal kwijt: veel "weet niet" bij een prijsvraag wijst op communicatie, veel "zeg ik liever niet" bij inkomen wijst op vertrouwen. Het artikel over gevoelige vragen stellen legt uit waarom een expliciete uitweg de overige antwoorden eerlijk houdt.
Elke zichtbare uitweg trekt ook mensen aan die gewoon verder willen. Bied "Weet niet" dus alleen aan waar niet-weten echt en vaak voorkomt.
Bouw de lijst uit echte antwoorden, niet in een vergadering
De betrouwbaarste weg naar een uitputtende lijst zonder overlap is ophouden met raden. Stel de vraag eerst open, aan een kleine groep of in een zachte lancering, en bouw de opties uit wat mensen echt zeggen. Je vindt antwoorden waar niemand in de vergadering aan dacht. En opties die jij uit elkaar hield, blijken voor respondenten één ding.
Hoe je die antwoorden in categorieën codeert, lees je in open antwoorden analyseren. Test daarna de uiteindelijke lijst. Een cognitief interview is de snelste manier om "ik wist niet of ik nou dit was of dat" te horen, en het artikel over een enquête vooraf testen beschrijft hoe je er een houdt.
Een check voor elke antwoordlijst vóór de lancering
Loop elke gesloten vraag langs met deze vragen:
- Past een echt antwoord in twee opties? Maak de grenzen scherp.
- Is er iemand voor wie geen enkele optie klopt? Voeg hem toe, of zet "Anders" onderaan.
- Is het een aanvinklijst terwijl je het niveau nodig hebt? Stap over op ja/nee per item.
- Meer dan vijf opties bij een meningsvraag? Splitsen, groeperen of schrappen.
- Betekent de volgorde iets? Zo niet, wissel hem en houd de uitwegen onderaan.
- Staan "Weet niet", "Niet van toepassing" en "Zeg ik liever niet" los van elkaar, en alleen waar ze echt voorkomen?
Na het veldwerk vang je met responskwaliteit bewaken de slordige invullers. Een antwoord dat je lijst nooit toeliet, haal je daarmee niet terug.
Veelgestelde vragen
Moet ik aanvinklijsten altijd vervangen door ja/nee-vragen?
Niet altijd. Pew vond dat ja/nee-items gemiddeld 8 procentpunt hogere schattingen opleveren, terwijl de rangorde van de items vrijwel gelijk bleef. Heb je het echte aandeel nodig van mensen die iets meemaakten, gebruik dan ja/nee. Wil je alleen de onderlinge volgorde weten en is de lijst kort en concreet, dan is een aanvinklijst een aanvaardbare afweging.
Is een optie "Anders, namelijk" genoeg om mijn lijst compleet te maken?
Nee. De meeste respondenten kiezen uit de opties die ze zien en weinigen typen iets nieuws, dus een Anders-veld telt de antwoorden die je wegliet te laag. Komt een getypt antwoord in de eerste dagen steeds terug, voeg het dan bij de volgende ronde toe als echte optie.
Hoeveel antwoordopties hoort een meerkeuzevraag te hebben?
Voor meningsvragen adviseert Pew een klein aantal, in de meeste gevallen vier of hooguit vijf. Feitelijke vragen met een van nature lange lijst, zoals landen of functietitels, werken beter als doorzoekbare keuzelijst of als open antwoord.
Moet ik de volgorde van antwoordopties willekeurig maken?
Doe dat als de opties geen natuurlijke volgorde hebben, zodat niet steeds dezelfde opties bovenaan profiteren. Houd een vaste volgorde aan bij alles met een ingebouwde reeks, zoals frequenties, bedragen, leeftijdsklassen of beoordelingsschalen, en laat Anders, Geen van deze en Weet niet onderaan staan.
