Vraagvolgorde-effecten: hoe de volgorde het antwoord verandert

Je kunt een perfecte vraag schrijven en tóch het verkeerde antwoord krijgen, omdat de vraag ervoor veranderde waar de respondent aan dacht. Volgorde is geen cosmetische keuze. Verschuif één vraag een paar plekken en het resultaat kan tien punten opschuiven, en niets in je schone export laat zien dat het gebeurd is.

Dezelfde vraag geeft een ander antwoord afhankelijk van haar buren

Een enquête is geen rij losse metingen. Elke vraag landt in het hoofd van de respondent terwijl de vorige nog nagalmt, en die restwarmte verandert het antwoord. Vraag mensen hoe tevreden ze zijn met hun leven, vlak nadat je naar hun huwelijk hebt gevraagd, en het huwelijk kleurt het antwoord over hun leven. Draai de twee om en je krijgt andere cijfers, van dezelfde mensen, op dezelfde dag.

Dit noemen methodologen een vraagvolgorde-effect, en het is een van de best gedocumenteerde bevindingen in enquêteonderzoek. Wat het gevaarlijk maakt, is dat het achteraf onzichtbaar is. Een formuleringsfout zie je soms nog als je de vraag herleest. Een volgordefout laat geen spoor na in de data zelf. Je weet dat het er is alleen als je de enquête zo bouwde dat het aan het licht kwam.

Twee families: contrast en assimilatie

Het Pew Research Center deelt volgorde-effecten in twee soorten in, en dat onderscheid is het nuttigste dat je mee kunt nemen naar een ontwerpreview. Een contrasteffect is wanneer een eerdere vraag het latere antwoord wegduwt, waardoor het verschil groter wordt dan je anders zou zien. Een assimilatie-effect trekt de andere kant op: de eerdere vraag trekt het latere antwoord naar zich toe, zodat de twee consistenter lijken dan ze zijn.

Allebei komen ze vaak voor. Welke je krijgt, hangt af van hoe de respondent het verband tussen de twee vragen leest. Voelt de eerste als een specifiek geval dat je opzij moet zetten vóór een breed oordeel, dan krijg je eerder contrast. Zet de eerste een kader waar de tweede binnen lijkt te horen, dan krijg je eerder assimilatie. Je kunt het niet altijd vooraf inschatten, maar weten dat allebei bestaan is wat je ervan weerhoudt te denken dat volgorde onschuldig is.

Hoe een contrasteffect eruitziet in echte cijfers

Pew heeft schone voorbeelden uit zijn eigen veldonderzoek gepubliceerd, en die zijn het onthouden waard omdat het geen laboratoriumcuriositeiten zijn. In één enquête, toen een vraag over juridische afspraken voor paren van gelijk geslacht vlak na een vraag over het homohuwelijk kwam, was 45 procent voor die juridische afspraken. Zonder die huwelijksvraag ervoor was maar 37 procent voor. Acht punten, alleen door de volgorde.

Een ander voorbeeld is nog scherper. Gevraagd naar tevredenheid over hoe het met het land ging, meteen na een vraag over de goedkeuring van de president, zei 88 procent ontevreden te zijn. Zonder die goedkeuringsvraag ervoor zei 78 procent dat. De context van de president haalde een reeks overwegingen naar boven, en die duwden het antwoord over het land. Dezelfde vraag, dezelfde periode, tien punten verschil.

Assimilatie: als eerdere vragen latere in de pas trekken

Het spiegelbeeld is net zo meetbaar. In een Pew-enquête tijdens een machtswisseling zei 81 procent dat de Republikeinse leiders met de aantredende president moesten samenwerken, wanneer die vraag volgde op een vraag of de Democratische leiders met de vorige regering hadden moeten samenwerken. Zonder die eerdere vraag zei 66 procent dat. De eerste vraag zette een norm van samenwerking neer, en mensen leunden erop voor de tweede in plaats van zichzelf tegen te spreken.

Mensen zijn hier consistent, en consistentie is een kracht. Zodra een respondent bij vraag drie een standpunt heeft ingenomen, leunt hij daarop bij vraag vier in plaats van opnieuw te beginnen, want opnieuw beginnen is werk en zichzelf tegenspreken voelt ongemakkelijk.

Algemeen vóór specifiek, bijna altijd

Het vaakst herhaalde advies over volgorde is om de algemene vraag vóór de specifieke te stellen, en dat volgt rechtstreeks uit contrast. Een specifieke vraag beïnvloedt een algemene eerder dan andersom, omdat het specifieke geval levendig en vers is precies wanneer het algemene oordeel gevormd wordt. Vraag iemand hoe tevreden hij met zijn huwelijk is en daarna hoe tevreden met zijn leven, en het huwelijksantwoord sijpelt door in het algemene. Stel de algemene vraag eerst en hij staat op zichzelf.

Heb je dus een brede tevredenheidsvraag met een paar gedetailleerde eronder, begin dan met de brede. Je wilt dat het algemene oordeel gevormd is voordat je het geheugen van de respondent hebt volgeladen met details die hij anders niet zo zwaar had laten wegen. Dit hangt nauw samen met hoe je de vragen om te beginnen formuleert, en de post over betere enquêtevragen schrijven behandelt de formuleringskant van hetzelfde probleem.

Priming: eerdere vragen bepalen wat in je opkomt

Volgorde-effecten zijn het sterkst bij open vragen, want daar leveren de eerdere vragen stilletjes de woordenschat aan. Pew stelt zijn open vragen over problemen in het land dan ook vroeg in de vragenlijst, precies hierom. Zet je gesloten vragen over specifieke onderwerpen eerst, dan noemen respondenten diezelfde onderwerpen veel vaker als je ze later, in hun eigen woorden, vraagt wat het belangrijkst is. Je hebt niet gemeten wat bovenaan lag. Je hebt gemeten waar je ze net aan herinnerd had.

De regel die hieruit volgt is simpel. Stel je open, spontane vragen vóór elke gesloten vraag die een antwoord kan planten. Zodra een onderwerp eenmaal in de ruimte is, kun je niet meer meten of het uit zichzelf was opgekomen.

Primacy en recency binnen één vraag

Volgorde speelt niet alleen tussen vragen. Binnen één vraag draagt de volgorde van de antwoordopties haar eigen vertekening, en die splitst zich naar hoe de enquête mensen bereikt. In visuele, zelf ingevulde enquêtes neigen respondenten naar opties bovenaan de lijst, een primacy-effect, omdat ze naar beneden lezen en de eerste aannemelijke pakken. Lees je dezelfde lijst voor aan de telefoon, dan krijg je juist een recency-effect, waarbij de laatst gehoorde opties het vaakst gekozen worden.

Daarom roteer je antwoordopties voor alles wat geen echte schaal is. Heeft de lijst geen natuurlijke ordening, randomiseer of keer hem dan om over respondenten, zodat geen enkele optie een blijvend voordeel houdt van haar plek. Ordinale schalen zijn de uitzondering. Je schudt uitstekend, goed, matig, slecht niet door elkaar, want de volgorde ís de betekenis. Pew keert zulke schalen om voor de helft van de steekproef, zodat een recency-effect zich gelijkmatig verdeelt in plaats van op één uiteinde te landen. De schaal zelf is een onderwerp op zich, behandeld in schaalvragen ontwerpen.

De trechter: van breed en makkelijk naar smal en gevoelig

Een vragenlijst heeft een vorm, en de klassieke is een trechter. Je opent met brede, makkelijke vragen, versmalt naar het specifieke, en zet de gevoeligste vragen laat. Daar zijn twee redenen voor, en maar één gaat over volgorde. Brede vragen horen vóór specifieke, zodat contrast ze niet verwringt. De andere reden is vaart: iemand die een paar makkelijke vragen heeft beantwoord, heeft geïnvesteerd en blijft eerder voor de moeilijkere.

Demografische vragen horen om diezelfde reden meestal achteraan. Ze zijn saai en licht opdringerig, en vooraf naar leeftijd, inkomen en achtergrond vragen geeft mensen een reden om af te haken voordat ze zich ergens aan gebonden hebben. De uitzondering is een demografisch gegeven dat je nodig hebt om te screenen of te routeren. Dat moet vroeg komen, want de rest van de enquête hangt ervan af.

Groeperen per onderwerp versus vragen uitspreiden

Respondenten gaan vlotter door de lijst als verwante vragen bij elkaar staan, want bij elke vraag van onderwerp wisselen is vermoeiend en verwarrend. Maar groeperen is ook wat de lokale context bouwt die assimilatie voedt. Een blok van vijf vragen die allemaal een product ophemelen zet een kader, en het zesde antwoord glijdt daar naartoe. Er is dus een echte spanning. Groeperen helpt de vaart en schaadt de onafhankelijkheid.

Er is geen universele oplossing, alleen een afweging per enquête. Heb je schone, onafhankelijke metingen nodig op vragen die elkaar kunnen besmetten, splits ze dan of randomiseer de volgorde van de blokken. Telt vaart zwaarder en staan de vragen niet op gespannen voet, groepeer ze dan en accepteer de milde consistentietrek. Het punt is dat je het bewust beslist, niet per ongeluk door de volgorde waarin je de vragen toevallig hebt ingetypt.

Hoe conditionele logica de volgorde herschikt

Zodra een enquête vertakt, ziet elke respondent een andere volgorde, en je ene zorgvuldig ontworpen volgorde wordt er vele. Dat is op zich prima, maar het betekent dat je over de volgorde langs elk pad moet nadenken, niet alleen dat ene dat je tijdens het bouwen doorklikte. Een vraag die veilig vóór haar buurvraag staat op het hoofdpad, kan op een tak die je niet controleerde vlak na een primingvraag belanden.

Gebruik je skip-logica, loop dan elke tak af en vraag je af of de vragen die een respondent daadwerkelijk tegenkomt, in de volgorde waarin hij ze tegenkomt, nog kloppen. De post over conditionele logica en feedback behandelt het bouwen van die paden. Wat hier telt, is dat vertakken het aantal volgordebeslissingen vermenigvuldigt in plaats van ze je uit handen te nemen.

Volgorde-effecten opsporen in je eigen data

Je hoeft niet te gokken of volgorde je vertekent. De schone test is een split-ballot. Wijs respondenten willekeurig toe aan twee versies van de enquête die alleen verschillen in de volgorde van de vragen die je verdenkt, en vergelijk daarna de antwoorden op de gedeelde vragen. Verschillen versie A en versie B op een vraag die in beide identiek geformuleerd is, dan is de volgorde de dader, en het gat is de omvang van het effect.

Dit heb je niet voor elke enquête nodig. Bewaar het voor de handvol vragen die een echte beslissing dragen en naast iets staan dat ze aannemelijk kan primen. Het is iets om tijdens het vooraf testen te checken in plaats van na de lancering, en het stuk over een enquête vooraf testen laat zien waar zo'n kleine proef past. Vind je een effect, doe dan wat Pew doet: leun op de respondenten die de vraag zagen voordat hij besmet kon raken, en zeg gewoon dat de volgorde uitmaakte in plaats van te doen alsof je één schoon cijfer hebt.

Een volgorde die je meteen kunt toepassen

Zet je open, spontane vragen eerst, vóór elke gesloten vraag die ze zou zaaien. Stel algemene oordelen vóór de specifieke vragen die ze zouden kleuren. Roteer of keer antwoordopties om voor alles wat geen echte schaal is, zodat primacy en recency zich over respondenten verdelen. Draai de trechter: breed en makkelijk bovenaan, gevoelige vragen en saaie demografie onderaan, screeningvragen daargelaten. Groepeer voor de vaart waar vragen elkaar niet bedreigen, en splits of randomiseer waar ze dat wel doen. Loop daarna elke tak af, want logica maakt uit één volgorde er vele. Niets hiervan komt in de export terug, en juist daarom regel je het voordat je op verzenden drukt. Volgordevertekening is naaste familie van de andere stille vertekeningen uit responskwaliteit bewaken: onzichtbaar in een nette dataset, goedkoop te voorkomen, en duur om achteraf weg te praten.