Verplichte vragen: wat een gedwongen antwoord je kost

Elke enquêtetool heeft een schakelaar voor verplichte vragen, en een volledige dataset voelt als een schone dataset. Toch kan een verplichte vraag niemand dwingen om te antwoorden. Wie de vraag wilde overslaan, krijgt een keuze: alsnog antwoorden, iets verzinnen of het tabblad sluiten. Alleen het eerste zie je in je export terug voor wat het is.

Wat de verplicht-schakelaar eigenlijk doet

Is een vraag verplicht, dan kan de respondent pas verder als er een antwoord staat. Methodologen noemen dat forced answering, forced response of een harde herinnering. Het werkt op elk vraagtype, ook op open tekstvelden.

De instelling doet alleen iets bij de persoon die probeerde over te slaan. Vraag je dus af wat die persoon doet als je hem tegenhoudt. Hij kan alsnog eerlijk antwoorden. Hij kan iets typen of aanvinken om langs de blokkade te komen. Of hij vertrekt. Een verplichte vraag levert alleen iets op als de eerste groep veel groter is dan de andere twee.

Waarom mensen een vraag leeg laten

Mensen slaan zelden over uit luiheid. Meestal geeft de vraag ze geen manier om naar waarheid te antwoorden:

• Ze begrijpen de vraag niet, of lezen hem op twee manieren.
• Geen van de opties past bij hun situatie.
• Ze weten het antwoord niet, en gokken voelt verkeerd.
• De vraag is persoonlijk en ze houden het liever voor zich.
• De vraag is niet op hen van toepassing, en de routing heeft dat gemist.

Veel lege antwoorden op één vraag vertelt je dat de formulering of de antwoordlijst niet deugt. Dwing je een antwoord af, dan wordt dat signaal ruis. Je weet niet meer welke antwoorden van mensen kwamen die hadden willen overslaan, dus filteren lukt ook niet.

De post over meerkeuzevragen behandelt de kant van de antwoordlijst, ook waarom "weet ik niet" en "niet van toepassing" verschillende antwoorden zijn.

Het bewijs: gedwongen antwoorden jagen mensen weg

Het duidelijkste experiment is van Jean Philippe Décieux, Alexandra Mergener, Kristina Neufang en Philipp Sischka, in 2015 gepubliceerd in Psihologija. Ze mailden ongeveer 20.000 studenten aan twee Duitse universiteiten, en 625 deden mee. De vragenlijst had zo'n 100 items over relaties en seksualiteit. Respondenten kregen willekeurig een van drie versies: alles mag worden overgeslagen, alles moet worden beantwoord, of alles moet worden beantwoord maar elke lijst heeft de optie "zeg ik liever niet".

In de verplichte versie probeerden 80 van de 205 respondenten (39 procent) minstens één keer over te slaan, en kregen ze de foutpagina te zien. Van die groep haakte 35 procent af. Bij iedereen die nooit werd tegengehouden, en in de versie met "zeg ik liever niet", was de uitval 9 procent.

In de gedwongen groep steeg de uitval met 7,5 procentpunt bij een open vraag welke eigenschappen van hun partner respondenten zouden willen veranderen, en met 8,7 punt bij een vraag over hun eigen ervaring met soa's. Deze mensen waren bijna aan het einde. De auteurs noemen ze "slechte afhakers": gemotiveerde mensen die je door het ontwerp kwijtraakt.

Décieux en collega's verwijzen ook naar een studie uit 2007 van Stefan Stieger, Ulf-Dietrich Reips en Martin Voracek. Daar haakte 64,1 procent af in een groep met verplichte antwoorden, tegen 18,6 procent als overslaan mocht.

Panels gedragen zich anders

Niet elke studie vindt extra uitval. Gerald Albaum en collega's in 2010, en Catherine Roster en collega's in 2014 met steekproeven in de Verenigde Staten en Hongkong, zagen dat verplichte antwoorden de uitval niet verhoogden en het aantal lege antwoorden wel flink verlaagden. Beide studies gebruikten onlinepanels.

Panelleden worden per ingevulde vragenlijst betaald en maken vragenlijsten uit gewoonte af. Eén geblokkeerde vraag laat ze zelden stoppen. Je klanten zijn je niets verschuldigd. Waar een panellid zijn schouders over ophaalt, haakt een klant misschien af.

Koop je panelsteekproef in, dan kost een verplichte vraag je weinig voltooide responses, al kan hij je nog steeds eerlijkheid kosten. Doen de mensen die je ondervraagt je een plezier, reken dan op het resultaat van de studenten.

Een gedwongen antwoord is niet altijd een echt antwoord

Uitval kun je tellen. De tweede kostenpost zie je minder makkelijk. Aan het eind van de enquête van Décieux kregen respondenten in neutrale bewoordingen de vraag hoeveel vragen ze niet eerlijk hadden beantwoord. Van wie was tegengehouden, gaf 25 procent er minstens één toe. In de versie met "zeg ik liever niet" was dat 13 procent. En de meest geïrriteerde mensen in de gedwongen groep waren al vertrokken voordat ze bij die vraag kwamen, dus het echte verschil kan groter zijn.

Psychologen noemen dit reactantie: neem iemand de vrijheid af om te weigeren en een deel verzet zich, door te stoppen of door een antwoord te geven dat niet klopt. Stel je een verplichte inkomensvraag voor in een klantenenquête. Iemand die dat niet wil delen, vinkt de eerste klasse aan, of de middelste. De kolom in je export is compleet, en je uitsplitsing naar inkomen bevat nu antwoorden die niemand meende.

Met kennis gaat het net zo. Vraag verplicht "hoe vaak nam je vorig jaar contact op met support?" en wie het niet weet, typt een gok, meestal een rond getal. De post over gevoelige vragen stellen legt uit waarom mensen hun antwoorden sowieso bijkleuren. Een antwoord afdwingen maakt dat erger.

"Zeg ik liever niet" en wat het kost

Een optie "zeg ik liever niet" lijkt het voor de hand liggende compromis. De vraag blijft verplicht, dus niemand slaat per ongeluk over, en mensen krijgen toch een eerlijke uitweg. In het onderzoek van Décieux verdween de extra uitval ermee, en het zelfgerapporteerde liegen lag op ongeveer de helft van dat bij respondenten die waren tegengehouden.

Edith de Leeuw, Joop Hox en Anja Boevé vonden in 2015 dat zo'n optie expliciet aanbieden meer ontbrekende data oplevert en vaak de betrouwbaarheid verlaagt van de antwoorden die je wel krijgt. Een makkelijke uitweg wordt gebruikt.

Bied hem dus aan waar weigeren een legitiem antwoord is. Inkomen, gezondheid, seksualiteit, geloof, een vraag over een leidinggevende bij naam: daar is "zeg ik liever niet" informatie, en die accepteer je. Bij een vraag over de meestgebruikte functie van vorige week hoort hij niet. Kan iemand die niet beantwoorden, voeg dan "geen van deze" toe.

Tel deze antwoorden in je analyse als ontbrekend, niet als een punt op je schaal.

Zachte herinneringen: één keer vragen, dan loslaten

Er is een betere standaard dan beide uitersten. Laat mensen overslaan, en toon als ze dat doen een korte melding met de vraag of dat de bedoeling was. Daarna mogen ze hoe dan ook door. Dat heet een zachte herinnering, of soft prompt.

Zoals Décieux en collega's samenvatten, vonden DeRouvray en Mick Couper in 2002 en Stéphane Ganassali in 2008 allebei dat een melding bij een overgeslagen vraag het aantal lege antwoorden verlaagde, terwijl leeg laten nog steeds mocht. Tarek Al Baghal en Peter Lynn vergeleken een melding direct na de overgeslagen vraag met een herinnering aan het einde van de vragenlijst. De directe melding werkte veel beter en bracht het aantal lege antwoorden tot dicht bij het niveau van face-to-face-interviews. In de studie van De Leeuw leverde overslaan toestaan en daarna beleefd doorvragen de hoogste respons op van alle geteste ontwerpen.

Een zachte herinnering vangt de per ongeluk overgeslagen vraag op en geeft de licht aarzelende een duwtje. Wie een echte reden heeft om te weigeren, laat je met rust. De formulering bepaalt of het voelt als een vraag of als een muur. Vergelijk:

• "Fout: beantwoord alle vragen voordat je verdergaat."
• "Deze vraag heb je nog niet beantwoord. Hij helpt ons begrijpen waarom klanten opzeggen, maar je mag hem overslaan."

De tweede zegt waarom het antwoord ertoe doet en dat overslaan mag. Zet hem naast de vraag en toon hem één keer. Een melding die bij elke klik op volgende terugkomt, is een harde herinnering met extra stappen.

Welke vragen verplicht mogen zijn

Sommige vragen hebben echt een antwoord nodig, omdat de enquête zonder dat antwoord niet werkt. De toets: als deze vraag leeg blijft, werkt de rest van de enquête dan nog?

• Toestemmingsvragen, waarbij je juridisch of ethisch niet verder kunt zonder ja.
• Selectievragen die bepalen of iemand wel in de steekproef hoort.
• Routingvragen waarvan het antwoord bepaalt welk blok volgt. De post over conditionele logica laat zien hoe een vertakking aan dat antwoord hangt.

Je belangrijkste uitkomstvraag staat er bewust niet tussen. De NPS-vraag of de algemene tevredenheidsscore verplicht maken is verleidelijk, want dat getal rapporteer je. Maar een afgedwongen score van iemand die er geen wilde geven, is het antwoord dat je het minst kunt vertrouwen. Gebruik een zachte herinnering en rapporteer hoeveel mensen antwoordden.

Houd die paar vragen feitelijk en ondubbelzinnig.

Maak een open vraag nooit verplicht

Een verplicht open tekstveld verzamelt alle problemen hierboven. Typen kost moeite, zeker op een telefoon, en wie niets te zeggen heeft, verzint iets. Je krijgt "nvt", "niks" of "...". De data van Décieux lieten een van de grootste sprongen in uitval zien bij precies zo'n vraag.

Maak open vragen optioneel en zet de vraag die je het belangrijkst vindt vroeg in de enquête. De post over enquêtes voor smartphones legt uit waarom typen op glas antwoorden korter maakt, en de gids voor het analyseren van open antwoorden gaat over de tekst die je wel krijgt.

De lege antwoorden lezen die je toestond

Noem bij elk cijfer de basis. "62 procent tevreden (n = 412)" laat de lezer zien dat minder mensen deze vraag beantwoordden dan er de enquête invulden. Behandel een leeg antwoord nooit als nul of als het laagste schaalpunt, want dan wordt een niet-antwoord een uitgesproken mening. En let op analyses die stilletjes elke respondent met een leeg veld weggooien. Combineer tien vragen, verwijder iedereen die er één oversloeg, en je kunt een derde van je steekproef kwijt zijn. Geen willekeurig derde, bovendien.

Het overslaanpercentage per vraag is ook een kwaliteitssignaal. Een vraag die vijf keer zo vaak wordt overgeslagen als de vragen eromheen, heeft een probleem. Vaak is de formulering onduidelijk of ontbreekt er een optie. De post over slechte enquête-antwoorden herkennen behandelt de andere waarschuwingssignalen. Met de MCP-server van SurveyLane vraag je een assistent welke vragen het vaakst worden overgeslagen, en of de overslaanders op de rest van de vragen verschillen van wie wel antwoordde.

Test de keuze vóór de lancering

Je kunt niet raden welke vragen mensen willen overslaan. Lanceer eerst bij een klein deel van je steekproef met overslaan overal toegestaan. Het overslaanpercentage per vraag wijst aan waar de formulering beter moet. De gids voor het vooraf testen van een enquête legt uit hoe je dat opzet.