Gevoelige vragen stellen zonder mensen tot liegen te dwingen

Sommige vragen krijgen een eerlijk antwoord. Andere krijgen het antwoord dat de respondent je wil laten hebben. Het gat tussen die twee is geen ruis die je kunt wegmiddelen. Het loopt één kant op, het is het breedst juist waar het onderwerp er het meest toe doet, en niks in je nette export laat zien welke rijen zijn opgeblazen. Dit is sociale wenselijkheid, en je ontwerpt ertegen voordat je verstuurt, niet erna.

Wat sociale wenselijkheid precies is

Mensen willen er goed uitzien, zelfs voor een vreemde die ze nooit zullen ontmoeten, zelfs in een enquête waarvan ze te horen kregen dat hij anoniem is. Dus bij elke vraag met een sociaal goedgekeurd antwoord schuiven respondenten die kant op. Ze rapporteren te veel van de dingen die een goede burger doet: stemmen, sporten, geven aan een goed doel, voorlezen aan hun kinderen. En ze rapporteren te weinig van de dingen die een stigma dragen, van drinken en drugsgebruik tot vooroordelen, schulden en het overslaan van de tandarts.

Het verraderlijke is dat de fout een richting heeft. Gewone meetruis spat beide kanten op en krimpt naarmate je steekproef groeit. Sociale wenselijkheid krimpt niet, want elke respondent leunt dezelfde kant op. Een grotere steekproef koopt je alleen een preciezere schatting van het verkeerde getal. Dat maakt het venijniger dan toevallige fout, en het waard om er echt ontwerptijd aan te besteden. Meer data redt je niet.

De interviewer is de grootste knop

Voordat je één woord aan de vraag verandert, bepaal je aan wie de respondent antwoordt. De aanwezigheid van een andere mens is de sterkste aanjager van sociale wenselijkheid die er is, en die uitzetten is de betrouwbaarste oplossing die je hebt.

Het Pew Research Center heeft dit rechtstreeks gemeten door dezelfde vragen telefonisch en op het web te stellen. Gevraagd naar hun persoonlijke financiën gaf 20 procent van de mensen die online antwoordden toe dat ze er financieel slecht voor stonden, tegen slechts 14 procent van degenen die een echte interviewer aan de lijn hadden. Dezelfde vraag, dezelfde periode. Het enige verschil was of er een mens meeluisterde. Pew vond ook dat weigeringen op gevoelige vragen hoger liggen als er een interviewer bij is. Mensen zeggen liever niets dan hardop iets onflatteus tegen een ander te zeggen.

De praktische les is simpel. Is een onderwerp gevoelig, houd het dan zelfinvullend. Een webformulier of een app die je in je eentje invult, levert meer openheid en minder weigeringen op dan welk interview ook, hoe goed getraind de interviewer ook is. SurveyLane is standaard zelfinvullend, dus je begint al vanuit de betere modus. Wat overblijft is de formulering en de plaatsing.

Niet elke gevoeligheid is hetzelfde

"Gevoelig" bundelt drie verschillende problemen, en die hebben niet allemaal dezelfde oplossing. Het helpt om ze uit elkaar te trekken. Een vraag kan opdringerig zijn: het voelt als iets wat je niets aangaat, wat het antwoord ook is, zoals inkomen of geloof. Hij kan een dreiging van openbaarmaking dragen, waarbij de respondent bang is dat het antwoord bij iemand terechtkomt en tegen hem gebruikt wordt, zoals drugsgebruik, of een personeelsenquête over een leidinggevende. Of hij kan sociaal wenselijk zijn, wat betekent dat er een antwoord bestaat dat er goed uitziet en een dat er fout uitziet, en het foute toegeven voelt beschamend.

Alleen de derde is sociale wenselijkheid in strikte zin, maar de drie reizen samen en voeden elkaar. Angst voor openbaarmaking maakt het wenselijke antwoord nog verleidelijker, want nu beschermt de leugen de respondent en redt tegelijk zijn gezicht. Benoem bij het nalezen van een concept welke soort gevoeligheid elke lastige vraag draagt. Opdringerigheid pak je aan door de vraag optioneel te maken en te zeggen waarom je hem stelt. Angst voor openbaarmaking pak je aan met een belofte van vertrouwelijkheid die je kunt nakomen. Sociale wenselijkheid pak je aan met formulering en modus. Grijp je naar de verkeerde knop, dan verspil je hem.

Formuleer de vraag zo dat het onwenselijke antwoord normaal voelt

Als het onderwerp vaststaat en de modus privé is, doet de formulering de rest. De kernzet is de drempel verlagen om het onflatteuze toe te geven, en daar zijn een paar betrouwbare manieren voor.

Laad de vraag richting het gevoelige antwoord, niet het flatteuze. Een neutraal "Heb je bij de laatste verkiezingen gestemd?" nodigt uit tot het brave-burger-antwoord. Een variant die niet-stemmen een uitweg geeft, zoals "Kwam er bij de laatste verkiezingen iets tussen waardoor je niet kon stemmen, of ben je bij het stembureau geraakt?", maakt van niet stemmen een normale uitkomst met een gewone smoes, en meer niet-stemmers geven het toe. Dit is een van de weinige plekken waar een bewust niet-neutrale vraag de accuratere is.

Normaliseer het gedrag voordat je ernaar vraagt. Een korte inleiding die zegt dat veel mensen het doen, haalt de schaamte eraf: "Veel mensen vinden het lastig om elke maand binnen hun budget te blijven. Hoe vaak zat je de afgelopen maand over dat van jou heen?" Je geeft het signaal dat het eerlijke antwoord gewoon en verwacht is, geen bekentenis. Houd de inleiding waar, want een norm verzinnen om een antwoord te fabriceren is zelf een vertekening. Maar waar het gedrag echt wijdverbreid is, koopt het zeggen ervan je openheid.

Geef het onflatteuze antwoord een makkelijke uitweg

Mensen liegen door weglating als het eerlijke antwoord geen comfortabel vakje heeft om in te zitten. Bouw dus dat vakje. Vraag je hoeveel glazen alcohol iemand vorige week dronk op een schaal die begint bij "0 tot 2", dan heeft de zware drinker bovenaan de reeks nergens eerlijk te landen, dus rondt hij naar beneden af. Trek de bovenkant van de schaal verder door dan je verwacht, zodat het echte antwoord nooit de meest extreme optie is. Van de meest extreme optie deinzen respondenten instinctief terug.

Bied ook een echte uitweg. Een expliciet "zeg ik liever niet" bij een gevoelige vraag verdient zijn plek. Een respondent die het kiest, kiest stilte boven een leugen, en dat houdt zijn andere antwoorden eerlijk en vertelt je dat het een vraag is die mensen bewaken. Dat is beter dan een gedwongen antwoord dat je niet kunt vertrouwen. Het is dezelfde redenering die achter betere enquêtevragen schrijven in het algemeen zit. De set opties is deel van de vraag, en een ontbrekende optie is een stille instructie om te sjoemelen.

Wees specifiek over de referentieperiode

Het te veel rapporteren van goed gedrag gedijt op vage tijdvakken. "Sport je regelmatig?" meet zelfbeeld, want "regelmatig" betekent wat de respondent maar wil, en iedereen rondt op naar de versie van zichzelf die hij van plan is te zijn. "Hoeveel dagen heb je de afgelopen zeven minstens twintig minuten gesport?" meet gedrag, want het pint een telbaar iets vast op een venster dat kort genoeg is om echt te onthouden.

Strakke, recente referentieperiodes snijden sociale wenselijkheid op twee manieren weg. Ze geven het flatteuze zelfbeeld minder ruimte, en ze leunen op geheugen in plaats van identiteit. De prijs is nauwkeurigheid van herinnering. Vraag naar een te lang venster en mensen schuiven gebeurtenissen erin of eruit, dus stem het venster af op hoe goed het gedrag te onthouden is. Zeldzame, levendige gebeurtenissen verdragen een langere periode. Frequente, vergeetbare hebben een korte nodig.

Zet de gevoelige vragen achteraan

Waar een vraag staat, verandert hoe hij beantwoord wordt. Open met de gevoelige vraag en je geeft vertrouwen uit dat je nog niet verdiend hebt, dus mensen haken af of blokkeren. De trechtervorm, breed en makkelijk bovenaan en smal en gevoelig onderaan, bestaat deels hiervoor. Tegen de tijd dat een respondent de lastige vraag bereikt, heeft hij een paar minuten geïnvesteerd en wat vaart opgebouwd, en antwoordt hij eerlijker dan hij bij de deur zou hebben gedaan.

Demografische vragen die opdringerig voelen, zoals inkomen, horen om dezelfde reden achteraan. De uitzondering is een demografische vraag die je nodig hebt om de enquête te sturen, en die moet vroeg komen. Het volledige verhaal over volgorde staat in vraagvolgorde-effecten. Wat je hier meeneemt: gevoeligheid is een van de belangrijkste dingen die een goede volgorde beschermt.

Maak de belofte van vertrouwelijkheid echt, en houd hem

Een respondent weegt af hoe eerlijk hij zal zijn tegen hoe kwetsbaar het antwoord hem kan maken. Een geloofwaardige belofte van vertrouwelijkheid kantelt die afweging richting openheid, maar alleen als hij geloofwaardig is. Vage geruststelling doet weinig. Een concrete uitleg over wie de ruwe antwoorden ziet, wat er voor de analyse af gaat, en wat nooit naar hem herleid wordt, doet veel meer.

De snelste manier om je eigen belofte te breken is hem elders in de enquête ondermijnen. Vraag naam, personeelsnummer of e-mail op dezelfde pagina als een vraag of mensen hun leidinggevende vertrouwen, en elke geruststelling op het introscherm is waardeloos. Beloofde je anonimiteit, verzamel dan niets wat opnieuw identificeert. Het verschil tussen anonimiteit en vertrouwelijkheid doet er hier toe. Het verandert wat je eerlijk kunt beweren, en wat je een respondent kunt beloven is het waard om precies goed te krijgen voordat je erop leunt om gevoelige antwoorden los te krijgen.

Als het er echt om spant: indirecte technieken

Soms is het onderwerp zo gevoelig dat geen enkele formulering je een recht zelfrapport oplevert, en accepteer je dat je het helemaal niet direct kunt vragen. Twee gevestigde technieken ruilen precisie voor openheid door de vingerafdruk van de respondent van het antwoord te halen.

Het lijstexperiment, of item-count-techniek, geeft één willekeurige helft van je steekproef een lijst onschuldige uitspraken en vraagt alleen hoeveel er waar zijn, niet welke. De andere helft krijgt dezelfde lijst plus de gevoelige uitspraak. Niemand geeft de gevoelige uitspraak ooit op zichzelf toe. Je haalt uit het verschil in gemiddelde aantallen tussen de twee groepen hoe vaak hij voorkomt. De randomized-response-techniek, een methode uit de jaren zestig, doet iets soortgelijks met een muntworp. De respondent antwoordt eerlijk of geeft een vast antwoord, afhankelijk van een private willekeurige uitkomst die jij nooit ziet, zodat elke losse "ja" te ontkennen is terwijl het groepspercentage nog terug te rekenen valt.

Beide kosten je veel steekproef en geven je een schatting op groepsniveau, geen individuele data die je kunt kruistabelleren. Voor de meeste enquêtes is het overkill. Maar meet je iets wat mensen een sterke reden hebben om te verbergen en heb je alleen het percentage nodig, dan verslaan ze een directe vraag waar iedereen stilletjes op liegt.

Achteraf schoonmaken lukt niet helemaal

Ontwerp is het grootste deel van het werk, want de achterkant kan zo weinig. Zodra een sociaal wenselijk antwoord in het bestand staat, ziet het er precies zo uit als een eerlijk. Er is geen vlaggetje, geen uitschieter, geen restant dat je kunt aftrekken. Waar een externe maatstaf bestaat, zoals opkomstcijfers, verkoopcijfers of bekende populatiepercentages, kun je op zijn minst de richting en de ruwe omvang van de opblazing zien door je zelfrapporten ertegen te houden. Meestal heb je zo'n anker niet, en zit de vertekening er gewoon ingebakken.

Wat je achteraf wel vangt zijn de grovere problemen die ernaast meeliften, het rechtdoorklikken en te snelle invullen en geknipte-en-geplakte antwoorden die responskwaliteit bewaken moet vinden. Sociale wenselijkheid is stiller dan die en komt zelden in dezelfde controles boven, en daarom gaat het geld vooraan zitten. Kies de private modus. Formuleer de vraag zo dat het eerlijke antwoord het makkelijke is. Zet hem achteraan. Doe een belofte die je echt nakomt. Die vier zetten doen meer dan welke schoonmaak ook ooit doet.