Belonen respondenten je betere data op, of gewoon meer?

Bied mensen geld en meer van hen vullen je enquête in. Dat staat vast, en daar stopt het denken meestal. De lastigere vragen zijn juist de vragen die een beloning nooit beantwoordt. Zijn die extra responses de mensen die je miste? Verandert betalen wat mensen opschrijven? Een hoger responspercentage oogt als winst op het dashboard, maar of het winst is voor je data hangt af van wie er kwam door het geld, en wie alsnog wegbleef.

Wat een beloning eigenlijk koopt

Een beloning koopt aandacht, geen eerlijkheid. Het schuift je enquête omhoog op de stapel bij iemand die anders het tabblad had gesloten, door de kleine privé-rekensom te veranderen die elke ontvanger maakt tussen de moeite die je vraagt en wat hij ervoor terugkrijgt. Meestal is dat een vaag gevoel van hulp. Een paar euro, een cadeaubon, een plek in een trekking: elk daarvan kantelt de afweging.

Wat het niet koopt, is een beter antwoord op welke afzonderlijke vraag dan ook. Iemand die betaald is om er te zijn, is niet eerlijker dan een vrijwilliger. De hele waarde van een beloning zit dus in het binnenhalen van mensen die verschillen van je gretige vrijwilligers, zodat je het gat dicht tussen wie je trok en wie werkelijk antwoordde.

Vooraf betalen wint van beloven, met afstand

De meest robuuste bevinding hier gaat over timing, niet over bedrag. Geld dat je met het verzoek meestuurt werkt veel beter dan geld dat je bij voltooiing belooft. Alan Church bundelde in zijn meta-analyse uit 1993 in Public Opinion Quarterly 38 experimenten, en vond dat een kleine contante beloning in de envelop het responspercentage bij postenquêtes gemiddeld zo'n 19 procentpunt optilde. Een beloning die pas bij terugsturen werd beloofd, voegde er minder dan vier toe, en alleen de beloningen vooraf leverden een statistisch betrouwbaar effect op.

Het mechanisme is sociaal, niet economisch. Een beloning vooraf is een klein cadeau, en een cadeau schept een lichte drang om iets terug te doen. Geld dat je bij voltooiing belooft is een transactie, en een paar euro is een slecht loon voor tien minuten werk, dus de ontvanger rekent de deal door en haakt af. Daarom kan een muntstuk van twee euro dat aan een brief is geplakt een beloofde tien verslaan die pas landt als je klaar bent. Je laat vertrouwen zien voordat je iets hebt gevraagd.

Contant geld wint van alles waarmee je het wilt vervangen

Als mensen mogen kiezen, waarderen ze contant geld boven een cadeau van dezelfde nominale waarde, en boven een donatie aan een goed doel namens hen. Een bedrukte pen, een sleutelhanger, een lot in een trekking voor een tablet: ze presteren allemaal slechter dan gewoon geld, want hun waarde voor de ontvanger is onzeker en meestal lager dan de prijs die jij betaalde. Kun je geen contant geld sturen, dan is een onvoorwaardelijke bon die als geld uitgeeft het beste alternatief. Hoe verder je afdrijft van geld dat de ontvanger vrij kan besteden, hoe meer effect je weggeeft. Bedenk dat voordat je jezelf de tas met logo aanpraat.

Klein en vooraf wint van groot en beloofd

De opbrengst van het bedrag neemt snel af. De sprong van niets naar een symbolisch bedrag vooraf is groot; die naar een royaal bedrag is klein, en soms onzichtbaar. Een bescheiden bedrag dat iedereen vooraf ontvangt doet meer per euro dan een groot bedrag dat een paar mensen aan het einde krijgen, dus het kostenefficiënte ontwerp is meestal een kleine beloning vooraf naar de hele steekproef. De uitzondering is een echt zware vraag, zoals een lang dagboekonderzoek of een herhaalde meting, waar een groter bedrag eerder eerlijke betaling wordt dan een duwtje.

Meer responses is geen betere steekproef

Hier zit de val. Een beloning tilt je responspercentage op, en een hoger responspercentage oogt als minder nonrespons-vertekening, dus is het verleidelijk om aan te nemen dat de extra mensen je scheefheid repareerden. Misschien. Misschien zijn ze ook meer van hetzelfde. Trekt de beloning vooral de groepen aan die je al ruim had, dan klimt je percentage en beweegt je vertekening niet.

Nonrespons-vertekening is geen functie van hoeveel mensen weigerden. Het is een functie van hoe sterk de weigeraars verschillen van de responders op wat je meet. Dat is precies het punt dat door wie je enquête invult en wie niet loopt: een grote stapel responses is geen representatieve. Een beloning verdient zichzelf terug als ze de terughoudenden en de onverschilligen omzet, de mensen wier afwezigheid je schattingen boog.

Bederft betalen de antwoorden?

De zorg is terecht. Betaal mensen en je haalt vakjesvinkers binnen die de beloning willen en niet het gesprek. Het bewijs wijst daar grotendeels niet op. Eleanor Singer en Cong Ye concludeerden in hun overzicht uit 2013 in The Annals of the American Academy of Political and Social Science, de standaardsynthese van decennia onderzoek naar beloningen, dat beloningen hooguit kleine effecten op datakwaliteit hebben, en dat de effecten op de samenstelling van je steekproef onduidelijk blijven, zonder aantoonbare schade. Betaalde respondenten zijn niet betrouwbaar luiere respondenten.

Dat is geen vrijbrief om te stoppen met kijken. Een beloning verhoogt de opbrengst voor wie bereid is door onzin heen te rennen om bij de beloning te komen, en op een open panel is die druk echt. De verdediging is de kwaliteitscontroles blijven draaien die je toch al moet draaien, het herkennen van straightlining, snelklikken en knip-en-plak-antwoorden dat responskwaliteit bewaken beschrijft. Laat de angst voor een paar slechte rijen niet de terughoudende meerderheid ongemotiveerd achter.

Het probleem van de beroepsrespondent

Waar beloningen echt vertekenen, is aan het uiterste: online panels waarvan de leden enquêtes invullen voor de kost. Dit zijn niet je klanten die toevallig betaald kregen. Het zijn mensen die de beloning per minuut optimaliseren over tientallen onderzoeken. Ze leren aandachtscontroles passeren en met geoefend gemak satisficen.

Een beloning maakte deze persoon niet, maar het is het water waarin hij zwemt, en een slecht bewaakt panel loopt er snel mee vol. Koop je responses bij een panel, dan zit de beloning in een keten die je niet beheerst, en verschuift je verdediging van het ontwerpen van de beloning naar het keuren van de bron: valstrikvragen, consistentiechecks, en een scherpe blik op iedereen die veel sneller klaar is dan de mediaan.

Loterijen en prijstrekkingen zijn goedkoper, zwakker, lastiger

De prijstrekking is populair omdat ze goedkoop is. Eén tablet in plaats van een munt voor iedereen. Ze werkt ook minder goed. Een gegarandeerde kleine beloning verslaat een minieme kans op een grote, want een lot met een verwachte waarde van bijna nul beweegt weinig mensen, en het mist de wederkerigheid van een cadeau vooraf.

Trekkingen slepen complicaties mee die contant geld vermijdt. In veel landen gelden ze als promoties, met regels over gepubliceerde voorwaarden en deelnamerecht. En om de prijs uit te keren moet je de winnaar identificeren, dus heeft de anonieme enquête nu een naam en een e-mailadres eraan hangen. Beloofde je anonimiteit, dan heb je die zojuist gebroken. De scheidslijn tussen wat anonimiteit en vertrouwelijkheid echt betekenen is precies waar een prijstrekking mensen laat struikelen.

Betaal meer voor de moeilijk bereikbaren, maar let op de eerlijkheid

Soms zijn de terughoudende groepen vooraf bekend, en dan kan meer betalen om hen binnen te halen de juiste zet zijn, want je geeft geld uit waar het de vertekening verkleint. Het kost wel iets: vergelijken respondenten onderling en blijkt dat sommigen meer kregen voor dezelfde taak, dan kan die oneerlijkheid een panel bederven dat je opnieuw wilt bevragen. Voor een eenmalige dwarsdoorsnede is de moeilijk bereikbaren wat meer betalen verdedigbaar. Voor een vast panel beschermt gelijkheid de relatie, en bereik je de terughoudenden via herinneringen en ontwerp.

Belonen over meerdere metingen

In een longitudinaal onderzoek is de beloning geen eenmalig duwtje. Het is het onderhoudsbudget voor een relatie. Betaal goed bij werving en je zet een verwachting neer. Verlaag de beloning in een latere meting en de uitval stijgt, want mensen merken een verslechtering scherper op dan ze de oorspronkelijke aanbieding merkten. De goodwill die een beloning vooraf in de eerste ronde koopt, moet je vernieuwen, anders brokkelt het panel af bij precies de mensen die je betaalde om te houden. Ook de belasting telt hier: een panel dat eerlijk betaalt en de tijd van mensen respecteert houdt er meer vast dan een panel dat meer betaalt maar elke ronde een uitputtende slog vraagt. De beloning en de lengte van de enquête zijn twee helften van hetzelfde retentieprobleem.

De kant van toestemming en privacy

Een respondent belonen betekent bijna altijd hem identificeren. Je kunt geen bon naar een anonieme sessie sturen, dus zodra je een beloning koppelt, heb je een persoon aan zijn antwoorden verbonden, lang genoeg om te betalen. Die koppeling is persoonsgegeven: ze heeft een grondslag en een bewaartermijn nodig, en ze moet los van de responsdata zodra de betaling rond is, als je vertrouwelijkheid beloofde. Ontwerp het betaalpad dus zo dat het gescheiden blijft, verzamel de uitbetaalgegevens ergens waar ze niet in dezelfde rij als de antwoorden staan, en verwijder ze op schema. Het faalgeval is een beloningsflow die stilletjes een enquête heridentificeert waarvan je mensen vertelde dat hij privé was, wat meer schade aan vertrouwen doet dan de beloning ooit opleverde.

Een standaard om mee te beginnen

Wil je een startpunt in plaats van een onderzoeksprogramma? Voor een eenmalige enquête naar je eigen lijst verdient een kleine of onvoorwaardelijke beloning vooraf naar iedereen meer terug dan een grote prijs beloofd aan een paar, en houdt ze je beloftes over identiteit intact. Let op de uitkomst voor het handjevol dat alleen voor het geld kwam, en beoordeel succes aan de vraag of de terughoudende groepen bewogen, niet aan het responspercentage alleen. Bewaar de grotere bedragen voor zware vragen, en de prijstrekking voor het geval je echt niets anders kunt sturen. Richt de beloning op die ene taak, het omzetten van de mensen wier stilte je resultaten vertekende, en het is goed besteed geld. Richt hem op het percentage om zichzelf, en je betaalt om een ijdel getal beter te laten ogen.