Enquêtemoeheid: hoe vaak kun je dezelfde mensen iets vragen?

Je enquête komt niet in een lege inbox binnen. Hij landt naast de onboarding-enquête die het productteam vorige week stuurde, de beoordeling van een supportticket van gisteren en de pulse-meting die HR voor maandag heeft ingepland. De ontvanger ziet gewoon één bedrijf dat alweer iets vraagt. Elk verzoek kost wat goodwill, en de volgende enquête betaalt de rekening, of die nu van jou is of van een collega.

Twee soorten enquêtemoeheid

Met dat woord worden twee verschillende problemen bedoeld, en ze vragen om een andere aanpak.

De eerste is vermoeidheid binnen één vragenlijst: bij vraag 25 klikt iemand dezelfde kolom af in een matrix, of sluit hij het tabblad. Daar gaat de post over enquêtelengte en uitval over.

De tweede is vermoeidheid over enquêtes heen: iemand is zo vaak gevraagd dat de volgende uitnodiging ongeopend blijft. Vraag 25 herschrijven helpt dan niets, want vraag 1 wordt al niet gehaald. Deze post gaat over die tweede soort.

Het bewijs is hier dunner dan bij vragenlijstlengte. In een literatuuroverzicht uit 2022 in het Journal of Interdisciplinary Studies in Education concludeerde Barry Fass-Holmes dat enquêtemoeheid "has not been rigorously defined", terwijl het steeds de schuld krijgt van lage respons. Wees dus wantrouwig tegenover precieze vuistregels, ook die verderop in dit stuk.

Wat de experimenten van Wesleyan maten

Het bruikbaarste onderzoek is oud en klein. En opvallend zuiver. Stephen Porter, Michael Whitcomb en William Weitzer deden twee gerandomiseerde experimenten aan Wesleyan University en publiceerden ze in 2004, in nummer 121 van New Directions for Institutional Research. Ze stuurden bewust sommige mensen meer enquêtes dan andere en keken wat er daarna gebeurde.

In het voorjaar van 2001 werden de 649 laatstejaarsstudenten willekeurig in twee groepen verdeeld. Eén groep kreeg eind maart en in april een vragenlijst van zeven pagina's over hun studietijd. Daarna kregen alle laatstejaars van eind april tot in mei de Senior Survey van acht pagina's. Wie niet eerder was gevraagd, reageerde voor 67 procent. Wie net de eerste enquête had gekregen, voor 57 procent. Eén extra verzoek, vlak ervoor, kostte 10 procentpunten.

Het tweede experiment liep in het studiejaar 2002-2003. Eerstejaars werden willekeurig verdeeld over vier groepen van 144 en kregen in de loop van het jaar één tot vier webenquêtes. Bij de enquête over de catering, eind november, was de respons 68 procent bij studenten zonder eerdere enquête, 58 procent na één en 46 procent na twee. Een daling van 22 punten, en alle drie de enquêtes vielen in één semester.

Kort na elkaar doet het meeste pijn

In maart volgde nog een vierde enquête. Studenten die in het najaar al drie enquêtes hadden gehad, reageerden voor 47 procent, tegen 60 procent bij studenten die alleen deze kregen. Nog steeds 13 punten verlies, maar minder dan de 22 in november, toen de verzoeken dichter op elkaar zaten.

De auteurs concludeerden dat de moeheid het sterkst is als enquêtes direct na elkaar komen, en dat het effect met de tijd lijkt weg te ebben. Een enquête uit het vorige semester raakt de volgende soms nauwelijks.

De spreiding telt dus zwaarder dan het jaartotaal. Vier enquêtes verdeeld over twaalf maanden voelen heel anders dan vier in zes weken, ook al staat er in de planning bij allebei "vier per jaar".

Relevantie weegt zwaarder dan het aantal

Bij één groep ging de respons bij de tweede enquête omhoog. Dat was de enquête over de catering: kort, en over iets waar elke eerstejaars dagelijks mee te maken had. Ook de enquête over de introductieweek, waar de studenten net doorheen waren gegaan, liet weinig meetbare moeheid achter. De schade kwam van een landelijke vragenlijst over alcohol en drugs die de auteurs lang en persoonlijk indringend noemen.

Een eerder onderzoek aan de U.S. Air Force Academy, dat Porter en collega's aanhalen, wijst dezelfde kant op. Van de ondervraagde cadetten voelde 97 procent zich op zijn minst een beetje overbevraagd, en 48 procent zei "ja, zeker". Gevraagd wat ze daarmee bedoelden, beschreven ze frequente enquêtes die niets met hun dagelijks leven te maken leken te hebben.

Dat sluit aan bij de leverage-salience-theorie die Robert Groves, Eleanor Singer en Amy Corning in 2000 in Public Opinion Quarterly publiceerden. Mensen wegen kenmerken van een verzoek af, zoals onderwerp en afzender, en die tellen voor iedereen anders. Een enquête over iets wat de respondent belangrijk vindt, kan zwaarder wegen dan het feit dat het de derde van de maand is.

"Stuur minder enquêtes" is dus de verkeerde regel. Een betere: stuur geen enquêtes waar mensen geen reden hebben om om te geven, en stuur ze nooit direct na elkaar.

Wie blijft antwoorden, is niet iedereen

De respons in Wesleyan stortte nooit in. Geen enkele enquête in het tweede experiment zakte onder de 44 procent, hoeveel verzoeken er ook aan voorafgingen. De auteurs vermoeden een vaste kern van trouwe invullers die alles beantwoordt wat je stuurt.

Dat is slecht nieuws. Als veel enquêteren iedereen wegfiltert behalve je meest meewerkende mensen, vlakt het responspercentage af en ziet het er stabiel uit, terwijl de groep erachter steeds minder lijkt op de populatie die je wilt beschrijven. Trouwe klanten blijven antwoorden, de klanten die stilletjes afhaken stoppen. Betrokken medewerkers vullen ook de vijfde pulse in. De onverschillige haakten bij de tweede al af.

In meerdere tabellen van het onderzoek was de daling bij sommige subgroepen groter, al waren de meeste verschillen met zulke kleine groepen niet statistisch significant. De post over steekproefkwaliteit legt uit waarom een lage respons op zich het probleem niet is, en een scheve wel.

Waarom de druk blijft toenemen

De auteurs maakten zich in 2004 al zorgen dat goedkope webtools iedereen een enquête lieten versturen. Nu heeft elke helpdesk en elk HR-platform er een ingebouwd. Pew Research Center meldde in februari 2019 dat de respons op zijn telefonische enquêtes daalde naar 7 procent in 2017 en 6 procent in 2018. Niemand kan dat aan één oorzaak toeschrijven, maar als iedereen meer vraagt, is elk verzoek minder waard.

Ook de verwachting telt. Porter en collega's halen een experiment uit 1998 aan van Apodaca, Lea en Edwards: alleen al mensen vertellen dat ze de komende jaren nog een paar keer benaderd zouden worden, verlaagde de respons met 5 procentpunten.

Maak een kalender van alle enquêtes naar je doelgroep

Wat je niet ziet, kun je niet sturen. Begin met één lijst van alle enquêtes die dezelfde mensen bereiken, van welk team ook.

Bij klanten zijn dat ticketbeoordelingen, NPS, onboarding- en opzeggingsenquêtes, werving voor onderzoek en feedback na events. Bij medewerkers het medewerkersonderzoek, pulses, onboarding- en exitenquêtes, evaluaties van trainingen en alles wat leidinggevenden zelf rondsturen.

Noteer per enquête wie hem krijgt, wat hem activeert en wie de eigenaar is. Je vindt overlap die niemand heeft gepland, zoals deze: een klant opent een supportticket, krijgt een ticketbeoordeling, krijgt dezelfde week de kwartaal-NPS en daarna nog een uitnodiging voor een onderzoeksinterview.

Stel een contactregel per persoon in

Met de kalender voor je neus stel je een regel op die per persoon geldt: een minimale tijd tussen twee enquête-uitnodigingen aan dezelfde persoon. Dertig dagen is een gangbaar startpunt voor klantonderzoek. Zie dat getal als aanname en toets het aan je eigen data.

Botsen twee enquêtes, dan wacht er één. Een werkbare volgorde: eerst alles waar de persoon zelf om vroeg, dan transactionele enquêtes over iets wat net is gebeurd, dan periodieke enquêtes, dan de rest. Een onderzoeksteam dat "maar een paar klanten" wil spreken, mag de regel niet omzeilen omdat de enquête kort is.

Respondenten maken ook geen onderscheid tussen je enquête en je herinnering. Een uitnodiging plus twee herinneringen zijn drie contacten, dus tel ze mee in de regel. De post over uitnodigingen in de inbox krijgen legt uit waarom elke extra mail je ook afzenderreputatie kost.

Werk met steekproeven

Wil je iedereen minder vaak vragen, vraag dan niet elke keer iedereen. Stel dat je 20.000 klanten hebt en 400 goede antwoorden nodig hebt voor de precisie die je zoekt. De enquête elk kwartaal naar alle 20.000 sturen verspilt goodwill die je het volgende kwartaal nodig hebt.

Trek elke ronde een nieuwe aselecte steekproef en laat de mensen van de vorige keer met rust. Over een jaar krijgt elke klant één uitnodiging, en jij hebt nog steeds vier metingen. De post over hoeveel respondenten je nodig hebt rekent dat aantal voor je uit.

Kleine populaties hebben die optie niet. Een team van 40 mensen kun je niet steekproefsgewijs bevragen, dus elke enquête bereikt iedereen en afstemming wordt nog belangrijker.

Getriggerde enquêtes hebben een rem nodig

Een beoordeling na elk supportticket klinkt redelijk, tot een klant met een lastig probleem in twee weken zes tickets opent en zes identieke enquêtes krijgt. Precies de persoon van wie je het meest wilt horen, irriteer je het meest.

Geef elke trigger een onderdrukkingsregel: enquêteer alleen het eerste ticket in een bepaalde periode, of alleen het ticket dat de zaak afsluit, en nooit als de persoon onlangs al een uitnodiging kreeg. Conditionele logica bepaalt welke vragen iemand binnen een enquête ziet. Of de enquête überhaupt verstuurd wordt, regel je in de contactregel.

Laat zien wat de vorige enquête veranderde

De cadetten klaagden over enquêtes die irrelevant voelden. Relevantie heeft nog een kant: of er zichtbaar iets gebeurt nadat je hebt geantwoord.

Vullen mensen je medewerkersonderzoek in en horen ze een jaar lang niets, dan leest de volgende uitnodiging als een herinnering dat de vorige nergens toe leidde. Een kort bericht voor de nieuwe ronde verandert de afspraak: "Jullie zeiden X, dus we hebben Y veranderd. Z hebben we niet gedaan, en dit is waarom." De post over de feedbackloop sluiten beschrijft hoe je dat per respondent doet. Een algemene memo werkt minder goed.

Houd je eigen cijfers in de gaten

Moeheid zie je in je eigen data als je per contactgeschiedenis kijkt. Splits de respons van elke enquête uit naar het aantal uitnodigingen dat iemand in de drie of zes maanden ervoor kreeg. Daalt de respons met elke extra uitnodiging, dan zie je het Wesleyan-patroon in je eigen populatie. Kijk ook naar kwaliteit. Meer rechtlijnig invullen en kortere open antwoorden bij mensen die vaak worden gevraagd, zijn tekenen van moeheid die je responspercentage niet laat zien. De post over responskwaliteit bewaken somt op waar je op let.

Vergelijk daarna respondenten en non-respondenten op wat je al van ze weet, zoals klantduur en regio. Wordt dat verschil elke ronde groter, dan beschrijven je trendlijnen inmiddels een andere groep. Repareer de contactregels voordat je aan de vragenlijst begint. Deze mensen zijn gestopt voordat ze hem zagen.