Vragen over gedrag: wat respondenten zich echt herinneren
Vraag je hoe vaak iemand iets deed, dan krijg je een schatting terug. Zo bepalen referentieperiode, telescoping en je antwoordschaal die schatting, en zo formuleer je gedragsvragen die mensen wel kunnen beantwoorden.
Door SurveyLane · Het team achter SurveyLane
"Hoe vaak heb je het afgelopen jaar contact gehad met onze klantenservice?" Dat lijkt een feitelijke vraag met één goed antwoord. Voor de meeste respondenten is het dat niet. Niemand houdt bij hoe vaak hij de klantenservice belde. Het getal dat je terugkrijgt is in een paar seconden in elkaar gezet, op gevoel. Gedragsvragen gaan anders mis dan meningsvragen. De respondent wil het je best vertellen. Alleen ligt de herinnering waar je om vraagt nooit opgeslagen in de vorm die je vraag veronderstelt.
Wat er gebeurt tussen je vraag en het antwoord
Enquêtemethodologen knippen het beantwoorden op in vier stappen, een model dat Roger Tourangeau, Lance Rips en Kenneth Rasinski uitwerkten in The Psychology of Survey Response (2000). De respondent moet de vraag begrijpen, relevante herinneringen ophalen, die omzetten in een oordeel en dat oordeel passend maken op het antwoordformaat dat je aanbiedt.
Gedragsvragen lopen vast bij de tweede en derde stap. Het ophalen gaat met gaten, en in de oordeelstap wordt tellen stilletjes vervangen door schatten.
Mensen schatten, ze tellen niet
Je geheugen houdt geen turflijst bij. Vraag je "hoe vaak", dan kiest de respondent een strategie op basis van wat er beschikbaar is.
Scott Burton en Edward Blair onderzochten die strategieën in Public Opinion Quarterly in 1991. Bij gedrag dat zelden voorkomt, gaan mensen opsommen: ze halen elke keer terug en tellen op. Bij frequent gedrag stappen ze over op een tempo, zoiets als "een keer of twee per week, dus zo'n acht per maand".
Beide strategieën gaan voorspelbaar mis. Opsommen mist de keren die niets bijzonders waren, dus je telt te laag. Een tempo beschrijft iemands normale routine en laat de uitzonderingen weg: de twee weken ziek thuis, de maand waarin iemand tijdens een project elke dag inlogde. Geen van beide verschijnt in je data als fout. Je krijgt hoe dan ook een keurig getal.
Laat de referentieperiode passen bij het gedrag
De referentieperiode is het tijdvak waar je naar vraagt, bijvoorbeeld "de afgelopen 7 dagen". Het is je grootste knop, en teams kiezen hem meestal omdat hij goed uitkomt in het kwartaalrapport.
Een vuistregel die standhoudt: hoe vaker en alledaagser het gedrag, hoe korter het tijdvak. Hoe vaak iemand je app opende is hooguit een vraag over 7 dagen. Of iemand een abonnement opzegde, verhuisde of een klacht indiende, weten mensen een jaar of langer, omdat zulke gebeurtenissen zeldzaam zijn en opvallen.
"Hoe vaak heb je de afgelopen 12 maanden de zoekfunctie gebruikt?" dwingt tot een schatting over een jaar dat niemand zo gedetailleerd onthoudt. Iemand die dagelijks zoekt, antwoordt 50 of 500, afhankelijk van hoe hij rekende. "Op hoeveel van de afgelopen 7 dagen heb je de zoekfunctie gebruikt?", met antwoorden van 0 tot 7, is iets wat mensen echt kunnen tellen.
Een kort tijdvak heeft een prijs. Minder mensen hebben het gedrag dan überhaupt vertoond, en één week kan voor een individu net een rare week zijn. In een redelijke steekproef middelt dat uit. Je verliest precisie over elke persoon en wint nauwkeurigheid over de groep, en dat laatste wilde je meestal toch weten.
Telescoping trekt oude gebeurtenissen je tijdvak in
Mensen die zich een gebeurtenis herinneren, plaatsen hem nog vaak verkeerd in de tijd. Het klassieke onderzoek is van John Neter en Joseph Waksberg, gepubliceerd in het Journal of the American Statistical Association in 1964. Ze keken hoe huishoudens hun uitgaven aan klussen in huis rapporteerden en zagen dat respondenten werk van vóór de referentieperiode meldden alsof het erbinnen viel. Het effect heet telescoping, naar de manier waarop een telescoop verre dingen dichterbij laat lijken.
Voorwaartse telescoping blaast tellingen van gedenkwaardige gebeurtenissen op. Een klant die veertien maanden geleden een slechte ervaring met je klantenservice had, zet die vaak "in het afgelopen jaar". Je getal stijgt en niets in de data vertelt je waarom.
Zo baken je het tijdvak af
De oplossing van Neter en Waksberg was het begrensde interview. In een panel markeert het vorige interview wat al gemeld is, zodat het volgende alleen nieuwe gebeurtenissen telt. Het idee kun je ook zonder panel lenen.
Hang het tijdvak op aan een datum of gebeurtenis die mensen kunnen plaatsen. "Sinds 1 januari" is makkelijker in te schatten dan "de afgelopen 10 maanden". "Sinds de nieuwe prijzen in maart ingingen" is nog makkelijker, als je respondenten die verandering hebben gemerkt.
Vraag eerst naar de langere periode en versmal dan. "Heb je het afgelopen jaar contact gehad met de klantenservice?" gevolgd door "En in de afgelopen drie maanden?" geeft mensen een plek voor de oudere gebeurtenissen, zodat ze die niet in het tijdvak proppen waar het jou om gaat. Het eerste antwoord mag je weggooien. Het moest alleen de verkeerd geplaatste gebeurtenissen opvangen.
"Meestal" en "vorige week" zijn verschillende vragen
"Hoeveel uur per week zit je meestal in vergaderingen?" en "Hoeveel uur zat je vorige week in vergaderingen?" lijken inwisselbaar. Dat zijn ze niet.
"Meestal" lokt een schatting van een gewone week uit, en de gewone week die mensen beschrijven is een geïdealiseerde. De uitzonderingen vallen weg en het antwoord schuift op naar hoe iemand zichzelf ziet. "Vorige week" wijst naar dagen die mensen deels kunnen reconstrueren, dus er wordt een beetje geteld. Elk afzonderlijk antwoord is rommeliger. Over de hele steekproef is het minder vertekend.
Kies bewust. Wil je individuen indelen, dan is "meestal" misschien het stabielere signaal. Voor een nauwkeurig gemiddelde van een team of bedrijf vraag je naar een concrete recente periode en laat je de steekproef de vreemde weken uitmiddelen.
Je antwoordcategorieën vertellen wat normaal is
Bied je klassen aan, dan veranderen die klassen het antwoord. Norbert Schwarz, Hans-Jürgen Hippler, Brigitte Deutsch en Fritz Strack lieten dat zien in Public Opinion Quarterly in 1985. Ze vroegen mensen hoeveel televisie ze per dag keken. De ene groep kreeg een schaal van "tot een half uur" tot "meer dan 2,5 uur". De andere kreeg er een van "tot 2,5 uur" tot "meer dan 4,5 uur".
Op de hoge schaal meldde 37,5 procent 2,5 uur of meer per dag. Op de lage schaal was dat 16,2 procent. Zelfde populatie, zelfde gedrag, ruim twee keer zo veel. Mensen lazen het midden van de schaal als gemiddeld en plaatsten zichzelf ten opzichte daarvan. De groep met de lage schaal vond televisie ook belangrijker in hun leven, omdat de schaal hun vertelde dat ze meer keken dan de meeste mensen.
Het effect is het sterkst bij frequent, slecht onthouden gedrag dat mensen toch al schatten. Een productteam dat "Minder dan één keer per week / 1 tot 3 keer per week / 4 tot 6 keer per week / Dagelijks / Meerdere keren per dag" opschrijft, heeft de respondent al verteld hoe normaal gebruik eruitziet.
Liever getallen dan klassen, en liever allebei dan vage woorden
Voor gedrag dat je kunt tellen, is een open getalveld meestal beter. Er is geen schaal om op te ankeren, en je kunt de antwoorden achteraf indelen zoals je wilt. Stel in de validatie een redelijk maximum in en zet er een korte eenheid bij, zoals "dagen" of "keer".
Heb je toch klassen nodig, baseer ze dan op je eigen data of een pilot, en zorg dat de categorieën niet overlappen en geen gaten laten. De post over meerkeuzevragen ontwerpen behandelt hoe dat werkt. Waar je de middelste categorie ook neerlegt, een deel van de mensen leest hem als gangbaar.
Gebruik geen vage frequentiewoorden als antwoordopties: "nooit, zelden, soms, vaak, altijd". "Vaak" betekent iets anders bij koffie dan bij tandartsbezoek, dus twee mensen met precies hetzelfde gedrag kunnen verschillende hokjes aankruisen. Vage schalen werken prima voor beleving, zoals hoe vaak iemand zich opgejaagd voelt. Voor gedrag dat je kunt tellen, vraag je om het getal.
Reken op afgeronde getallen
Open getalantwoorden hebben hun eigen eigenaardigheid: heaping, het ophopen op ronde getallen. Wie schat, rondt af naar handige waarden. Dagen klonteren rond 7, 14 en 30. Een histogram van "hoe vaak bezocht je ons de afgelopen maand" laat pieken zien bij 5, 10, 20 en 30 die niets met het werkelijke gedrag te maken hebben.
Lees die pieken niet als segmenten. Ze laten zien wie heeft geschat. Rapporteer medianen of brede banden, want een handvol afgeronde hoge waarden trekt een gemiddelde omhoog. En staan de meeste antwoorden op ronde getallen, dan is je referentieperiode waarschijnlijk te lang voor dit gedrag.
Filtervragen leren mensen wat "ja" kost
De gebruikelijke opbouw van gedragsvragen is een filter met daarachter de details. "Heb je de afgelopen drie maanden contact gehad met de klantenservice?" Zo ja: "Hoe vaak?" en "Waar ging het over?" Met conditionele logica is dat zo gebouwd, en mensen die niets deden, slaan vragen over die niet voor hen gelden.
Er zit een bijwerking aan. Stelt een enquête meerdere filters met elk een blok vervolgvragen erachter, dan leren mensen snel dat "ja" de enquête langer maakt. Methodologen noemen het gevolg motivated misreporting: respondenten zeggen "nee" op latere filters om sneller klaar te zijn. De ondertelling groeit naarmate de vragenlijst vordert, precies waar vermoeidheid de kwaliteit al omlaag haalt, zoals de post over enquêtelengte en uitval beschrijft.
Eén oplossing: stel alle filters eerst, als gegroepeerde lijst, en pas daarna de vervolgvragen voor elk "ja". Niemand kan het patroon leren voordat hij elk filter heeft beantwoord.
Vraag niet wat je al kunt meten
Heb je gebruikslogs, factuurgegevens of een ticketgeschiedenis, dan is een enquête het verkeerde gereedschap om te tellen. Een zelf opgegeven aantal logins naast je logs vertelt je vooral hoe goed mensen schatten, en dat antwoord ken je al.
Gebruik de enquête voor wat logs niet laten zien, zoals waarom iemand iets deed. Wil je gedrag en houding naast elkaar, koppel het antwoord dan aan het record dat je al hebt en zeg dat in de uitnodiging. De post over anonimiteit en vertrouwelijkheid legt uit wat je mensen daarna nog kunt beloven.
Test hoe mensen op hun getal kwamen
Wil je dit allemaal zien, dan moet je naar het proces vragen. Vraag in een cognitief interview, nadat iemand een frequentievraag heeft beantwoord: "Hoe kwam je op dat getal?" De antwoorden zeggen veel: "Gewoon gegokt", "Ik dacht aan een normale week en vermenigvuldigde", "Ik telde de keren die ik me van de zomer herinner".
Beschrijven de meeste mensen een tempo terwijl je wilde dat ze telden, maak de referentieperiode dan korter. Noemen ze gebeurtenissen van buiten het tijdvak, hang het op aan een datum. Zeggen ze "Ik koos de middelste", dan beantwoordt je schaal de vraag. In de post over een enquête vooraf testen lees je hoe je die interviews met vijf tot tien mensen houdt vóór de lancering.
Veelgestelde vragen
Welke referentieperiode gebruik ik voor vragen over productgebruik?
Voor alles wat mensen wekelijks of vaker doen: de afgelopen 7 dagen, of hooguit de afgelopen 30 dagen waarbij je dagen telt, geen keren. Voor zeldzame, opvallende gebeurtenissen zoals een opzegging, een klacht of een migratie werkt 6 tot 12 maanden.
Moeten frequentievragen een open getalveld krijgen of antwoordklassen?
Voor gedrag dat mensen kunnen tellen, voorkomt een open getalveld het ankereffect van antwoordklassen, en kun je de antwoorden achteraf groeperen. Gebruik klassen alleen als respondenten redelijkerwijs geen getal kunnen geven, en baseer ze dan op echte data zodat de middelste categorie geen valse norm suggereert.
Is het een probleem als veel antwoorden ronde getallen zijn, zoals 10 of 30?
Zie het als een signaal. Ronde getallen betekenen dat mensen schatten. Rapporteer medianen of brede banden, en zijn de meeste antwoorden afgerond, maak de referentieperiode dan korter zodat tellen mogelijk wordt.
Kan ik enquêteantwoorden over gebruik vergelijken met mijn analytics?
Dat kan, en het verschil is nuttig, omdat het laat zien hoe goed je respondenten een bepaald gedrag inschatten. Gebruik het enquêteantwoord niet zelf als gebruikscijfer. Heb je beide nodig, koppel de antwoorden dan aan de gegevens die je al hebt en vertel respondenten vooraf dat je dat doet.
