Hoe lang mag een enquête zijn? Ontwerpen voor voltooiing

Je kunt vlekkeloze vragen schrijven en je enquête toch verpesten door er te veel te stellen. Lengte werkt tegen je op een manier waar bijna niemand rekening mee houdt. Elke vraag die je toevoegt verlaagt de kans dat iemand de enquête afmaakt, en trekt de antwoorden op de vragen die ze al bereikt hadden mee omlaag. De enquête die je de schoonste data oplevert, is bijna nooit de enquête die alles vraagt wat je nieuwsgierig maakte.

Lengte is een keuze die je maakt

De meeste enquêtes worden op dezelfde manier lang. Iemand schrijft de vragen op die hij belangrijk vindt. Een paar belanghebbenden voegen er allemaal "nog eentje" aan toe. Niemand is verantwoordelijk voor het totaal. Zo wordt de lengte de optelsom van ieders verlanglijst, een getal dat niemand echt heeft gekozen. Daar zit de fout. Hoe lang je enquête loopt is een van de belangrijkste ontwerpbeslissingen die je neemt, en die verdient dezelfde aandacht als het formuleren van één losse vraag.

Het weegt zo zwaar omdat lengte je twee keer raakt. Ze verlaagt hoeveel mensen beginnen en afmaken, waardoor je steekproef krimpt en scheeftrekt richting de geduldigen. En bij de mensen die wel doorzetten sleet ze de kwaliteit van de antwoorden af naarmate ze moe worden. Je betaalt één keer in aantal en nog een keer in kwaliteit. Geen van beide kosten zie je terug in een keurige export. Je ziet alleen een kleinere dataset en iets slechtere cijfers, zonder iets dat naar de lengte wijst.

Wat het onderzoek werkelijk vond

Het meest geciteerde experiment hierover is dat van Galesic en Bosnjak, gepubliceerd in Public Opinion Quarterly in 2009. Ze zetten een webenquête op waarin ze verschillende respondenten vertelden dat het 10, 20 of 30 minuten zou duren, en ze verschoven dezelfde vragen naar andere posities zodat ze konden zien hoe de kwaliteit veranderde als mensen moe werden. Dat ontwerp haalt twee dingen uit elkaar die mensen meestal door elkaar halen: wat de aangekondigde lengte doet met wie de moeite neemt, en wat de positie van een vraag doet met hoe goed die wordt beantwoord.

Beide effecten waren echt en wezen dezelfde kant op. Hoe langer de opgegeven duur, hoe minder mensen begonnen, en hoe minder van die starters ook echt afmaakten. De voltooiing zakte flink van de versie van 10 minuten naar die van 30. Dit is een onderzoek uit 2009 en dus geen vers nieuws, maar de bevinding is tijdloos en houdt stand in herhalingen. Vertel mensen dat een enquête lang is en je bent respondenten kwijt nog voordat ze één vraag hebben beantwoord.

In de tweede helft sterft de kwaliteit

De andere helft van dat resultaat is de helft die mensen vergeten. Vragen die later in de vragenlijst stonden werden sneller beantwoord, vaker overgeslagen, kregen kortere open antwoorden, en lieten minder variatie zien in rasters dan diezelfde vragen op een vroege plek. Die laatste is het teken aan de wand. Minder variatie in een raster betekent dat mensen niet meer elke rij lazen en gewoon één kolom recht naar beneden aanvinkten. Dat is satisficing, zichtbaar en al.

De schade is dus scheef verdeeld. Je eerste tien vragen krijgen frisse, oplettende mensen. Je laatste tien krijgen vermoeide mensen die de uitgang zoeken. Zet je je belangrijkste meting aan het eind omdat dat als een sterke afsluiter voelde, dan gaf je die je slechtste data. Het is dezelfde fout die in responskwaliteit bewaken beschreven staat, alleen veroorzaak je hem hier zelf, door de enquête te lang te maken om de aandacht vast te houden.

Elke vraag heeft een marginale kostprijs

Beschouw elke vraag als iets met een prijs, betaald in uitval en in aandacht. De eerste paar zijn zo goed als gratis. De respondent kwam bereidwillig binnen. Elke vraag daarna kost iets meer dan de vorige, want je teert in op een budget aan geduld dat nooit wordt bijgevuld. Ergens voorbij het midden loopt de prijs per vraag steil op, en een vraag die op plek vijf een zorgvuldig antwoord had gekregen, krijgt op plek vijfentwintig een schouderophalen.

Dat zet het gebruikelijke argument in een vergadering op zijn kop. De vraag die je over een item moet stellen is niet of het interessant is. Bijna alles is interessant. De vraag is of het zijn plek verdient, gezien de antwoorden die het je op elke andere vraag kost en de respondenten die het je helemaal kost. Zo bekeken sneuvelen een hoop nice-to-have-items geruisloos. Wat overblijft levert betere data op, omdat het niet onder opvulling ligt begraven.

Sorteer elke vraag in must, should en nice

Voordat een enquête de deur uitgaat, dwing je elke vraag in een van drie bakjes. Een must koppelt aan een beslissing die je gaat nemen of een analyse die je al gepland hebt. Verandert het antwoord niets aan wat je doet, dan is het geen must. Een should versterkt de analyse zonder haar te dragen. Een nice is iets wat je toevoegde uit nieuwsgierigheid, of omdat iemand er vriendelijk om vroeg en je geen nee wilde zeggen.

Schrap dan het hele nice-bakje. Niet het grootste deel. Alles. Half schrappen is precies hoe enquêtes opgeblazen blijven, want elk los item lijkt op zichzelf verdedigbaar. De truc is beslissen per categorie, niet vraag voor vraag. Een test voor het must-bakje: schrijf voor elke vraag de zin op die je in het rapport zou zetten als het antwoord de ene kant op valt tegenover de andere. Lukt die zin niet? Dan stuurt de vraag geen beslissing aan, en hoort hij niet vooraan, als hij er al hoort.

Tijd is het getal dat respondenten voelen

Respondenten tellen je vragen niet. Ze voelen minuten, en hun rek hangt af van hoe de enquête ze bereikte. Iemand die onderaan een transactionele e-mail op een link klikte, geeft je een minuut of twee. Een geworven panellid dat voor zijn tijd betaald wordt, zit veel meer uit. Stem de lengte af op het kanaal en de relatie die je hebt, niet op hoeveel je zou willen weten.

Gok de invultijd niet, meet hem tijdens het vooraf testen, want je eigen schatting is altijd te laag. Jij kent de vragen, dus lees je ze in de helft van de tijd die een vreemde nodig heeft. En check het op een telefoon. Een enquête die op een laptop vier minuten duurt, kan er zeven kosten op een klein scherm met een lastige keuzelijst, en de meeste van je respondenten zitten op een telefoon. De opmaakkeuzes uit toegankelijke enquêtes ontwerpen werken direct door in de invultijd.

De aangekondigde lengte bepaalt ook wie überhaupt begint, dus wees eerlijk en wees specifiek. "Deze enquête duurt ongeveer 4 minuten" verslaat zowel stilte als een vaag "een paar minuten," want een concreet, geloofwaardig getal laat iemand met vertrouwen ja zeggen. Overdrijf je het, dan jaag je mensen weg. Onderschat je het, dan krijg je een golf boze afhakers op het moment dat ze doorhebben dat je loog, meestal net nadat ze je genoeg gegeven hebben om zich gebruikt te voelen. Die belofte hoort eigenlijk bij de uitnodiging, het onderwerp van zo komt je enquête-uitnodiging in de inbox.

Voortgangsindicatoren helpen, tot ze tegenwerken

Een voortgangsbalk hoort gerust te stellen, en bij een korte enquête doet hij dat ook. Bij een lange kan hij zich tegen je keren. Schiet de balk eerst vooruit en kruipt hij daarna, dan zien mensen hoeveel er nog rest en haken ze af precies waar de vertraging opvalt. Het onderzoek naar voortgangsfeedback is om die reden gemengd. Een balk die snelle voortgang toont zet mensen aan om af te maken. Een balk die trage voortgang toont praat het ze uit het hoofd.

Toon een voortgangsindicator dus als de enquête echt kort is, of als het tempo de hele weg gelijkmatig zal voelen. Is de jouwe lang en vooraan volgestouwd met snelle vragen, dan adverteert een eerlijke balk vooral de sleur die nog komt. Voortgang per pagina, zoiets als "pagina 2 van 4," is vaak vriendelijker dan een percentage. Het verbergt het ongelijke gewicht van losse pagina's en geeft mensen mijlpalen die ze echt kunnen halen.

Eén lange pagina of veel korte

Paginering is een echte hefboom op voltooiing, veel meer dan een opmaakvoorkeur. Eén lange scrollpagina kan efficiënt voelen als de enquête kort is. Maak hem langer en diezelfde pagina toont de hele berg in één keer, wat mensen uitnodigt om af te haken voordat ze beginnen. Opsplitsen in korte pagina's verbergt het totaal en geeft een gevoel van beweging, want een pagina afmaken voelt als een kleine winst die je naar de volgende trekt.

Er zit een prijs aan. Meer pagina's betekenen meer serveraanvragen en meer kansen dat een wankele verbinding iemand halverwege laat vallen, en dat bijt het hardst op mobiel. Groepeer vragen in pagina's die als onderwerp samenhangen, houd elke pagina kort genoeg om snel te voelen, en knip nooit één logisch blok doormidden op een paginagrens waar de context verloren gaat. Het hangt samen met hoe je de enquête ordent, het onderwerp van vraagvolgorde-effecten.

Laat mensen stoppen en terugkomen

Voor elke enquête die lang genoeg is dat iemand hem misschien niet in één keer afmaakt, bewaar je deelantwoorden en laat je mensen verdergaan. Twee goede dingen volgen daaruit. Je redt antwoorden die je anders had weggegooid, want iemand die bij vraag achttien stopt gaf je nog steeds zeventien bruikbare antwoorden als je ze bewaarde. En je krijgt een echte uitvalcurve om van te leren, want elk afgebroken antwoord markeert een plek waar de enquête iemand kwijtraakte.

Gooi deelantwoorden niet stilletjes weg. Ook zonder hervattingslink zijn de vragen die iemand voor het afhaken beantwoordde vaak op zichzelf te analyseren, zolang je eerlijk blijft dat de latere vragen op een kleinere, meer zelfgeselecteerde basis rusten. Gooi je elk onvolledig antwoord weg, dan gooi je precies het bewijs weg dat je had verteld dat de enquête te lang is.

Rasters zijn een lengtevalstrik

Matrix- en rastervragen ogen compact omdat ze veel items op één scherm proppen. Maar ze dragen de vermoeidheid van elke rij terwijl ze het gezicht van één vraag opzetten. Daarom zijn rasters de plek waar Galesic en Bosnjak de variatie zagen instorten laat in de enquête. Een vermoeide respondent die naar een raster van tien rijen staart, vinkt één kolom naar beneden aan en gaat door. Het compacte is visueel. Het werk is dat niet.

Trekt een raster echt gewicht, houd het dan kort en zet het vroeg, terwijl de aandacht nog hoog is. Is het lang, hak het dan op, schrap rijen, of vraag jezelf af of je echt elk item nodig hebt. De schaal binnen die rijen is een eigen beslissing met een eigen effect op de kwaliteit, behandeld in schaalvragen ontwerpen. Een kort raster dat vroeg gevraagd wordt verslaat een grondig raster op vraag dertig dat iedereen recht naar beneden invult.

Gebruik conditionele logica om per persoon korter te maken

De beste manier om een enquête korter te maken is stoppen met mensen vragen tonen die niet op hen slaan. Conditionele logica laat elke respondent alleen de relevante deelverzameling beantwoorden, zodat de enquête voor iedereen kort voelt, ook als het volledige instrument groot is. Iemand die zegt een functie nooit gebruikt te hebben, hoort daarna geen vijf vragen over die functie te krijgen. Sla ze over, recht naar wat wel past.

Het addertje is dat vertakking de lengte en de volgorde per pad verandert. Een enquête die strak voelt op de route die je testte, kan lang en vreemd worden op een route die je nooit hebt gelopen. Redeneer over het langste pad waar een echte respondent op kan landen, niet het gemiddelde, en controleer dat zelfs het slechtste geval binnen je tijdsbudget blijft. Het bouwen van die paden staat in conditionele logica en feedback.

Meet je eigen uitvalcurve

Stop met gokken waar je enquête mensen kwijtraakt. Kijk. Zet voltooiing af tegen de positie van de vraag en de exacte afhaakpunten springen eruit: meestal een steile vroege daling als de niet-toegewijden vertrekken, daarna kleinere kliffen bij specifieke vragen. Een scherpe klif bij één vraag is een signaal. Hij is te persoonlijk, te verwarrend, of het punt waar de opgebouwde vermoeidheid mensen over de rand duwt. Die vraag, of zijn positie, is wat je verandert.

Dit hoort in het vooraf testen, niet in een lijkschouwing na de lancering, en het past natuurlijk in een zachte lancering, het onderwerp van zo test je een enquête voordat je hem verstuurt. Stuur eerst naar een klein deel van je steekproef, lees de uitvalcurve, schrap of verplaats wat mensen laat afvallen, en open pas daarna de sluizen. Het alternatief is achteraf ontdekken dat een derde van je steekproef bij vraag twaalf wegliep, wanneer je het alleen nog kunt wegpraten.

Een lengtebudget dat je kunt toepassen

Stel het tijdsbudget vast voordat je één vraag schrijft, op basis van het kanaal en van hoeveel je van juist deze mensen vraagt. Sorteer elke vraag in must, should en nice, en schrap het nice-bakje in zijn geheel. Zet je belangrijke metingen vroeg, terwijl de aandacht fris is, en houd nooit een dragende vraag achter voor een sterke afsluiter. Vertak zodat niemand beantwoordt wat niet op hem slaat, en check het langste pad, niet het gemiddelde. Toon voortgang alleen waar die geruststelt. Splits een lange enquête in korte pagina's. Bewaar deelantwoorden zodat een afhaker je toch iets nalaat. Doe daarna een zachte lancering, lees de echte curve, en schrap opnieuw. Lengte is die zeldzame ontwerpkeuze die zowel schaadt hoeveel antwoorden je verzamelt als hoe goed ze zijn, en dat is precies de reden om haar bewust te bepalen in plaats van te laten oplopen.