Voor- en nameting: zo zie je in een enquête of er echt iets veranderde
Je stuurde een enquête vóór de training en een na afloop, en de score ging omhoog. Die stijging is nog geen effect. Dit beweegt een voor-en-na-getal nog meer, en zo ontwerp je een voor- en nameting die het verschil kan zien.
Door SurveyLane · Het team achter SurveyLane
Je stuurt een enquête vóór een leiderschapstraining en dezelfde enquête zes weken later. Het vertrouwen in feedback geven stijgt van 3,1 naar 3,7 op een vijfpuntsschaal, en de slide voor de stuurgroep schrijft zichzelf. Toch even opletten. Die 0,6 is het verschil tussen twee metingen. Er duwen nog meer dingen aan dat getal, omhoog en omlaag, en een voor- en nameting vertelt je pas wat de training deed als je hem zo bouwt dat je die dingen uit elkaar kunt halen.
Een verschil is nog geen effect
Donald Campbell en Julian Stanley zetten de gebruikelijke verdachten in 1963 op een rij, in Experimental and Quasi-Experimental Designs for Research. Hun lijst met bedreigingen voor de interne validiteit staat nog altijd in methodeboeken. Vier ervan kom je tegen bij bijna elke enquête die je twee keer afneemt.
Geschiedenis is alles wat er verder gebeurde tussen de metingen. Een reorganisatie bijvoorbeeld, of een nieuwe leidinggevende. Rijping is verandering die er toch wel was gekomen, omdat mensen beter worden in een baan waar ze drie maanden geleden aan begonnen. Testeffect is de invloed van de eerste vragenlijst zelf: twintig vragen over feedback zetten mensen aan het denken over feedback. Instrumentatie is elke wijziging in het meetinstrument, en bij een enquête betekent dat formulering, schaal, volgorde of kanaal.
Geen van deze vier krijgt een eigen kolom in je export. Ze zitten allemaal in diezelfde 0,6.
Regressie naar het gemiddelde kiest je slechtste scores voor je uit
Stel, je geeft een programma aan de vijf teams met de laagste betrokkenheidsscore. Een kwartaal later zijn er vier vooruitgegaan. Een deel daarvan stond vooraf al vast.
Elke score is een stabiel deel plus ruis: een slechte week, een conflict dat inmiddels is bijgelegd. Kies je teams op een extreme score, dan kies je teams bij wie de ruis die keer toevallig negatief uitviel. Meet je opnieuw, dan valt die ruis net zo goed de andere kant op en schuift het gemiddelde terug naar het midden. Francis Galton beschreef dat patroon in de jaren 1880. HR- en CX-teams trappen er elk kwartaal weer in.
Moet je toch selecteren op een lage score, vergelijk dan met vergelijkbare lage scoorders die niets kregen. Die gaan ook vooruit, en hun vooruitgang is je nullijn.
Mensen verschuiven ook hun eigen meetlat
Vóór een cursus feedback geven schatten veel mensen hun eigen vaardigheid behoorlijk hoog in. Ze weten nog niet hoe goede feedback eruitziet. Na afloop weten ze dat wel, en ze leggen een strengere lat aan. Hun vaardigheid ging omhoog, de lat ook, dus de zelfbeoordeling stijgt minder dan de vaardigheid. Soms daalt hij zelfs.
George Howard en Patrick Dailey noemden dit response-shift bias. In een artikel uit 1979 in het Journal of Applied Psychology (volume 64, pagina's 144 tot 150) evalueerden ze een training in interviewvaardigheden en vonden ze dat die verschuiving in maatstaf beïnvloedde hoe deelnemers het effect van de training inschatten. Bij een programma dat mensen leert hoe vakmanschap eruitziet, onderschat een gewone zelfrapportage voor en na dus vaak de verandering. Een vlakke uitkomst bewijst niet dat het programma niets deed.
Vragen over gedrag ("Hoeveel één-op-ééngesprekken voerde je vorige maand?") hebben geen lat die zo meeschuift, dus neem er een paar op. Het artikel over gedragsvragen en herinnering legt uit hoe je ze schrijft.
De retrospectieve voormeting, en wat die je kost
Eén oplossing is achteraf naar "vooraf" vragen. In de nameting komt elk item twee keer terug: "Hoe beoordeel je nu je vermogen om kritische feedback te geven?" en "Terugkijkend: hoe had je dat vóór de training beoordeeld?" Beide antwoorden gebruiken dan dezelfde, bijgestelde lat.
Howard en vijf collega's toetsten deze retrospectieve voormeting in vijf studies, gepubliceerd in Applied Psychological Measurement in 1979 (volume 3, pagina's 1 tot 23). Ze stelden hem voor als een nauwkeuriger manier om verandering in zelfrapportage te meten.
Gratis is hij niet. Zet je "vooraf" en "nu" naast elkaar, dan zeg je eigenlijk dat er een verschil verwacht wordt, en sommige mensen leveren dat netjes. Wie twee dagen in een cursus stak, wil graag geloven dat het hielp. Laura Griner Hill en Drew Betz bekeken de methode opnieuw in het American Journal of Evaluation in 2005 (volume 26, nummer 4, pagina's 501 tot 517). Hun advies: gebruik een gewone voormeting om het effect van een programma te beoordelen, en een retrospectieve om te zien hoe deelnemers hun eigen verandering beleefden. Kan het, vraag dan allebei. Waar ze flink uiteenlopen, veranderde het begrip van het onderwerp zelf.
Houd het meetinstrument precies gelijk
Instrumentatie is de bedreiging die je zelf veroorzaakt. Iemand poetst tussen de metingen een vraag op, ruilt een vijfpuntsschaal in voor een zevenpuntsschaal of zet een blok naar voren. Elke wijziging verschuift de antwoorden, en die verschuiving kun je niet meer onderscheiden van het effect.
Bevries de voormeting zodra de eerste response binnen is: dezelfde formulering, dezelfde opties in dezelfde volgorde, dezelfde vraagvolgorde, hetzelfde kanaal. Vooraf per e-mail op een laptop en achteraf via een QR-code op een telefoon is een andere modus, en modus alleen verschuift al antwoorden. Lees ook een enquête herhalen zonder je trend te breken en vraagvolgorde-effecten. Repareer de formulering vóór de eerste meting, met de methodes uit een enquête vooraf testen.
Mensen koppelen zonder hun anonimiteit te breken
Je kunt iedereen die vooraf antwoordde vergelijken met iedereen die achteraf antwoordde. Of je koppelt de twee antwoorden van elke persoon en kijkt naar de verandering per persoon. Dat tweede is veel sterker: verschillen tussen mensen vallen weg uit de vergelijking, dus een kleinere echte verandering wordt zichtbaar met hetzelfde aantal respondenten.
Koppelen vraagt een sleutel, en die botst met elke belofte van anonimiteit die je deed. Het artikel over anonimiteit en vertrouwelijkheid legt uit waarom een gebroken belofte je eerlijke antwoorden kost.
Een tussenweg is een code die de respondent zelf maakt. Vraag aan het begin van beide enquêtes naar dingen die alleen hij weet, zoals de eerste twee letters van de voornaam van zijn moeder en de dag van de maand waarop hij jarig is. "MA14" koppelt de metingen zonder naam. Sommige codes matchen niet omdat iemand ze de tweede keer anders intikt, dus meld hoeveel paren je echt kon koppelen. En in een team van zes wijst een code samen met afdeling en functie soms toch één persoon aan. Spreek vooraf af welke uitsplitsingen je niet rapporteert.
Wie vulde hem twee keer in
De tweede meting bereikt zelden dezelfde mensen als de eerste. Collega's vertrekken of haken halverwege af. Anderen komen er gewoon nooit aan toe. Wie de cursus zinloos vond, opent het minst snel een enquête erover, dus de nameting ziet er vaak positiever uit terwijl niemand van mening veranderde. Campbell en Stanley noemden dit experimental mortality. Het artikel over steekproefkwaliteit gaat breder in op nonrespons.
Twee controles vangen het meeste af. Vergelijk de voorscores van wie beide keren antwoordde met die van wie alleen de eerste keer meedeed. Begonnen de afhakers lager, dan flatteert je nagemiddelde het programma. En rapporteer de verandering voor gekoppelde paren naast de ruwe gemiddelden.
Een vergelijkingsgroep is meer waard dan een perfecte vraag
De grootste verbetering heeft niets met formulering te maken. Meet op dezelfde momenten een groep die de interventie niet kreeg. Geschiedenis en rijping raken dan beide groepen, het testeffect ook, en het verschil tussen hun veranderingen is een veel betere schatting van het effect.
Binnen een bedrijf is dat vaak makkelijk. Rol de training uit in twee groepen en meet beide op dezelfde momenten. De tweede groep is je vergelijking tot hij zelf aan de beurt is.
Stel, de getrainde groep gaat van 3,1 naar 3,7 en de wachtende groep van 3,2 naar 3,5 in dezelfde zes weken. De training voegde dan zo'n 0,3 toe. De andere 0,3 kwam van iets anders, het seizoen of de nieuwe beoordelingscyclus. De groepen hoeven niet gelijk te beginnen, zolang je veranderingen vergelijkt. Maar een pilotteam dat zich vrijwillig meldde, lijkt slecht op de teams die dat niet deden.
Wanneer verstuur je de tweede meting
Een vragenlijst aan het eind van de laatste sessie vangt hoe mensen zich over die dag voelen. Vol energie meestal, en een beetje blij dat het klaar is. Hoe ze werken, heeft nog geen kans gehad om te veranderen.
Voor een vaardigheid die je wekelijks gebruikt, is zes tot acht weken een redelijke eerste gok. Voor iets wat eens per kwartaal voorkomt, wacht je een kwartaal. Vraag naar concreet recent gedrag. "Hoe vaak gaf je de afgelopen twee weken een collega kritische feedback in een gesprek?" is lastiger op te poetsen dan "Ik voel me zeker als ik feedback geef."
Hoe groot moet een verandering zijn om haar te zien
Met veertig mensen zie je een grote verandering en mis je een bescheiden. Hoop je op een kwart punt op een vijfpuntsschaal, kijk dan vooraf of je groep dat kan laten zien. Anders betekent "geen significant verschil" vooral "te weinig mensen".
Koppelen helpt, omdat de verandering per persoon veel minder varieert dan de scores zelf. Het artikel over hoeveel respondenten je nodig hebt legt foutmarge en subgroepen uit.
En toets geen dertig items los om dan de twee te vieren die significant uitvielen. Een paar halen die grens puur bij toeval. Kies vooraf de twee of drie uitkomsten die het programma moet bewegen.
Verandering eerlijk rapporteren
Geef het aantal responses per meting en het aantal gekoppelde paren. Laat verdelingen zien, want een programma dat het onderste kwart optilt, ziet er heel anders uit dan een dat iedereen een klein beetje opschuift. Zet de verandering van een vergelijkingsgroep naast die van de getrainde groep.
Zeg daarna wat het ontwerp kan dragen. "De scores van wie beide keren antwoordde stegen met 0,4; een vergelijkingsgroep steeg met 0,1" kun je verdedigen. "De training verhoogde het vertrouwen met 15 procent" meestal niet. Meer in enquêteresultaten rapporteren.
Een voor- en nameting opzetten in SurveyLane
Bouw en test de voormeting en kopieer hem daarna voor de nameting, zodat formulering en volgorde gelijk blijven. Zet de zelfgemaakte code aan het begin van beide. Voeg de retrospectieve items alleen aan de nameting toe, als eigen blok.
Gebruik conditionele logica om programmaspecifieke vragen te verbergen voor de vergelijkingsgroep. Zijn de resultaten binnen, dan laat de read-only MCP-server een AI-assistent de metingen op de code koppelen en de verandering per groep vergelijken, zoals beschreven in enquêtes analyseren met AI. Leg het aantal paren dat hij noemt naast je eigen telling.
Veelgestelde vragen
Is een retrospectieve voormeting beter dan een gewone voormeting?
Niet in het algemeen. Een gewone voormeting is de veiligere basis om het effect van een programma te beoordelen, omdat mensen hem invullen voordat ze weten wat het programma leert. Een retrospectieve voormeting omzeilt de verschuivende lat, maar nodigt mensen uit om de verbetering te melden die ze verwachten. Gebruik ze als het kan allebei.
Kan ik voor en na vergelijken als de enquête anoniem was?
Ja, op groepsniveau, of per persoon als je een zelfgemaakte code toevoegt. Een vergelijking op groepsniveau kan een verandering in mensen niet scheiden van een verandering in wie er antwoordde, dus vergelijk de voorscores van wie één keer antwoordde met die van wie twee keer antwoordde.
Hoe lang wacht ik met de nameting?
Lang genoeg om het gedrag waar het je om gaat een paar keer te laten voorkomen. Voor wekelijkse vaardigheden is zes tot acht weken een redelijk begin. Een enquête op de laatste dag meet hoe mensen de sessie vonden.
Wat als ik geen vergelijkingsgroep kan hebben?
Doe dan een kleinere bewering. Meet vóór de interventie meer dan één keer om de bestaande trend te zien, voeg gedragsvragen toe en kies deelnemers niet uit omdat ze laag scoorden. Rapporteer het als een verandering in de tijd. Over het effect van het programma zegt zo'n uitkomst weinig.