Synthetische respondenten: kan AI je enquête voor je invullen?

Veldwerk duurt lang en respondenten kosten geld, dus de belofte klinkt aantrekkelijk: beschrijf je doelgroep aan een taalmodel, laat het antwoorden als vijfhonderd van die mensen, en je hebt resultaten voor de lunch. Verschillende onderzoekstools verkopen precies dat, onder namen als synthetische respondenten, silicon samples of AI-persona's. Het gepubliceerde onderzoek is preciezer dan de marketing. Synthetische antwoorden kunnen een gemiddelde ongeveer goed raken en toch fout zitten op alles wat voor een beslissing telt.

Wat een synthetische respondent is

Een synthetische respondent is een taalmodel dat de opdracht krijgt een vragenlijst in te vullen alsof het een bepaald soort persoon is. Je geeft een profiel, bijvoorbeeld "een verpleegkundige van 52 uit Rotterdam die links van het midden stemt en onze app twee jaar gebruikt", en daarna je vragen. Het model geeft een antwoord. Herhaal dat met een paar honderd profielen die passen bij een populatie en je hebt iets dat op een dataset lijkt.

Niemand heeft een mens iets gevraagd. Het model voorspelt welke tekst aannemelijk volgt op de beschrijving van die persoon, op basis van wat het tijdens de training heeft opgepikt. Meer zit er niet achter.

Het onderzoek waar het begon: silicon samples

Het idee kreeg serieuze aandacht door een artikel uit 2023 in Political Analysis van Lisa Argyle, Ethan Busby, Nancy Fulda, Joshua Gubler, Christopher Rytting en David Wingate, met de titel "Out of One, Many". Ze voedden GPT-3 met duizenden sociaal-demografische achtergrondverhalen, gebouwd uit echte deelnemers aan grote Amerikaanse enquêtes, waaronder de American National Election Studies. Daarna stelden ze het model politieke vragen, telkens als een van die mensen.

De gegenereerde antwoorden volgden de echte zo goed dat de auteurs er een term voor bedachten: algorithmic fidelity. Een model heeft die eigenschap, stelden ze, als zijn uitvoer voor een groep dezelfde patronen van ideeën, houdingen en demografie laat zien als echte mensen uit die groep. Ze stelden er vier toetsen voor. De strengste: de verbanden tussen variabelen moeten overeenkomen met wat echte enquêtes laten zien.

Dat artikel is voorzichtig. De claim is dat het model veel informatie bevat over hoe opvattingen samenhangen in het Amerikaanse electoraat, en dat sociale wetenschappers daar iets mee kunnen. Nergens staat dat je kunt ophouden met mensen ondervragen.

De gemiddelden kloppen, de spreiding niet

Een jaar later zetten James Bisbee, Joshua Clinton, Cassy Dorff, Brenton Kenkel en Jennifer Larson het idee onder druk, ook in Political Analysis, in een artikel met de titel "Synthetic Replacements for Human Survey Data? The Perils of Large Language Models". Ze lieten ChatGPT persona's aannemen en elf maatschappelijke en politieke groepen beoordelen op een gevoelsthermometer. De uitkomsten vergeleken ze met de golven van 2016 tot en met 2020 van de American National Election Studies.

Op het eerste gezicht werkte het. De gemiddelde scores van ChatGPT lagen dicht bij de echte gemiddelden. Daaronder zat veel minder variatie dan echte mensen laten zien. En toen de auteurs dezelfde regressies draaiden op synthetische en echte data, verschilden de coëfficiënten vaak significant.

Hier gaat het mis. Het totaalgemiddelde is het eerste getal dat je controleert, dus het is ook het getal dat je geruststelt. De meeste beslissingen hangen van iets anders af: hoe verspreid de meningen zijn, welke groep afwijkt van welke, wat samenhangt met wat. Een steekproef met te weinig variatie laat elke groep eenvormiger lijken en elke schatting preciezer dan die is. De post over steekproefgrootte en foutmarge legt uit waarom spreiding je betrouwbaarheidsintervallen bepaalt. Met synthetische data is dat vertrouwen niet verdiend.

Eén woord anders, een ander antwoord

Bisbee en collega's vonden nog twee problemen die ertoe doen voor iedereen die een onderzoek wil herhalen. Kleine wijzigingen in de formulering van de prompt verschoven de verdeling van de synthetische antwoorden. En dezelfde prompt gaf significant andere resultaten toen ze hem over een periode van drie maanden opnieuw draaiden.

Echte enquêtes zijn ook gevoelig voor formulering, en de post over vraagvolgorde-effecten laat zien hoeveel een vraag ervoor een antwoord kan verschuiven. Het verschil: in een enquête met mensen kun je formuleringseffecten testen en vastleggen, en die mensen veranderen niet ongemerkt tussen maandag en vrijdag. Een gehost model kan zonder aankondiging worden bijgewerkt door de leverancier. Draait je kwartaalmeting op synthetische antwoorden, dan kan een verschuiving tussen kwartalen van je klanten komen of van een modelupdate. Je kunt het niet zien.

Daarmee passen synthetische data slecht bij alles wat je wilt herhalen. De post over een enquête herhalen zonder je trend te breken somt op wat vergelijkbaarheid stilletjes kapotmaakt. Een onaangekondigde modelwijziging hoort bovenaan dat lijstje.

Wiens mening heeft het model?

Shibani Santurkar en collega's van Stanford stelden op ICML 2023 een bredere vraag: wiens mening geven taalmodellen standaard weer? Ze bouwden een dataset, OpinionQA, op basis van het American Trends Panel van Pew Research Center, en vergeleken de antwoorden van modellen met die van 60 demografische groepen in de Verenigde Staten.

De kloof tussen de modellen en die groepen was groot. De auteurs zetten hem op hetzelfde niveau als de kloof tussen Democraten en Republikeinen over klimaatverandering. Hij verdween niet toen ze het model uitdrukkelijk vertelden als welke groep het moest antwoorden. Sommige groepen werden bijzonder slecht weergegeven, onder meer 65-plussers en weduwen en weduwnaars.

Voor wie enquêtes ontwerpt is dat een directe waarschuwing. De groepen waar een model het slechtst mee overweg kan, zijn vaak dezelfde die al moeilijk te bereiken zijn. En moeilijk bereikbare mensen zijn precies de reden dat iemand een kortere weg zoekt. Wilde je het gat van ontbrekende oudere respondenten opvullen met synthetische, dan vul je het met de minst nauwkeurige gokken van het model. De post over steekproefkwaliteit gaat over nonrespons onder juist deze groepen.

Afgevlakte groepen en stereotypen

Angelina Wang, Jamie Morgenstern en John Dickerson gingen verder in een artikel dat in 2025 verscheen in Nature Machine Intelligence. Ze deden onderzoek met 3.200 deelnemers verdeeld over 16 demografische identiteiten en vergeleken hun antwoorden met uitvoer van vier taalmodellen die een identiteit kregen opgelegd.

Ze beschrijven twee fouten. De eerste is misportrayal, een vertekend beeld: gevraagd om te antwoorden als lid van een groep, lagen de antwoorden van de modellen dichter bij wat buitenstaanders denken dat die groep zou zeggen. Leden van de groep zelf antwoordden anders. De tweede is flattening, afvlakking: de verscheidenheid binnen een groep verdween, zodat "vrouwen" of "ouderen" klonken als één stem. Ze wijzen er ook op dat een prompt op basis van identiteit doet alsof één label een persoon verklaart.

Hun technieken om die problemen tijdens het genereren te verminderen hielpen, maar volgens hun eigen metingen namen ze de problemen niet weg. Hun advies is voorzichtigheid overal waar de identiteit van de deelnemer ertoe doet. In een enquête is dat bijna altijd zo.

Waarom het model jouw respondenten niet kent

Een taalmodel leerde van tekst die bestond vóór de training. Het weet veel over hoe mensen in het algemeen praten over politiek of over merken. Over de specifieke mensen die jij wilt horen weet het niets.

Je klanten gebruikten een versie van je product die vorige maand uitkwam. Je medewerkers werken onder een leidinggevende van wie het model nooit heeft gehoord. De vraag die jij wilt stellen is meestal een vraag waar nog niemand over heeft geschreven, anders had je geen enquête nodig. Op zulke vragen valt het model terug op het meest typische antwoord voor iemand die bij het profiel past. Daar komt de afvlakking vandaan: gemiddelden zonder de mensen die het oneens zijn.

Waar synthetische antwoorden wel een plek hebben

Rond een enquête heb je nog steeds wat aan een taalmodel. Zet het in waar een aannemelijk antwoord volstaat en een waar antwoord niet nodig is.

Het nuttigst is je vragenlijst op de proef stellen. Vraag een model om te antwoorden als een verwarde of gehaaste respondent en kijk waar het vastloopt. Een dubbelzinnige term of een ontbrekende antwoordoptie komt vaak binnen een paar minuten boven. Zie het als een extra paar ogen. De test met echte mensen doe je daarna gewoon nog.

Gegenereerde antwoorden zijn ook een goedkope manier om honderden routes door je conditionele logica te sturen. Zo vind je de vertakking die nergens heen leidt, of de vraag die voor niemand verschijnt.

Met dummydata bouw je je rapportages en codeerschema's al voordat het veldwerk sluit. Komen de echte antwoorden binnen, dan staat de analyse klaar.

En een model kan antwoordopties voorstellen die je vergat, of een reden voor opzeggen waar je niet aan had gedacht. Echte respondenten vertellen je vervolgens of het klopt.

Bij al deze toepassingen gooi je de synthetische data weg voordat er een getal wordt gerapporteerd.

Vragen voor je een synthetisch panel koopt

Biedt een leverancier synthetische respondenten aan als vervanging van veldwerk, vraag dan hoe ze weten dat het werkt. Een geloofwaardig antwoord bevat dit allemaal:

• Validatie tegen een echte steekproef op vragen zoals de jouwe. Bekende openbare peilingen tellen niet mee, want die heeft het model waarschijnlijk tijdens de training gezien.
• Resultaten voor spreiding en voor verschillen tussen subgroepen. Gemiddelden alleen bewijzen weinig.
• Welke modelversie de antwoorden maakte, en wat er met de vergelijkbaarheid gebeurt als die verandert.
• Hoe gevoelig de uitkomsten zijn voor kleine wijzigingen in de prompt en de persona-beschrijving.
• Wat ze adviseren voor groepen die modellen volgens het gepubliceerde onderzoek slecht weergeven.

Gebruik je ze toch, houd ze dan apart

Label synthetische records duidelijk en bewaar ze in een aparte dataset. Meng ze niet met antwoorden van mensen. Weeg ze ook niet op om een quotum te vullen, en een synthetisch getal komt nooit in een rapport onder dezelfde basis als een echte steekproef. Leg model, versie, datum en de volledige prompt vast bij de uitvoer, zodat iedereen kan zien waar een getal vandaan komt. En vergelijk minstens één vraag met echte antwoorden voordat iemand een conclusie trekt.

Analyseer je je echte data met AI, dan geldt hetzelfde principe andersom. Het model moet werken met wat mensen echt schreven. De gids over open antwoorden analyseren laat zien hoe je AI-thema's controleert tegen de tekst, en de MCP-server van SurveyLane geeft een assistent alleen-lezen toegang tot echte antwoorden, zodat er iets echts is om samen te vatten.

Echte mensen voor echte beslissingen

Een enquête is de moeite waard omdat hij je kan verrassen. Het antwoord dat je niet verwachtte, van de groep die je onderschatte, is meestal het antwoord dat een beslissing verandert. Synthetische respondenten zijn gebouwd om het verwachte antwoord te geven. Die verrassing is waar je voor betaalde, en die halen ze eruit. Laat een model dus je formulering aanscherpen en je analyse versnellen. Stuur de enquête daarna naar mensen.