Répondants synthétiques : une IA peut-elle remplir votre enquête à votre place ?

Le terrain prend du temps et les répondants coûtent cher, alors la promesse séduit : vous décrivez votre cible à un modèle de langage, il répond comme cinq cents de ces personnes, et vous avez vos résultats avant midi. Plusieurs outils d'études vendent exactement cela, sous des noms comme répondants synthétiques, silicon samples ou personas IA. Des réponses synthétiques peuvent tomber à peu près juste sur une moyenne et se tromper sur tout ce qui compte pour une décision.

Ce qu'est un répondant synthétique

Un répondant synthétique est un modèle de langage à qui l'on demande de remplir un questionnaire comme s'il était un certain type de personne. Vous fournissez un profil, par exemple "infirmière de 52 ans à Lyon, vote au centre gauche, utilise notre application depuis deux ans", puis vos questions. Le modèle produit une réponse. Répétez l'opération avec quelques centaines de profils calés sur une population, et vous obtenez quelque chose qui ressemble à un jeu de données.

Personne n'a été interrogé. Le modèle prédit quel texte suivrait de façon plausible la description de cette personne, à partir de ce qu'il a absorbé pendant son entraînement. C'est tout le mécanisme.

L'étude de départ : les silicon samples

L'idée a pris de l'ampleur avec un article paru en 2023 dans Political Analysis, signé Lisa Argyle, Ethan Busby, Nancy Fulda, Joshua Gubler, Christopher Rytting et David Wingate, intitulé "Out of One, Many". Ils ont alimenté GPT-3 avec des milliers de récits sociodémographiques construits à partir de vrais participants à de grandes enquêtes américaines, dont les American National Election Studies. Puis ils ont posé au modèle des questions politiques, à chaque fois dans la peau de l'une de ces personnes.

Les réponses générées suivaient les vraies d'assez près pour que les auteurs forgent un terme : algorithmic fidelity, la fidélité algorithmique. Un modèle la possède, selon eux, quand ses sorties pour un groupe reproduisent les mêmes liens entre attitudes et caractéristiques démographiques que chez de vraies personnes de ce groupe. Ils ont proposé quatre tests. Le plus exigeant : les relations entre variables doivent correspondre à ce que montrent les vraies enquêtes.

L'article est prudent. Sa thèse est que le modèle contient beaucoup d'information sur la façon dont les opinions s'articulent dans l'électorat américain, et que les chercheurs en sciences sociales peuvent s'en servir. Nulle part il ne dit qu'on peut cesser d'interroger des gens.

Les moyennes tiennent, la dispersion non

Un an plus tard, James Bisbee, Joshua Clinton, Cassy Dorff, Brenton Kenkel et Jennifer Larson ont mis l'idée à l'épreuve, dans Political Analysis également, avec un article intitulé "Synthetic Replacements for Human Survey Data? The Perils of Large Language Models". Ils ont demandé à ChatGPT d'endosser des personas et de noter onze groupes sociaux et politiques sur un thermomètre de sympathie. Ils ont comparé les résultats aux vagues 2016 à 2020 des American National Election Studies.

À première vue, ça marchait. Les scores moyens de ChatGPT étaient proches des vraies moyennes. En dessous, les réponses variaient beaucoup moins que celles de vraies personnes. Et quand les auteurs ont fait tourner les mêmes régressions sur les données synthétiques et réelles, les coefficients différaient souvent de façon significative.

La moyenne globale est le premier chiffre que vous vérifiez, donc c'est aussi celui qui vous rassure. La plupart des décisions reposent pourtant sur autre chose : l'écart entre les opinions, le groupe qui se distingue d'un autre, ce qui est lié à quoi. Un échantillon trop peu dispersé rend chaque groupe plus homogène et chaque estimation plus précise qu'elle ne l'est. L'article sur la taille d'échantillon et la marge d'erreur explique pourquoi la dispersion détermine vos intervalles de confiance.

Un mot de changé, une autre réponse

Bisbee et ses collègues ont relevé deux autres problèmes qui concernent quiconque veut reproduire une étude. De petites modifications dans la formulation du prompt déplaçaient la distribution des réponses synthétiques. Et le même prompt donnait des résultats significativement différents quand ils l'ont relancé sur une période de trois mois.

Les vraies enquêtes sont sensibles à la formulation elles aussi, et l'article sur les effets d'ordre des questions montre combien une question précédente peut déplacer une réponse. La différence : avec des humains, vous pouvez tester et documenter ces effets, et les gens ne changent pas en douce entre lundi et vendredi. Un modèle hébergé peut être mis à jour par son fournisseur sans prévenir. Si votre baromètre trimestriel repose sur des réponses synthétiques, un écart entre deux trimestres peut venir de vos clients ou d'une mise à jour du modèle.

De qui le modèle porte-t-il l'opinion ?

Shibani Santurkar et ses collègues de Stanford ont posé une question plus large à ICML 2023 : de qui les modèles de langage reflètent-ils l'opinion par défaut ? Ils ont construit un jeu de données, OpinionQA, à partir de l'American Trends Panel du Pew Research Center, et comparé les réponses des modèles à celles de 60 groupes démographiques aux États-Unis.

L'écart entre les modèles et ces groupes était important. Les auteurs l'ont jugé comparable au fossé entre démocrates et républicains sur le changement climatique. Il ne disparaissait pas quand on indiquait explicitement au modèle au nom de quel groupe répondre. Certains groupes étaient particulièrement mal représentés, notamment les 65 ans et plus et les personnes veuves.

Les groupes que le modèle restitue le plus mal sont souvent ceux qui sont déjà difficiles à joindre. Si vous comptiez combler le manque de répondants âgés avec des répondants synthétiques, vous le comblez avec les suppositions les moins fiables du modèle. L'article sur la qualité de l'échantillon traite de la non-réponse dans ces groupes précisément.

Groupes aplatis et stéréotypes

Angelina Wang, Jamie Morgenstern et John Dickerson sont allés plus loin dans un article paru en 2025 dans Nature Machine Intelligence. Ils ont mené des études auprès de 3 200 participants répartis sur 16 identités démographiques, puis comparé leurs réponses à celles de quatre modèles de langage à qui l'on imposait une identité.

Ils décrivent deux défauts. Le premier, misportrayal, est une représentation faussée : quand on demandait aux modèles de répondre en tant que membre d'un groupe, leurs réponses se rapprochaient de ce que des personnes extérieures imaginent de ce groupe. Les membres du groupe, eux, répondaient autrement. Le second, flattening, est un aplatissement : la diversité interne du groupe disparaissait, si bien que "les femmes" ou "les seniors" parlaient d'une seule voix.

Leurs techniques pour atténuer ces problèmes au moment de la génération ont aidé. D'après leurs propres mesures, elles ne les ont pas supprimés. Leur conseil est la prudence partout où l'identité du participant compte pour la tâche. Dans une enquête, c'est presque toujours le cas.

Pourquoi le modèle ne connaît pas vos répondants

Un modèle de langage a appris à partir de textes antérieurs à son entraînement. Il en sait long sur la façon dont les gens parlent en général de politique ou de marques. Sur les personnes précises que vous voulez entendre, il ne sait rien.

Vos clients ont utilisé une version de votre produit sortie le mois dernier. Vos salariés travaillent sous un manager dont le modèle n'a jamais entendu parler. La question que vous voulez poser est généralement une question sur laquelle personne n'a encore écrit, sinon vous n'auriez pas besoin d'enquête. Sur ces questions-là, le modèle se rabat sur la réponse la plus typique pour quelqu'un qui correspond au profil. D'où l'aplatissement : des moyennes sans les gens qui ne sont pas d'accord.

Là où les réponses synthétiques ont leur place

Servez-vous d'un modèle là où une réponse plausible suffit et où une réponse vraie n'est pas nécessaire.

L'usage le plus utile consiste à éprouver le questionnaire. Demandez à un modèle de répondre comme un répondant perdu ou pressé, et regardez où il bute. Un terme ambigu ou une modalité de réponse manquante apparaît souvent en quelques minutes. Le test avec de vraies personnes reste à faire ensuite.

Les réponses générées sont aussi un moyen bon marché de faire passer des centaines de parcours dans votre logique conditionnelle. Vous repérez la branche qui ne mène nulle part, ou la question que personne ne voit jamais.

Avec des données factices, vous montez vos rapports et vos grilles de codage avant la fin du terrain. Quand les vraies réponses arrivent, l'analyse est prête.

Dans tous ces cas, les données synthétiques partent à la poubelle avant la publication du moindre chiffre.

Les questions à poser avant d'acheter un panel synthétique

Si un fournisseur propose des répondants synthétiques pour remplacer le terrain, demandez-lui comment il sait que ça marche. Une réponse crédible contient tout ceci :

• Une validation face à un vrai échantillon, sur des questions proches des vôtres. Les sondages publics connus ne comptent pas, car le modèle les a probablement vus pendant son entraînement.
• Des résultats sur la dispersion et sur les écarts entre sous-groupes. Les moyennes seules prouvent peu.
• La version du modèle qui a produit les réponses, et ce qu'il advient de la comparabilité quand elle change.
• La sensibilité des résultats à de petites modifications du prompt et de la description des personas.

Si vous les utilisez malgré tout, tenez-les à l'écart

Étiquetez clairement les enregistrements synthétiques et stockez-les dans un jeu de données séparé. Ne les mélangez pas avec des réponses humaines. Ne les pondérez pas non plus pour remplir un quota, et un chiffre synthétique n'apparaît jamais dans un rapport sous la même base qu'un vrai échantillon. Consignez le modèle, la version, la date et le prompt complet avec les sorties, pour que chacun sache d'où vient un chiffre. Et comparez au moins une question avec de vraies réponses avant que quiconque en tire une conclusion.

Si vous analysez vos vraies données avec l'IA, le même principe vaut dans l'autre sens. Le modèle doit travailler sur ce que les gens ont réellement écrit. Le guide d'analyse des réponses ouvertes montre comment vérifier les thèmes proposés par l'IA par rapport au texte, et le serveur MCP de SurveyLane donne à un assistant un accès en lecture seule aux vraies réponses, pour qu'il ait quelque chose de réel à résumer.

De vraies personnes pour de vraies décisions

Une enquête vaut la peine parce qu'elle peut vous surprendre. La réponse que vous n'attendiez pas, venue du groupe que vous aviez sous-estimé, est en général celle qui fait bouger une décision. Les répondants synthétiques sont conçus pour fournir la réponse attendue. Cette surprise, c'est ce que vous payiez, et ils l'enlèvent. Laissez donc un modèle affiner vos formulations et accélérer votre analyse. Ensuite, envoyez l'enquête à des gens.