Synthetische Befragte: Kann eine KI Ihre Umfrage für Sie ausfüllen?

Feldarbeit dauert, und Befragte kosten Geld. Deshalb klingt das Angebot verlockend: Sie beschreiben einem Sprachmodell Ihre Zielgruppe, lassen es als fünfhundert dieser Menschen antworten und haben die Ergebnisse vor der Mittagspause. Mehrere Forschungstools verkaufen genau das, unter Namen wie synthetische Befragte, Silicon Samples oder KI-Personas. Die veröffentlichte Forschung ist genauer als das Marketing. Synthetische Antworten können einen Mittelwert ungefähr treffen und trotzdem bei allem danebenliegen, was für eine Entscheidung zählt.

Was ein synthetischer Befragter ist

Ein synthetischer Befragter ist ein Sprachmodell, das einen Fragebogen so ausfüllen soll, als wäre es eine bestimmte Person. Sie geben ein Profil vor, etwa "eine 52-jährige Pflegekraft aus Köln, wählt Mitte-links, nutzt unsere App seit zwei Jahren", danach Ihre Fragen. Das Modell liefert eine Antwort. Wiederholen Sie das mit ein paar hundert Profilen, die zu einer Grundgesamtheit passen, und Sie haben etwas, das wie ein Datensatz aussieht.

Gefragt wurde dabei niemand. Das Modell sagt voraus, welcher Text plausibel auf die Beschreibung dieser Person folgt, gestützt auf das, was es im Training aufgenommen hat. Mehr steckt nicht dahinter.

Die Studie, mit der es anfing: Silicon Samples

Ernsthafte Aufmerksamkeit bekam die Idee durch einen Artikel von 2023 in Political Analysis. Lisa Argyle, Ethan Busby, Nancy Fulda, Joshua Gubler, Christopher Rytting und David Wingate nannten ihn "Out of One, Many". Sie fütterten GPT-3 mit Tausenden soziodemografischer Hintergrundgeschichten, die aus echten Teilnehmenden großer amerikanischer Umfragen gebaut waren, darunter die American National Election Studies. Dann stellten sie dem Modell politische Fragen, jeweils in der Rolle einer dieser Personen.

Die erzeugten Antworten folgten den echten so eng, dass die Autoren einen Begriff dafür prägten: Algorithmic Fidelity. Ein Modell besitzt diese Eigenschaft, so ihr Argument, wenn seine Ausgabe für eine Gruppe dieselben Muster aus Einstellungen und Demografie zeigt wie echte Menschen aus dieser Gruppe. Sie schlugen dafür vier Prüfungen vor. Die strengste: Die Zusammenhänge zwischen Variablen sollen dem entsprechen, was echte Umfragen zeigen.

Der Artikel ist vorsichtig. Seine Behauptung lautet, dass das Modell viel Information darüber enthält, wie Einstellungen in der amerikanischen Wählerschaft zusammenhängen, und dass Sozialwissenschaftler damit arbeiten können. Nirgends steht, dass man aufhören kann, Menschen zu befragen. Das Marketing, das folgte, überspringt diesen Teil gern.

Die Mittelwerte stimmen, die Streuung nicht

Ein Jahr später setzten James Bisbee, Joshua Clinton, Cassy Dorff, Brenton Kenkel und Jennifer Larson die Idee unter Druck, ebenfalls in Political Analysis, mit dem Artikel "Synthetic Replacements for Human Survey Data? The Perils of Large Language Models". Sie ließen ChatGPT Personas annehmen und elf gesellschaftliche und politische Gruppen auf einem Gefühlsthermometer bewerten. Die Ergebnisse verglichen sie mit den Wellen 2016 bis 2020 der American National Election Studies.

Auf den ersten Blick funktionierte es. Die durchschnittlichen Werte von ChatGPT lagen nahe an den echten Mittelwerten. Darunter zeigte sich aber deutlich weniger Variation, als echte Menschen sie zeigen. Und als die Autoren dieselben Regressionen mit synthetischen und echten Daten rechneten, unterschieden sich die Koeffizienten oft signifikant.

Genau hier geht es schief. Den Gesamtmittelwert prüfen Sie zuerst, also ist er auch die Zahl, die Sie beruhigt. Die meisten Entscheidungen hängen aber an etwas anderem: wie weit die Meinungen auseinanderliegen, welche Gruppe sich von welcher unterscheidet, was womit zusammenhängt. Eine Stichprobe mit zu wenig Streuung lässt jede Gruppe einheitlicher wirken und jede Schätzung genauer, als sie ist. Der Beitrag über Stichprobengröße und Fehlermarge erklärt, warum die Streuung Ihre Konfidenzintervalle bestimmt. Bei synthetischen Daten ist dieses Vertrauen nicht verdient.

Ein Wort anders, eine andere Antwort

Bisbee und Kollegen fanden zwei weitere Probleme, die jeden betreffen, der eine Studie wiederholen will. Kleine Änderungen an der Formulierung des Prompts verschoben die Verteilung der synthetischen Antworten. Und derselbe Prompt lieferte signifikant andere Ergebnisse, als sie ihn über einen Zeitraum von drei Monaten erneut ausführten.

Auch echte Umfragen reagieren auf Formulierungen, und der Beitrag über Reihenfolgeeffekte zeigt, wie stark eine vorherige Frage eine Antwort verschieben kann. Der Unterschied: Bei einer Umfrage mit Menschen können Sie Formulierungseffekte testen und dokumentieren, und die Menschen verändern sich nicht unbemerkt zwischen Montag und Freitag. Ein gehostetes Modell kann der Anbieter ohne Ankündigung aktualisieren. Läuft Ihre Quartalsmessung auf synthetischen Antworten, kann eine Verschiebung zwischen zwei Quartalen von Ihren Kunden kommen oder von einem Modell-Update. Sie sehen es nicht.

Für alles, was Sie wiederholen wollen, passen synthetische Daten deshalb schlecht. Der Beitrag über wiederholte Umfragen ohne Trendbruch listet auf, was die Vergleichbarkeit unbemerkt zerstört. Ein unangekündigter Modellwechsel gehört ganz oben auf diese Liste.

Wessen Meinung hat das Modell?

Shibani Santurkar und Kollegen aus Stanford stellten auf der ICML 2023 eine breitere Frage: Wessen Meinung geben Sprachmodelle standardmäßig wieder? Sie bauten einen Datensatz namens OpinionQA auf Basis des American Trends Panel des Pew Research Center und verglichen Modellantworten mit denen von 60 demografischen Gruppen in den USA.

Die Lücke zwischen den Modellen und diesen Gruppen war groß. Die Autoren setzten sie gleich mit der Kluft zwischen Demokraten und Republikanern beim Klimawandel. Sie verschwand auch dann nicht, als man dem Modell ausdrücklich sagte, als welche Gruppe es antworten sollte. Manche Gruppen wurden besonders schlecht abgebildet, darunter Menschen ab 65 und Verwitwete.

Wer Umfragen entwirft, sollte hier aufhorchen. Die Gruppen, mit denen ein Modell am schlechtesten zurechtkommt, sind oft genau die, die ohnehin schwer zu erreichen sind. Und schwer erreichbare Menschen sind der Hauptgrund, warum überhaupt jemand eine Abkürzung sucht. Wollten Sie die Lücke fehlender älterer Befragter mit synthetischen füllen, füllen Sie sie mit den ungenauesten Vermutungen des Modells. Der Beitrag über Stichprobenqualität behandelt den Nonresponse genau dieser Gruppen.

Verflachte Gruppen und Stereotype

Angelina Wang, Jamie Morgenstern und John Dickerson gingen in einem Artikel weiter, der 2025 in Nature Machine Intelligence erschien. Sie führten Studien mit 3.200 Teilnehmenden aus 16 demografischen Identitäten durch und verglichen deren Antworten mit der Ausgabe von vier Sprachmodellen, denen eine Identität vorgegeben wurde.

Sie beschreiben zwei Fehler. Der erste heißt Misportrayal, also Fehldarstellung: Sollten die Modelle als Mitglied einer Gruppe antworten, lagen ihre Antworten näher an dem, was Außenstehende von dieser Gruppe erwarten. Mitglieder der Gruppe selbst antworteten anders. Der zweite heißt Flattening, Verflachung: Die Vielfalt innerhalb einer Gruppe ging verloren, sodass "Frauen" oder "Ältere" wie eine einzige Stimme klangen. Außerdem weisen die Autoren darauf hin, dass ein Prompt nach Identität so tut, als würde ein einzelnes Etikett einen Menschen erklären.

Ihre Techniken, um diese Probleme beim Generieren zu verringern, halfen. Nach ihren eigenen Messungen beseitigten sie die Probleme aber nicht. Ihr Rat lautet Vorsicht überall dort, wo die Identität der Teilnehmenden für die Aufgabe eine Rolle spielt. In einer Umfrage ist das fast immer so.

Warum das Modell Ihre Befragten nicht kennt

Der Grund dahinter ist schlicht. Ein Sprachmodell hat aus Text gelernt, der vor dem Training existierte. Es weiß viel darüber, wie Menschen im Allgemeinen über Politik oder Marken reden. Über die konkreten Menschen, die Sie hören wollen, weiß es nichts.

Ihre Kunden haben eine Produktversion genutzt, die letzten Monat erschienen ist. Ihre Mitarbeitenden arbeiten unter einer Führungskraft, von der das Modell nie gehört hat. Die Frage, die Sie stellen wollen, ist meist eine, über die noch niemand geschrieben hat, sonst bräuchten Sie keine Umfrage. Bei solchen Fragen greift das Modell auf die typischste Antwort für jemanden zurück, der zum Profil passt. Daher kommt die Verflachung: Mittelwerte ohne die Menschen, die anderer Meinung sind.

Wo synthetische Antworten ihren Platz haben

Wertlos ist ein Sprachmodell rund um eine Umfrage deshalb nicht. Setzen Sie es dort ein, wo eine plausible Antwort genügt und keine wahre Antwort nötig ist.

Am nützlichsten ist der Härtetest für den Fragebogen. Lassen Sie ein Modell als verwirrte oder gehetzte Befragte antworten und schauen Sie, wo es hängen bleibt. Ein mehrdeutiger Begriff oder eine fehlende Antwortoption fällt oft innerhalb von Minuten auf. Betrachten Sie es als zusätzliches Augenpaar. Den Test mit echten Menschen machen Sie danach trotzdem.

Generierte Antworten sind außerdem ein günstiger Weg, Hunderte Pfade durch Ihre bedingte Logik zu schicken. So finden Sie den Zweig, der ins Leere führt, oder die Frage, die nie jemand zu sehen bekommt.

Mit Dummy-Daten bauen Sie Berichte und Codierschemata, bevor die Feldphase endet. Kommen die echten Antworten, steht die Auswertung bereit.

Und ein Modell kann Antwortoptionen vorschlagen, die Sie vergessen haben, oder einen Kündigungsgrund, an den Sie nicht gedacht hatten. Echte Befragte sagen Ihnen dann, ob er zutrifft.

Bei all diesen Anwendungen werfen Sie die synthetischen Daten weg, bevor irgendeine Zahl berichtet wird.

Fragen, bevor Sie ein synthetisches Panel kaufen

Bietet ein Anbieter synthetische Befragte als Ersatz für Feldarbeit an, fragen Sie, woher er weiß, dass es funktioniert. Eine glaubwürdige Antwort enthält all das:

• Validierung gegen eine echte Stichprobe bei Fragen wie Ihren. Bekannte öffentliche Umfragen zählen nicht, denn die hat das Modell wahrscheinlich im Training gesehen.
• Ergebnisse für die Streuung und für Unterschiede zwischen Teilgruppen. Mittelwerte allein beweisen wenig.
• Welche Modellversion die Antworten erzeugt hat und was mit der Vergleichbarkeit passiert, wenn sie sich ändert.
• Wie empfindlich die Ergebnisse auf kleine Änderungen am Prompt und an der Persona-Beschreibung reagieren.
• Was sie für Gruppen empfehlen, die Modelle laut veröffentlichter Forschung schlecht abbilden.

Wenn Sie sie trotzdem nutzen, halten Sie sie getrennt

Kennzeichnen Sie synthetische Datensätze deutlich und speichern Sie sie getrennt. Mischen Sie sie nicht mit Antworten von Menschen. Gewichten Sie sie auch nicht hoch, um eine Quote zu füllen, und eine synthetische Zahl landet nie unter derselben Basis in einem Bericht wie eine echte Stichprobe. Halten Sie Modell, Version, Datum und den vollständigen Prompt zusammen mit der Ausgabe fest, damit jeder sieht, woher eine Zahl stammt. Und vergleichen Sie mindestens eine Frage mit echten Antworten, bevor jemand Schlüsse zieht.

Werten Sie Ihre echten Daten mit KI aus, gilt dasselbe Prinzip umgekehrt. Das Modell muss mit dem arbeiten, was Menschen tatsächlich geschrieben haben. Der Leitfaden zur Auswertung offener Antworten zeigt, wie Sie KI-Themen am Text prüfen, und der MCP-Server von SurveyLane gibt einem Assistenten Lesezugriff auf echte Antworten, damit es etwas Echtes zusammenzufassen gibt.

Echte Menschen für echte Entscheidungen

Eine Umfrage lohnt sich, weil sie Sie überraschen kann. Die Antwort, die Sie nicht erwartet haben, von der Gruppe, die Sie unterschätzt haben, ist meist die, die eine Entscheidung verändert. Synthetische Befragte sind darauf gebaut, die erwartete Antwort zu liefern. Für genau diese Überraschung haben Sie bezahlt, und sie nehmen sie heraus. Lassen Sie also ein Modell Ihre Formulierungen schärfen und Ihre Auswertung beschleunigen. Danach schicken Sie die Umfrage an Menschen.