Offene Umfrageantworten auswerten, und wo KI hineinpasst

Die meisten Umfrageteams stecken ihre ganze Gestaltungszeit in die Skalenfragen und behandeln das Kommentarfeld als Nebensache. Das ist verkehrt herum. Die geschlossenen Fragen sagen Ihnen, was passiert ist. Die eine offene Frage am Ende sagt Ihnen, warum. Offener Text ist auch die Stelle, an der die Auswertung leise scheitert, denn ein paar tausend freie Antworten zu lesen ist langsame Arbeit, die kein Dashboard für Sie erledigt. Also werden die Antworten überflogen oder in ein Chatmodell geworfen, das eine saubere Zusammenfassung ausgibt, die niemand prüft. Dies ist ein Leitfaden, wie man es richtig macht, und wo ein KI-Modell aufhört zu helfen.

Warum offene Antworten die Mühe wert sind

Eine Bewertung sagt Ihnen die Größe eines Gefühls, nicht die Ursache. Wer Ihnen 3 von 5 gibt, hat Ihnen eine Zahl gegeben, die Sie mitteln können, aber sie schweigt darüber, ob es am Preis lag, am Onboarding, an einem schlechten Support-Ticket oder an einer Anzeige der Konkurrenz vom selben Morgen. Die offene Antwort neben dieser Zahl ist die einzige Stelle, an der der Grund in eigenen Worten auftaucht, bevor Sie ihn durch Ihre Vermutung über das Problem gefiltert haben.

Offener Text ist auch der Teil einer Umfrage, den Sie nicht vorab festgelegt haben. Jede geschlossene Frage ist eine Hypothese: Sie haben die Antworten geraten und als Optionen gedruckt. War Ihre Vermutung unvollständig, kann die Frage es Ihnen nicht sagen, denn die fehlende Option steht nicht da. Im offenen Feld erscheint die Antwort, an die Sie nie gedacht haben. Werfen Sie sie weg, behalten Sie nur die Befunde, die Sie schon erwartet haben.

Codieren ist die Fähigkeit, auf der alles ruht

Der Haken ist, dass offener Text nicht als Daten ankommt. Er kommt als Prosa, in stark schwankender Länge, Rechtschreibung, Sprache und Mühe, und nichts davon passt in ein Diagramm, bis jemand Struktur darauflegt. Dieser Schritt heißt Codieren, und darum geht es.

Codieren heißt, jede Antwort zu lesen und mit einer oder mehreren Kategorien zu versehen, sodass "der Checkout lief immer wieder in Timeouts" und "die Zahlseite fror zweimal ein" beide unter einen Code wie Checkout-Zuverlässigkeit fallen. Sobald jede Antwort Codes trägt, können Sie sie zählen, mit der Bewertung kreuzen und berichten, dass 31% der Kritiker die Checkout-Zuverlässigkeit nannten, statt drei markante Zitate zu bringen und zu hoffen, dass sie typisch sind. Codieren macht aus einer Anekdote einen Beleg.

Die Menge der Codes und ihrer Definitionen ist Ihr Codebuch. Ein gutes Codebuch hat Kategorien, die klar genug getrennt sind, um sich nicht zu überschneiden, konkret genug, um daraus zu handeln, und je in einem Satz definiert, sodass zwei verschiedene Personen bei derselben Antwort beim selben Code landen. Vage Codes wie "Nutzererfahrung" sind nutzlos, weil alles darunter passt. Offenen Text auszuwerten ist im Kern die Arbeit, ein solides Codebuch zu bauen und anzuwenden. Und genau das ist die Arbeit, von der man hofft, dass KI sie übernimmt.

Deduktives und induktives Codieren sind nicht dasselbe

Diese Trennung entscheidet, wo KI sicher ist, also lohnt Genauigkeit. Deduktives Codieren heißt, Sie bringen das Codebuch zu den Daten: Sie haben Ihre Kategorien bereits, und die Aufgabe ist, sie über tausende Antworten hinweg konsistent anzuwenden. Induktives Codieren heißt, Sie bauen das Codebuch aus den Daten: Sie lesen die Antworten ohne feste Kategorien und lassen die Themen aus dem entstehen, was die Leute wirklich geschrieben haben. Die meisten Projekte tun beides: erst induktiv ein Codebuch aus einer ersten Stichprobe entwerfen, dann deduktiv auf die volle Menge anwenden.

Die beiden Aufgaben verlangen Verschiedenes. Einen bekannten Code anzuwenden ist ein Abgleich mit einer klaren richtigen Antwort. Ein Thema zu entdecken ist Deutung. Es hängt von Ton, Kontext und dem Urteil ab, zu erkennen, dass drei verschieden formulierte Beschwerden dasselbe Grundproblem sind. Halten Sie diese Trennung fest: Sie deckt sich fast genau mit dem, was ein Sprachmodell kann und was nicht.

Wo KI wirklich zuverlässig ist: ein Codebuch anwenden, das Sie geschrieben haben

Geben Sie einem Modell ein klares Codebuch und lassen es Antworten dagegen taggen, dann arbeitet es etwa so gut wie ein Mensch. Ein verblindeter Vergleich in PLOS Digital Health vom April 2026 prüfte mehrere Modelle gegen menschliche Analysten an Interviewdaten aus dem Gesundheitswesen. Beim deduktiven Codieren, dem Anwenden vorgegebener Codes, kamen die Modelle den Menschen nicht unterlegen heraus: mittlere Übereinstimmung von 93,5% für die Modelle gegen 92,7% für die Menschen. Die strikte Halluzinationsrate, bei der ein Modell nicht vorhandene Belege erfand, lag bei 1,2%. Für die stumpfe, umfangreiche Hälfte des Codierens ist das echter Gewinn. Ein Modell taggt zehntausend Antworten über Nacht gegen Ihr Codebuch, ohne bei Antwort viertausend nachzulassen. Sie behalten die Deutung und delegieren das Skalieren. Der Leitfaden zur Umfrageauswertung mit KI über MCP zeigt, wie Sie ein Modell schreibgeschützt an Ihre Antwortdaten anbinden, damit es genau dieses Taggen an Daten erledigt, die es nicht ändern kann.

Wo KI Themen falsch trifft: sie für Sie entdecken

Drehen Sie die Aufgabe um. Bitten Sie ein Modell, rohe Antworten zu lesen und Ihnen die Themen zu nennen, ohne Codebuch, dann wird es deutlich weniger verlässlich. In derselben Studie erreichte nur eines der geprüften Modelle die Schwelle bei der induktiven Analyse. Die Modelle waren gerade dort am schwächsten, wo es zählt: Feingefühl für Nuance und latente Bedeutung, jene Lesart, die eine angedeutete Beschwerde oder ein unausgesprochenes Thema erfasst. Die breite Fehlerrate, die auch Teiltreffer und Fehlzuordnungen mitzählt, lag bei 12,4%.

Der Fehler ist selten eine wilde Erfindung. Er ist leiser, und das macht ihn schlimmer. Ein Modell liefert eine plausible, sauber geordnete Reihe von Themen, die maßgeblich klingt, und glättet dabei die Ausreißer, fasst zwei getrennte Probleme unter eine Überschrift oder befördert eine einmal gesehene Formulierung zum "wichtigen Thema". Aus der Zusammenfassung fangen Sie das nicht ab, denn sie wirkt stets selbstsicher. Sie fangen es ab, indem Sie die rohen Antworten zuerst selbst gelesen haben. Ein Modell mit einem dünnen Stapel Antworten gibt trotzdem fünf saubere Themen zurück, ohne zu warnen, dass die Stichprobe zu klein war, um sie zu tragen.

Ein Ablauf, der KI für ihre Stärken nutzt

Legt man beide Befunde nebeneinander, schreibt sich die Arbeitsteilung von selbst. Lesen Sie zuerst eine Stichprobe von Hand, ein paar hundert Antworten, genug um die wiederkehrenden Formen zu sehen. Das ist der induktive Schritt, und er bleibt menschlich, weil KI darin am schwächsten ist. Entwerfen Sie Ihr Codebuch aus diesem Lesen, einen Satz je Kategorie. Übergeben Sie dann Codebuch und volle Datenmenge dem Modell für den deduktiven Schritt und lassen jede Antwort in großem Maßstab taggen. Prüfen Sie stichprobenartig, indem Sie eine zufällige Auswahl selbst neu codieren und vergleichen. Weichen Sie bei mehr als einem kleinen Teil ab, ist Ihr Codebuch mehrdeutig, nicht das Modell. Was der Mensch nie abgibt, ist die Entscheidung, welche Kategorien es gibt und ob die Ergebnisse halten. Der Rest, das wiederholte Abgleichen, geht ans Modell.

Offenen Text quantifizieren, ohne mit Zahlen zu lügen

Sind die Antworten codiert, wollen Sie Prozente, und Prozente sind die Stelle, an der sich die Auswertung offener Texte am meisten überschätzt. Ein Code, der in 8% der Kommentare auftaucht, ist nicht dasselbe wie ein Problem, das 8% der Kunden betrifft, denn nur ein Teil hat überhaupt geschrieben, und wer das tat, sitzt am motivierteren oder verärgerteren Rand Ihrer Stichprobe. Berichten Sie codierten offenen Text als Anteil derer, die kommentiert haben, nie als Anteil aller.

Achten Sie auch auf kleine Zahlen. Ein Thema, das von neun Kommentaren aus viertausend getragen wird, ist ein Signal zum Nachgehen, kein Trend, auf den Sie Entscheidungen stützen. Der Leitfaden zur Gestaltung von Skalenfragen erklärt, warum eine Zahl genug Antworten unter sich braucht, bevor sie etwas bedeutet, und codierter offener Text ist keine Ausnahme.

Fehlerbilder, auf die Sie achten sollten

Ein paar Fallen kehren wieder. Zuordnung der Antworten: Füttern Sie ein Modell mit vielen Antworten auf einmal, kann es verschwimmen, welcher Kommentar was sagte, mit ein Grund, warum die breite Fehlerrate oben höher lag als die Erfindungsrate. Gefällige Themen: Modelle neigen zur sauberen Zusammenfassung, sodass ein wirklich widersprüchlicher oder unbequemer Befund weggewischt werden kann. Der verschwindende Sonderfall: der eine Kommentar über ein ernstes Barrierefreiheitsproblem oder ein rechtliches Risiko wiegt weit schwerer, als seine Häufigkeit von eins zu dreitausend nahelegt, und eine nach Häufigkeit gesteuerte Zusammenfassung lässt ihn fallen. Und Antworten geringer Qualität oder von einer Maschine geschrieben, die die Eingabe verschmutzen, noch bevor das Codieren beginnt. Der Leitfaden zur Überwachung der Antwortqualität erklärt, wie Sie die zuerst herausfiltern.

Nichts davon heißt, KI zu meiden. Es heißt: lesen Sie selbst eine echte Stichprobe des rohen Textes, halten Sie die seltenen, aber ernsten Kommentare von Hand im Blick, und behandeln Sie jedes Thema, das das Modell von sich aus hervorholt, als Hypothese zum Prüfen, nicht als Befund zum Veröffentlichen.

Die Auswertung beginnt beim Schreiben der Frage

Die sauberste Auswertung offener Texte ist die, die Sie Monate früher mit einer guten Frage aufgesetzt haben. "Weitere Anmerkungen?" liefert einen Friedhof aus "nein", "k. A." und Luftablassen, das schwer zu codieren ist, weil es um nichts Bestimmtes geht. Eine gezielte Frage wie "Welche eine Sache hätte es leichter gemacht?" liefert Antworten, die sich schon gruppieren, weil Sie eingegrenzt haben, worüber die Leute reden, bevor sie tippten. Der Leitfaden für bessere Umfragefragen greift hier direkt. Eine gezielte offene Frage ist freundlicher zum Befragten, und sie ist der Unterschied zwischen einem Codebuch, das sich fast selbst baut, und einem, das Sie verstreuten Antworten aufzwingen. Stellen Sie also lieber eine gute offene Frage als drei vage, und entscheiden Sie vor dem Versand, welche Entscheidung die Antworten speisen sollen.