Eine Umfrage übersetzen, ohne zu verändern, was sie misst

Wer eine Umfrage in vier Sprachen verschickt, hofft auf einen Datensatz. Oft bekommst du vier Umfragen, die sich ähneln. Jede Übersetzung kann Wort für Wort stimmen und trotzdem eine leicht andere Frage stellen. Das merkst du erst später, wenn sich ein Unterschied zwischen Ländern als Unterschied zwischen Übersetzungen entpuppt.

Die Wörter stimmen, die Frage nicht

Eine Umfragefrage ist ein Messinstrument. Die Übersetzung muss dasselbe messen. Pew Research Center, das Umfragen in Dutzenden Ländern durchführt, schreibt in seinen Methodenhinweisen, es strebe Fragen an, die "auf der Ebene der Bedeutung vergleichbar" sind. Eine wörtliche Übertragung der englischen Fassung reicht dafür nicht.

"Zufrieden", "satisfied", "tevreden" und "satisfait" überschneiden sich weitgehend. Weitgehend. Wer antwortet, beantwortet das, was das Wort für ihn bedeutet.

Stell dir bei jeder übersetzten Frage deshalb diese Prüffrage: Würde jemand mit derselben Meinung die Frage in dieser Sprache genauso verstehen und dieselbe Antwort wählen?

Ein Wort verschiebt dein Ergebnis

Das bekannteste Beispiel kommt aus US-amerikanischen Gesundheitsumfragen. Die Standardfrage zur selbst eingeschätzten Gesundheit bietet fünf Stufen: excellent, very good, good, fair und poor. In spanischen Fassungen wird "fair" meist mit "regular" übersetzt. Spanischsprachige Befragte wählten diese Option viel häufiger als Englischsprachige "fair", und dadurch wirkten Hispanics kränker, als andere Messungen nahelegten.

Gabriel Sanchez und Edward Vargas haben die Formulierung direkt getestet. In einer Umfrage unter erwachsenen Latinos bekam die eine Hälfte der spanischsprachigen Befragten zufällig "regular" als Übersetzung von "fair", die andere Hälfte "más o menos". Wer "regular" sah, gab häufiger eine schlechte Gesundheit an als Englischsprachige und als Spanischsprachige mit "más o menos". "Regular" klingt eher nach "normal" oder "geht so". Eine ordentliche Wörterbuchübersetzung, die eben an einer anderen Stelle der Skala liegt.

Übersetzen kann auch den Kontext verändern

Sunghee Lee und Norbert Schwarz verglichen zwei große US-Umfragen unter Menschen ab 50 Jahren, veröffentlicht 2014 im American Journal of Public Health. Die Health and Retirement Study stellte die Frage zur selbst eingeschätzten Gesundheit vor allen anderen Gesundheitsfragen. Der National Health Interview Survey stellte sie nach Fragen zu gesundheitlichen Einschränkungen.

Bei Englischsprachigen bezeichneten 75,4 Prozent ihre Gesundheit in der einen Umfrage als positiv und 80,5 Prozent in der anderen. Bei Spanischsprachigen waren es 41,3 Prozent ohne Gesundheitskontext und 68,3 Prozent mit. Ein Unterschied von 27 Prozentpunkten. Die vorherigen Fragen sagten den Spanischsprachigen, welche Art von "Gesundheit" gemeint war. Und nur wenn die Frage danach kam, sagte ihre Antwort die Sterblichkeit voraus.

Eine Frage kann sich in einer Sprache also stärker auf ihren Kontext stützen als in einer anderen. Änderst du in einer Fassung die Reihenfolge, streichst du Fragen oder fügst welche hinzu, verschiebst du womöglich nur dort die Bedeutung. Der Beitrag über Reihenfolgeeffekte zeigt, wie frühere Fragen spätere färben. Halte die Reihenfolge in allen Sprachen gleich.

Warum Rückübersetzung falsche Sicherheit gibt

Die klassische Prüfung ist die Rückübersetzung. Jemand übersetzt deine deutsche Umfrage ins Englische, eine zweite Person übersetzt sie zurück ins Deutsche, und wenn beide deutschen Fassungen übereinstimmen, gilt die Übersetzung als gut.

Das wirkt gründlich. Nur kommt eine steife, wörtliche Übersetzung mühelos durch, während eine natürliche Fassung, die eine Redewendung anpasst, so zurückkommt, als wäre etwas falsch. Philipp Walde und Birgit Völlm haben die Schwachstellen 2023 in Frontiers in Psychiatry zusammengefasst. Fehler im Rückweg selbst fallen nicht auf, und die Methode zieht die Übersetzung zu nah an den Ausgangstext. Kennt der Übersetzer den Kontext nicht, wählt er unter Umständen in beide Richtungen den falschen Begriff. Dann stimmt der Rundweg, die Bedeutung aber nicht.

Ihr eigenes Beispiel ist "Pflegedienste" für care services. Das Wort übersetzt sich hin und zurück ohne Probleme. Im Deutschen benutzt man es aber nur für die Versorgung von Kranken oder älteren Menschen, und das passte nicht zu ihrem Fragebogen.

Der Teamansatz: TRAPD

Die meisten großen internationalen Umfragen, darunter der European Social Survey, arbeiten mit TRAPD, einer Methode der Umfragemethodikerin Janet Harkness. Die Buchstaben stehen für Translation, Review, Adjudication, Pretesting und Documentation.

In der Praxis übersetzen mindestens zwei Personen den Fragebogen unabhängig voneinander. Dann gehen sie die Fassungen mit einer Reviewerin Frage für Frage durch und wählen oder kombinieren die beste Formulierung. Wo das Team sich nicht einigt, entscheidet eine Person. Das Ergebnis wird mit echten Befragten in dieser Sprache getestet. Und jede Entscheidung wird mit ihrer Begründung festgehalten.

Zwei unabhängige Übersetzungen sind nützlich, weil sie voneinander abweichen. Haben zwei gute Übersetzer verschiedene Wörter gewählt, ist die Ausgangsfrage meist mehrdeutig. Über genau diese Fragen musst du reden.

Für eine Kunden- oder Mitarbeiterumfrage reicht eine kleine Version. Lass zwei Kolleginnen oder Kollegen mit der Zielsprache als Muttersprache getrennt übersetzen. Vergleicht danach eine Stunde lang mit jemandem, der weiß, was jede Frage messen soll. Schreib auf, warum ihr euch für jede Formulierung entschieden habt. Wenn nächstes Jahr jemand fragt, warum sich der französische Wert verschoben hat, ist diese Notiz alles, was du hast.

Schreib eine Ausgangsfassung, die sich übersetzen lässt

Viele Übersetzungsprobleme beginnen im Original. Pew legt neue Fragen vor der Übersetzung professionellen Linguisten vor, die einschätzen, wie leicht sie sich übertragen lassen. Denselben Filter kannst du beim Schreiben selbst anlegen.

Redewendungen scheitern zuerst. "Wie sehr würdest du für dieses Team die Extrameile gehen?" hat in den meisten Sprachen kein sauberes Gegenstück. Vage Mengenangaben verrutschen ebenfalls: "ziemlich oft" bedeutet in jeder Sprache etwas anderes, "wie oft im letzten Monat" nicht. Eine doppelte Verneinung ist schon in einer Sprache schwierig, also übersteht "Stimmst du nicht zu, dass das Onboarding nicht klar war?" keine vier Sprachen. Benenne Dinge konkret. "Deine Führungskraft" reist besser als "die Leitung", die in einer Sprache den Vorstand meint und in einer anderen deine Teamleitung. Und bleib bei einem Thema pro Frage, denn jede Hälfte einer Doppelfrage kann für sich verrutschen.

Das sind die Regeln aus dem Leitfaden für bessere Umfragefragen, angewendet mit einer Übersetzerin im Hinterkopf.

Skalen lassen sich nicht eins zu eins übersetzen

Skalenfragen tragen das größte Risiko, weil die Beschriftungen kurz sind und jedes Wort zählt. "Stimme voll und ganz zu" wird zu "strongly agree", "helemaal eens" oder "tout à fait d'accord". Der Abstand zwischen der obersten Stufe und der darunter ist trotzdem je nach Sprache verschieden. Klingt die oberste Stufe in einer Sprache extremer, wählen sie weniger Menschen.

Dazu kommen Antwortstile. Anne-Wil Harzing untersuchte 2006 Befragte in 26 Ländern und fand große Unterschiede darin, wie Menschen Skalen nutzen. Befragte aus spanischsprachigen Ländern antworteten häufiger extrem und stimmten bereitwilliger zu. Japanische und chinesische Befragte antworteten deutlich weniger extrem. Ihre Arbeit deutet außerdem darauf hin, dass die Unterschiede zwischen Ländern schrumpfen, wenn Menschen auf Englisch und nicht in ihrer eigenen Sprache antworten.

Übersetze Skalenbeschriftungen deshalb als Satz und prüfe, ob sich die Abstufungen in jeder Sprache gleichmäßig anfühlen. Beschrifte jeden Punkt, damit niemand raten muss, was die Zwischenstufen bedeuten; der Beitrag über Skalenfragen erklärt, warum voll beschriftete Skalen zuverlässiger sind. Itemspezifische Skalen ("sehr einfach" bis "sehr schwierig") halten besser als Zustimmungsskalen, die in jeder Sprache Ja-Sagen begünstigen.

Die Anrede ist eine Designentscheidung

Englisch hat ein "you". Deutsch hat "du" und "Sie", Niederländisch "je" und "u", Französisch "tu" und "vous". Damit legst du den Ton der ganzen Umfrage fest. Ein förmliches "Sie" in einer Umfrage für junge App-Nutzer wirkt steif. Ein "du" in einer Mitarbeiterumfrage bei einem konservativen Unternehmen wirkt anmaßend.

Nimm die Anrede, die deine Marke in dieser Sprache bei diesen Menschen ohnehin nutzt, und halte sie überall durch, von der Einladungsmail bis zur Erinnerung. Ein Wechsel mittendrin fällt sofort auf.

Manches musst du anpassen

Manche Inhalte baust du pro Land neu auf.

Bildungsabschlüsse sind das bekannteste Beispiel. Eine Liste mit Hauptschulabschluss, Abitur und Meister sagt einer französischen Befragten nichts. Ordne das System jedes Landes Kategorien zu, die du vergleichen kannst, und leg diese Zuordnung vor dem Start fest. Einkommensklassen sind das zweite Beispiel: 40.000 € umgerechnet ergeben einen krummen Betrag, und die Klasse bedeutet dort etwas anderes, wo die Löhne anders liegen. Auch Datumsangaben und Zahlen gehen schief. 03/04 ist in den USA der März und in Europa der April, und 1.500 ist auf Deutsch tausendfünfhundert, auf Englisch aber anderthalb. Nutze eine Datumsauswahl und schreib das Format aus.

Beispiele wie "ein Anruf beim Finanzamt" funktionieren nur dort, wo man sie kennt, und Regionen und Berufsbezeichnungen brauchen lokale Listen.

Halte fest, wie jede lokale Kategorie zu der Kategorie passt, die du berichtest. Diese Zuordnung gehört zum Fragebogen.

Teste jede Sprachfassung

Der Pretest muss in jeder Sprache stattfinden. Walde und Völlm testeten ihre deutsche Übersetzung mit forensischen Patienten in zwei Runden kognitiver Interviews. In der ersten Runde hatten 6 von 9 Patienten Mühe mit "Individuum" für "individual". Nachdem das Team die Formulierung angepasst hatte, verstanden in der zweiten Runde 7 von 8 Patienten die überarbeiteten Fassungen gut. Eine Rückübersetzung hätte das nie bemerkt, denn "Individuum" ist eine korrekte Übersetzung.

Bitte drei oder vier Muttersprachler aus deiner echten Zielgruppe, die Umfrage laut denkend auszufüllen, und frag, was sie unter den wichtigsten Fragen verstanden haben. Starte danach pro Sprache einen Soft Launch und vergleiche, wie oft dieselben Fragen übersprungen werden und wie die Antworten streuen. Eine Frage, die in einer Sprache viel öfter übersprungen wird, hat meist ein Übersetzungsproblem. Der Leitfaden zum Vortesten einer Umfrage erklärt, wie du beides aufsetzt.

Achte dabei auch auf das Layout. Deutscher Text ist oft länger als englischer, und eine Beschriftung, die auf Englisch in eine Zeile passt, kann auf dem Handy auf Deutsch drei Zeilen füllen.

Einen mehrsprachigen Datensatz auswerten

Speichere die Sprache, in der jemand geantwortet hat, als eigene Variable. Ohne sie kannst du einen echten Unterschied zwischen Gruppen nicht von einem Übersetzungseffekt trennen.

Sieh dir die wichtigsten Fragen pro Sprache an, bevor du alles zusammenführst. Verhält sich eine Fassung seltsam, etwa mit einer Spitze bei einer Option oder einer deutlich höheren Quote übersprungener Antworten, geh dem nach, bevor du eine Gesamtzahl berichtest. Sprache und Gruppe hängen allerdings zusammen. Ein Sprachunterschied ist daher vor allem ein Grund, weiter zu graben, bevor du der Übersetzung die Schuld gibst.

Kodiere offene Antworten möglichst in der Originalsprache, oder bewahre das Original neben einer maschinellen Übersetzung auf, damit jemand beim Kodieren nachprüfen kann. Der Beitrag über die Analyse offener Antworten behandelt das Kodieren selbst.

Eine übersetzte Umfrage wiederholen

Ist eine Übersetzung einmal im Feld, friere sie ein. Pew verwendet frühere Übersetzungen für bereits gestellte Fragen wieder, damit die Ergebnisse über die Zeit vergleichbar bleiben. Feilst du zwischen zwei Wellen an der französischen Formulierung einer Trendfrage, weißt du nicht mehr, ob sich der französische Trend bewegt hat, weil sich Meinungen geändert haben, oder weil sich die Frage geändert hat. Ist eine Übersetzung wirklich falsch, korrigiere sie und markiere den Bruch. Der Beitrag über wiederholte Umfragen zeigt, wie das geht.

In SurveyLane liegen Übersetzungen direkt bei der Umfrage, pro Frage, Antwortoption und Skalenbeschriftung. Jede Sprachfassung teilt eine Struktur und ein Regelwerk für die Verzweigung, sodass die Fassungen nicht auseinanderlaufen können.