Een enquête vertalen zonder te veranderen wat hij meet
Een vertaalde enquête kan een andere vraag stellen dan het origineel, terwijl elk woord klopt. Waarom letterlijk vertalen misgaat, wat een teamaanpak beter doet, en hoe je een meertalige enquête test en analyseert.
Door SurveyLane · Het team achter SurveyLane
Wie één enquête in vier talen verstuurt, hoopt op één dataset. Vaak krijg je vier enquêtes die op elkaar lijken. Elke vertaling kan woord voor woord kloppen en toch een net iets andere vraag stellen. Dat merk je pas achteraf, als een verschil tussen landen een verschil tussen vertalingen blijkt te zijn.
De woorden kloppen, de vraag niet
Een enquêtevraag is een meetinstrument, en een vertaling moet hetzelfde meten. Pew Research Center, dat enquêtes in tientallen landen afneemt, schrijft in zijn methodeverantwoording dat het streeft naar vragen die "vergelijkbaar zijn op het niveau van betekenis". Een letterlijke vertaling van de Engelse versie is daar niet genoeg voor.
"Tevreden", "satisfied", "zufrieden" en "satisfait" overlappen grotendeels. Grotendeels. Een respondent beantwoordt wat het woord voor hem betekent.
Stel bij elke vertaalde vraag dus deze controlevraag: als iemand in deze taal dezelfde mening had, zou hij de vraag dan op dezelfde manier begrijpen en hetzelfde antwoord kiezen?
Eén woord verschuift je uitkomst
Het best gedocumenteerde voorbeeld komt uit Amerikaanse gezondheidsenquêtes. De standaardvraag naar ervaren gezondheid biedt vijf opties: excellent, very good, good, fair en poor. In Spaanse versies wordt "fair" meestal vertaald als "regular". Spaanstalige respondenten kozen die optie veel vaker dan Engelstaligen "fair" kozen, waardoor Latino's er ongezonder uitzagen dan andere metingen deden vermoeden.
Gabriel Sanchez en Edward Vargas testten de formulering rechtstreeks. In een enquête onder Latijns-Amerikaanse volwassenen kreeg de ene helft van de Spaanstalige respondenten willekeurig "regular" als vertaling van "fair", de andere helft "más o menos". Wie "regular" zag, rapporteerde vaker een slechte gezondheid dan Engelstaligen en dan Spaanstaligen met "más o menos". "Regular" klinkt meer als "normaal" of "gaat wel". Een prima woordenboekvertaling, die gewoon op een andere plek op de schaal ligt.
Vertalen verandert soms ook de context
Sunghee Lee en Norbert Schwarz vergeleken twee grote Amerikaanse enquêtes onder vijftigplussers, in een artikel uit 2014 in het American Journal of Public Health. De Health and Retirement Study stelde de vraag naar ervaren gezondheid vóór alle andere gezondheidsvragen. De National Health Interview Survey stelde hem na vragen over lichamelijke beperkingen.
Bij Engelstaligen noemde 75,4 procent de eigen gezondheid positief in de ene enquête en 80,5 procent in de andere. Bij Spaanstaligen was dat 41,3 procent zonder gezondheidscontext en 68,3 procent mét. Een verschil van 27 procentpunten. De eerdere vragen vertelden Spaanstaligen welk soort "gezondheid" er bedoeld werd, en alleen als de vraag daarna kwam, voorspelde hun antwoord de sterfte.
Een vraag kan in de ene taal dus sterker op zijn context leunen dan in de andere. Verander je in één versie de volgorde, of schrap of voeg je vragen toe, dan verander je mogelijk alleen daar de betekenis. Het artikel over vraagvolgorde-effecten laat zien hoe eerdere vragen latere kleuren. Houd de volgorde in alle talen gelijk.
Waarom terugvertalen schijnzekerheid geeft
De klassieke controle is terugvertalen. Iemand vertaalt je Nederlandse enquête naar het Duits, een tweede persoon vertaalt die terug naar het Nederlands, en als beide Nederlandse versies overeenkomen, is de vertaling goedgekeurd.
Dat voelt degelijk. Toch komt een stijve, letterlijke vertaling er moeiteloos doorheen, terwijl een natuurlijke versie die een uitdrukking aanpast terugkomt alsof er iets mis is. Philipp Walde en Birgit Völlm zetten de zwakke plekken in 2023 op een rij in Frontiers in Psychiatry. Fouten in de terugvertaling zelf vallen niet op, en de methode trekt de vertaling te dicht naar de brontekst. Kent de vertaler de context niet, dan kiest hij soms in beide richtingen de verkeerde term. De rondgang klopt dan, de betekenis niet.
Hun eigen voorbeeld is het Duitse "Pflegedienste" voor zorgdiensten. Het vertaalt heen en terug zonder problemen. Maar in het Duits gebruik je het woord alleen voor zorg aan zieken of ouderen, en dat paste niet bij hun vragenlijst.
De teamaanpak: TRAPD
De meeste grote internationale enquêtes, waaronder de European Social Survey, werken met TRAPD, een methode van de surveymethodoloog Janet Harkness. De letters staan voor Translation, Review, Adjudication, Pretesting en Documentation.
In de praktijk vertalen minstens twee mensen de vragenlijst los van elkaar. Daarna lopen ze met een reviewer de versies vraag voor vraag door en kiezen of combineren ze de beste formulering. Waar het team er niet uitkomt, hakt één persoon de knoop door. Het resultaat wordt getest met echte respondenten in die taal. En elke beslissing wordt opgeschreven, met de reden erbij.
Twee onafhankelijke vertalingen zijn nuttig omdat ze van elkaar verschillen. Kozen twee goede vertalers verschillende woorden, dan is de bronvraag meestal dubbelzinnig. Over die vragen moet je het hebben.
Voor een klant- of medewerkersenquête kun je twee collega's met de doeltaal als moedertaal elk apart laten vertalen. Vergelijk daarna een uur lang met iemand die weet wat elke vraag moet meten. Schrijf op waarom je voor elke formulering koos.
Schrijf een bronversie die te vertalen is
Veel vertaalproblemen beginnen in de bron. Pew legt nieuwe vragen vóór het vertalen voor aan professionele taalkundigen, die beoordelen hoe makkelijk ze te vertalen zijn. Dezelfde toets kun je zelf doen terwijl je schrijft.
Uitdrukkingen gaan als eerste mis. "Hoe graag ga je voor dit team door het vuur?" heeft in de meeste talen geen nette tegenhanger. Vage hoeveelheden schuiven ook: "best vaak" betekent in elke taal iets anders, "hoe vaak in de afgelopen maand" niet. Een dubbele ontkenning is in één taal al lastig, dus "Ben je het oneens dat de onboarding niet duidelijk was?" overleeft geen vier talen. Benoem dingen concreet. "Je leidinggevende" reist beter dan "het management", dat in de ene taal de raad van bestuur is en in de andere je teamleider. En houd het bij één onderwerp per vraag, want elke helft van een dubbelloopsvraag kan los van de andere verschuiven.
Dit zijn de regels uit de gids voor betere enquêtevragen, toegepast met een vertaler in je achterhoofd.
Schalen vertaal je niet één op één
Schaalvragen dragen het meeste risico, omdat de labels kort zijn en elk woord telt. "Helemaal eens" wordt "strongly agree", "stimme voll und ganz zu" of "tout à fait d'accord". De afstand tussen het hoogste label en het label eronder verschilt wel per taal, en als het bovenste label in één taal extremer klinkt, kiezen minder mensen het.
Daar komen antwoordstijlen bij. Anne-Wil Harzing onderzocht in 2006 respondenten in 26 landen en vond grote verschillen in hoe mensen schalen gebruiken. Respondenten uit Spaanstalige landen gaven vaker extreme antwoorden en waren sneller geneigd in te stemmen. Japanse en Chinese respondenten antwoordden veel minder extreem. Haar werk wijst er ook op dat de verschillen tussen landen kleiner worden als je mensen in het Engels laat antwoorden en niet in hun eigen taal.
Vertaal schaallabels daarom als set en controleer of de stappen in elke taal gelijkmatig aanvoelen. Geef elk punt een label, zodat respondenten niet hoeven te raden wat de tussenstappen betekenen; het artikel over schaalvragen ontwerpen legt uit waarom volledig gelabelde schalen betrouwbaarder zijn. Vraagspecifieke schalen ("heel makkelijk" tot "heel moeilijk") houden beter stand dan eens-oneens-schalen, die in elke taal instemmen uitlokken.
De aanspreekvorm is een ontwerpkeuze
Het Engels heeft één "you". Het Nederlands heeft "je" en "u", het Duits "du" en "Sie", het Frans "tu" en "vous". Die keuze bepaalt de toon van de hele enquête. Een formeel "Sie" in een enquête voor jonge app-gebruikers voelt stijf. Een informeel "du" in een medewerkersenquête bij een behoudend bedrijf voelt vrijpostig.
Kies de aanspreekvorm die je merk in die taal al tegen deze mensen gebruikt, en houd hem overal vast, van de uitnodigingsmail tot de herinnering. Halverwege wisselen valt meteen op.
Sommige dingen moet je aanpassen
Een deel van de inhoud moet je per land opnieuw opbouwen.
Opleidingsniveau is het bekendste voorbeeld. Een lijst met mbo, hbo en wo zegt een Franse respondent niets. Koppel het systeem van elk land aan categorieën die je kunt vergelijken, en leg die koppeling vast vóór de lancering. Inkomensklassen zijn een tweede: €40.000 omrekenen levert een raar bedrag op, en de klasse betekent iets anders waar de lonen anders liggen. Ook data en getallen gaan mis. 03/04 is in de VS maart en in Europa april, en 1.500 is in het Nederlands vijftienhonderd maar in het Engels anderhalf. Gebruik een datumkiezer en schrijf het formaat uit.
Voorbeelden als "een telefoontje met de Belastingdienst" werken alleen waar mensen ze kennen, en regio's en functietitels vragen om lokale lijsten.
Noteer hoe elke lokale categorie aansluit op de categorie die je rapporteert. Die koppeling hoort bij de vragenlijst.
Test elke taalversie
De pretest moet in elke taal gebeuren. Walde en Völlm testten hun Duitse vertaling met forensisch psychiatrische patiënten in twee rondes cognitieve interviews. In de eerste ronde hadden 6 van de 9 patiënten moeite met "Individuum" voor "individu". Nadat het team de formulering had aangepast, begrepen 7 van de 8 patiënten in de tweede ronde de nieuwe versies goed. Terugvertalen had dat nooit opgepikt, want "Individuum" is een correcte vertaling.
Vraag drie of vier moedertaalsprekers uit je echte doelgroep om de enquête hardop denkend in te vullen, en vraag wat ze onder de belangrijkste vragen verstonden. Doe daarna per taal een zachte lancering en vergelijk het overslaan en de spreiding van antwoorden op dezelfde vragen. Een vraag die in één taal veel vaker wordt overgeslagen, heeft meestal een vertaalprobleem. De gids voor het vooraf testen van een enquête legt uit hoe je beide opzet.
Een meertalige dataset analyseren
Sla de taal waarin iemand antwoordde op als aparte variabele. Zonder die variabele kun je een echt verschil tussen groepen niet onderscheiden van een vertaaleffect.
Bekijk de belangrijkste vragen per taal voordat je alles samenvoegt. Gedraagt één versie zich vreemd, met een piek op één optie of een veel hoger percentage overgeslagen antwoorden, zoek het dan uit voordat je een gecombineerd cijfer rapporteert. Taal en groep lopen wel door elkaar, dus een taalverschil is vooral een reden om verder te graven voordat je de vertaling de schuld geeft.
Codeer open antwoorden waar het kan in de oorspronkelijke taal, of bewaar het origineel naast een machinevertaling zodat een codeur het kan nakijken. Het artikel over open antwoorden analyseren behandelt het coderen zelf.
Een vertaalde enquête herhalen
Staat een vertaling eenmaal in het veld, bevries hem dan. Pew gebruikt eerdere vertalingen opnieuw voor vragen die het al eens stelde, zodat uitkomsten door de tijd vergelijkbaar blijven. Schaaf je tussen twee metingen aan de Duitse formulering van een trendvraag, dan weet je niet meer of de Duitse trend bewoog doordat meningen veranderden of doordat de vraag veranderde. Is een vertaling echt fout, verbeter hem dan en markeer de breuk. Het artikel over herhaalde enquêtes laat zien hoe.
In SurveyLane staan vertalingen bij de enquête zelf, per vraag, antwoordoptie en schaallabel. Elke taalversie deelt één structuur en één set routeringsregels, zodat de versies niet uit elkaar kunnen groeien.
Veelgestelde vragen
Is machinevertaling goed genoeg voor een enquête?
Als eerste versie wel, net zoals de versie van één menselijke vertaler een eerste versie is. Zet hem niet zo in het veld. Laat een moedertaalspreker die weet wat elke vraag moet meten hem nalopen, en test hem met een paar echte respondenten in die taal voordat je lanceert.
Moet ik mijn enquête controleren door hem terug te vertalen?
Terugvertalen vangt grove fouten, maar beloont stijve, letterlijke vertalingen en mist formuleringen die correct zijn en toch anders worden begrepen. Twee onafhankelijke vertalingen met een review, en daarna een pretest met echte respondenten, vinden de problemen die ertoe doen veel vaker.
Kan ik scores tussen talen direct vergelijken?
Alleen voorzichtig. Schaallabels en antwoordstijlen verschillen tussen talen en culturen, dus een klein verschil in gemiddelden kan uit de vertaling komen en niets over meningen zeggen. Vergelijk volledige verdelingen en behandel kleine verschillen als onzeker.
Moeten respondenten zelf hun taal kiezen?
Ja. Laat ze aan het begin kiezen. Wijs geen taal toe op basis van land of browserinstelling, want veel mensen wonen en werken in een taal die hun locatie niet doet vermoeden. Sla de gekozen taal op zodat je hem kunt meenemen in de analyse.
