Poser des questions sensibles sans pousser les gens à mentir

Certaines questions reçoivent une réponse honnête. D'autres reçoivent la réponse que le répondant veut vous donner. L'écart entre les deux n'est pas un bruit qu'on peut moyenner. Il va dans un seul sens, il est le plus large là où le sujet compte le plus, et rien dans votre export bien rangé ne marque quelles lignes sont gonflées. C'est le biais de désirabilité sociale, et vous le contrez avant d'envoyer, pas après.

Ce qu'est vraiment la désirabilité sociale

Les gens veulent bien paraître, même devant un inconnu qu'ils ne rencontreront jamais, même dans une enquête qu'on leur a présentée comme anonyme. Alors, sur toute question à réponse socialement approuvée, les répondants glissent dans cette direction. Ils déclarent trop les choses qu'un bon citoyen fait : voter, faire du sport, donner à une bonne cause, lire à ses enfants. Et ils déclarent trop peu les choses qui portent un stigmate, de l'alcool et la drogue aux préjugés, aux dettes et au rendez-vous chez le dentiste qu'on saute.

Le piège, c'est que l'erreur a une direction. Le bruit de mesure ordinaire se disperse dans les deux sens et rétrécit quand votre échantillon grandit. La désirabilité sociale ne rétrécit pas, car chaque répondant penche du même côté. Un échantillon plus grand vous achète seulement une estimation plus précise du mauvais chiffre. Voilà ce qui la rend plus vicieuse qu'une erreur aléatoire, et qui vaut un vrai effort de conception. Plus de données ne vous sauvent pas.

L'enquêteur est le plus grand levier

Avant de changer un seul mot de la question, décidez à qui le répondant répond. La présence d'un autre humain est le plus fort moteur de désirabilité sociale qui soit, et l'éteindre est la solution la plus fiable que vous ayez.

Le Pew Research Center l'a mesuré directement en posant les mêmes questions par téléphone et sur le web. Interrogés sur leurs finances personnelles, 20 pour cent des gens répondant en ligne ont admis être en mauvaise posture financière, contre seulement 14 pour cent de ceux qui avaient un vrai enquêteur au téléphone. Même question, même période. La seule différence tenait à la présence d'une oreille humaine. Pew a aussi trouvé que les refus sur les questions sensibles montent quand un enquêteur est là. Les gens préfèrent ne rien dire que dire tout haut quelque chose de peu flatteur à un autre.

La leçon pratique est simple. Si un sujet est sensible, gardez-le en auto-administration. Un formulaire web ou une appli qu'on remplit seul tire plus de franchise et moins de refus que n'importe quel entretien, aussi bien formé soit l'enquêteur. SurveyLane est auto-administré par défaut, donc vous partez déjà du meilleur mode. Ce qui reste, c'est la formulation et le placement.

Toutes les sensibilités ne se valent pas

"Sensible" regroupe trois problèmes différents, et ils n'ont pas tous la même solution. Il vaut mieux les séparer. Une question peut être intrusive : elle donne l'impression de ne pas vous regarder, quelle que soit la réponse, comme le revenu ou la religion. Elle peut porter une menace de divulgation, où le répondant craint que la réponse remonte à quelqu'un et serve contre lui, comme la consommation de drogue, ou une enquête interne sur un manager. Ou elle peut être socialement désirable, ce qui veut dire qu'il existe une réponse qui paraît bien et une qui paraît mal, et avouer la mauvaise fait honte.

Seule la troisième est la désirabilité sociale au sens strict, mais les trois voyagent ensemble et se nourrissent. La peur de la divulgation rend la réponse désirable encore plus tentante, car maintenant le mensonge protège le répondant en plus de sauver la face. En relisant un brouillon, nommez le type de sensibilité que porte chaque question difficile. À l'intrusion, vous répondez en rendant la question facultative et en disant pourquoi vous la posez. À la peur de la divulgation, vous répondez par une promesse de confidentialité que vous pouvez tenir. À la désirabilité sociale, vous répondez par la formulation et le mode. Saisissez le mauvais levier, et vous le gaspillez.

Formulez la question pour que la réponse indésirable paraisse normale

Une fois le sujet fixé et le mode privé, la formulation fait le reste. Le geste central est d'abaisser le coût d'avouer la chose peu flatteuse, et il y a quelques moyens fiables pour ça.

Chargez la question vers la réponse sensible, pas vers la flatteuse. Un neutre "Avez-vous voté à la dernière élection ?" invite à la réponse du bon citoyen. Une version qui donne une sortie au non-vote, comme "À la dernière élection, quelque chose vous a-t-il empêché de voter, ou avez-vous réussi à aller aux urnes ?", fait du non-vote un résultat normal avec une excuse ordinaire, et plus de non-votants l'avouent. C'est l'un des rares endroits où une question volontairement non neutre est la plus exacte.

Normalisez le comportement avant d'en demander. Une courte introduction qui dit que beaucoup de gens le font enlève la honte : "Beaucoup de gens ont du mal à tenir leur budget chaque mois. Combien de fois avez-vous dépassé le vôtre le mois dernier ?" Vous signalez que la réponse honnête est courante et attendue, pas un aveu. Gardez l'introduction vraie, car inventer une norme pour fabriquer une réponse est en soi un biais. Mais là où le comportement est vraiment répandu, le dire vous achète de la franchise.

Donnez à la réponse peu flatteuse une sortie facile

Les gens mentent par omission quand la réponse honnête n'a pas de case confortable où se poser. Alors construisez la case. Demandez combien de verres d'alcool quelqu'un a bus la semaine dernière sur une échelle qui commence à "0 à 2", et le gros buveur en haut de la plage n'a nulle part où se poser honnêtement, donc il arrondit vers le bas. Poussez le haut de l'échelle plus loin que vous n'attendez, pour que la vraie réponse ne soit jamais l'option la plus extrême. Devant l'option la plus extrême, les répondants reculent par instinct.

Offrez aussi une vraie sortie. Un "je préfère ne pas répondre" explicite sur une question sensible mérite sa place. Un répondant qui le choisit choisit le silence plutôt qu'un mensonge, ce qui garde ses autres réponses honnêtes et vous dit que c'est une question que les gens gardent. Cela vaut mieux qu'une réponse forcée à laquelle vous ne pouvez pas vous fier. C'est le même raisonnement que derrière écrire de meilleures questions d'enquête en général. L'ensemble des options fait partie de la question, et une option manquante est une consigne muette de tricher.

Soyez précis sur la période de référence

La surdéclaration du bon comportement prospère sur les périodes vagues. "Faites-vous du sport régulièrement ?" mesure l'image de soi, car "régulièrement" veut dire ce que le répondant veut, et chacun arrondit vers la version de lui-même qu'il compte devenir. "Sur les sept derniers jours, combien de jours avez-vous fait au moins vingt minutes de sport ?" mesure le comportement, car cela fixe une chose comptable sur une fenêtre assez courte pour qu'on s'en souvienne vraiment.

Des périodes de référence serrées et récentes coupent la désirabilité sociale de deux façons. Elles laissent moins de place à l'image de soi flatteuse, et elles s'appuient sur la mémoire plutôt que sur l'identité. Le prix, c'est la justesse du souvenir. Demandez une fenêtre trop longue et les gens font entrer ou sortir des événements, alors ajustez la fenêtre à quel point le comportement est mémorable. Les événements rares et marquants tolèrent une période plus longue. Les événements fréquents et oubliables en exigent une courte.

Placez les questions sensibles à la fin

L'endroit où se trouve une question change la façon dont on y répond. Ouvrez avec la question sensible et vous dépensez une confiance que vous n'avez pas encore gagnée, alors les gens abandonnent ou se braquent. La forme en entonnoir, large et facile en haut, étroite et sensible en bas, existe en partie pour ça. Le temps qu'un répondant atteigne la question difficile, il a investi quelques minutes et pris un peu d'élan, et il répond plus honnêtement qu'il ne l'aurait fait à la porte.

Les questions démographiques qui paraissent intrusives, comme le revenu, vont à la fin pour la même raison. L'exception est une question démographique dont vous avez besoin pour aiguiller l'enquête, et celle-là doit venir tôt. Tout le dossier sur l'ordre est dans les effets d'ordre des questions. Ce que vous retenez ici : la sensibilité est l'une des principales choses qu'un bon ordre protège.

Rendez la promesse de confidentialité réelle, puis tenez-la

Un répondant pèse à quel point il sera honnête contre à quel point la réponse peut l'exposer. Une promesse de confidentialité crédible fait pencher ce calcul vers la franchise, mais seulement si elle est crédible. Une réassurance vague fait peu. Une déclaration concrète sur qui voit les réponses brutes, ce qu'on enlève avant l'analyse, et ce qui ne sera jamais rattaché à lui, fait bien plus.

Le plus rapide moyen de rompre votre propre promesse est de la saper ailleurs dans l'enquête. Demandez nom, matricule ou e-mail sur la même page qu'une question sur la confiance envers le manager, et toute réassurance de l'écran d'accueil ne vaut rien. Si vous avez promis l'anonymat, ne collectez rien qui ré-identifie. La différence entre anonymat et confidentialité compte ici. Elle change ce que vous pouvez honnêtement affirmer, et ce que vous pouvez promettre à un répondant vaut la peine d'être calé exactement avant de vous appuyer dessus pour tirer des réponses sensibles.

Quand ça compte vraiment : les techniques indirectes

Parfois le sujet est assez sensible pour qu'aucune formulation ne vous donne un auto-report droit, et vous acceptez de ne pas pouvoir demander directement du tout. Deux techniques établies échangent de la précision contre de la franchise en retirant l'empreinte du répondant de la réponse.

L'expérience de liste, ou technique du décompte d'items, remet à une moitié aléatoire de votre échantillon une liste d'énoncés anodins et demande seulement combien sont vrais, pas lesquels. L'autre moitié reçoit la même liste plus l'énoncé sensible. Personne n'avoue jamais l'énoncé sensible tout seul. Vous récupérez sa fréquence à partir de l'écart de moyennes entre les deux groupes. La technique de la réponse aléatoire, une méthode qui remonte aux années 1960, fait quelque chose de proche avec un tirage à pile ou face. Le répondant répond franchement ou donne une réponse fixe selon un résultat aléatoire privé que vous ne voyez jamais, si bien que tout "oui" isolé reste niable tandis que le taux de groupe reste calculable.

Les deux vous coûtent beaucoup d'échantillon et vous donnent une estimation au niveau du groupe, pas des données individuelles que vous pouvez croiser. Pour la plupart des enquêtes, c'est excessif. Mais quand vous mesurez une chose que les gens ont une forte raison de cacher et que vous n'avez besoin que du taux, elles battent une question directe à laquelle tout le monde ment en silence.

Après coup, on ne nettoie pas tout

La conception est le gros du travail, car l'arrière-boutique peut si peu. Une fois qu'une réponse socialement désirable est dans le fichier, elle ressemble exactement à une honnête. Pas de drapeau, pas de valeur aberrante, pas de résidu à soustraire. Là où un repère externe existe, comme les chiffres de participation, les chiffres de vente ou des taux de population connus, vous pouvez au moins voir la direction et la taille grossière du gonflement en tenant vos auto-reports contre lui. La plupart du temps vous n'avez pas d'ancre pareille, et le biais est simplement cuit dans les données.

Ce que vous attrapez après coup, ce sont les problèmes plus grossiers qui roulent à côté, le clic en ligne droite, le remplissage trop rapide et les réponses copiées-collées que surveiller la qualité des réponses doit trouver. La désirabilité sociale est plus discrète qu'eux et déclenche rarement les mêmes contrôles, et c'est pour ça que l'argent va en amont. Choisissez le mode privé. Formulez la question pour que la réponse honnête soit la facile. Placez-la à la fin. Faites une promesse que vous tenez vraiment. Ces quatre gestes font plus que n'importe quel nettoyage n'en fera jamais.