Effets d'ordre des questions : comment la séquence change la réponse

Vous pouvez écrire une question parfaite et obtenir quand même la mauvaise réponse, parce que la question d'avant a changé ce à quoi pensait le répondant. L'ordre n'est pas un choix cosmétique. Déplacez une question de quelques positions et le résultat peut basculer de dix points, sans que rien dans votre export propre ne montre que c'est arrivé.

La même question donne une réponse différente selon ses voisines

Une enquête n'est pas une suite de mesures indépendantes. Chaque question arrive dans la tête du répondant alors que la précédente résonne encore, et cette chaleur résiduelle change la réponse. Demandez aux gens à quel point ils sont satisfaits de leur vie juste après les avoir interrogés sur leur mariage, et le mariage colore la réponse sur la vie. Inversez les deux et vous obtenez d'autres chiffres, des mêmes personnes, le même jour.

Les méthodologues appellent cela un effet d'ordre des questions, et c'est l'un des résultats les mieux établis de la recherche sur les enquêtes. Ce qui le rend dangereux, c'est qu'il est invisible après coup. Un problème de formulation, vous le repérez parfois en relisant l'item. Un problème d'ordre ne laisse aucune trace dans les données. Vous savez qu'il est là seulement si vous avez conçu l'enquête pour le révéler.

Deux familles : contraste et assimilation

Le Pew Research Center range les effets d'ordre en deux sortes, et cette distinction est la chose la plus utile à emporter dans une revue de conception. Un effet de contraste se produit quand une question antérieure repousse la réponse suivante, ouvrant un écart plus grand que celui que vous verriez sinon. Un effet d'assimilation tire dans l'autre sens : la question antérieure attire la réponse suivante vers elle, si bien que les deux paraissent plus cohérentes qu'elles ne le sont.

Les deux sont fréquents. Celui que vous obtenez dépend de la façon dont le répondant lit le lien entre les deux questions. Si la première ressemble à un cas particulier qu'il faudrait écarter avant un jugement général, vous obtenez plutôt du contraste. Si la première pose un cadre auquel la seconde semble appartenir, vous obtenez plutôt de l'assimilation. Vous ne pouvez pas toujours le prévoir, mais savoir que les deux existent vous empêche de croire l'ordre inoffensif.

À quoi ressemble un effet de contraste en chiffres réels

Pew a publié des exemples propres tirés de ses enquêtes de terrain, et ils valent la peine d'être retenus parce que ce ne sont pas des curiosités de laboratoire. Dans une enquête, quand une question sur les accords juridiques pour les couples de même sexe venait juste après une question sur le mariage entre personnes de même sexe, 45 pour cent étaient favorables à ces accords. Sans cette question sur le mariage devant elle, seuls 37 pour cent l'étaient. Huit points, par le seul effet de la séquence.

Un autre exemple est plus net encore. Interrogés sur leur satisfaction quant à la marche du pays, juste après une question sur l'approbation du président, 88 pour cent se disaient insatisfaits. Sans cette question d'approbation devant elle, ils étaient 78 pour cent. Le contexte présidentiel a fait remonter une série de considérations, et celles-ci ont poussé la réponse sur le pays. Même question, même période, dix points d'écart.

Assimilation : quand les questions antérieures alignent les suivantes

L'image miroir est tout aussi mesurable. Dans une enquête Pew pendant une passation de pouvoir, 81 pour cent estimaient que les dirigeants républicains devaient travailler avec le président entrant, quand cette question suivait une question demandant si les dirigeants démocrates auraient dû travailler avec l'administration précédente. Sans cette question antérieure, ils étaient 66 pour cent. La première question posait une norme de coopération, et les gens s'y sont appuyés pour la seconde plutôt que de se contredire.

Les gens sont cohérents, ici, et la cohérence est une force. Dès qu'un répondant a pris position à la question trois, il s'appuie dessus à la question quatre au lieu de repartir de zéro, parce que repartir de zéro demande du travail et que se contredire soi-même met mal à l'aise.

Le général avant le spécifique, presque toujours

Le conseil sur l'ordre le plus répété est de poser la question générale avant les spécifiques, et il découle directement du contraste. Une question spécifique influence une générale plus facilement que l'inverse, parce que le cas particulier est vif et frais au moment précis où le jugement général se forme. Demandez à quelqu'un à quel point il est satisfait de son mariage, puis de sa vie, et la réponse sur le mariage déteint sur la générale. Posez la question générale d'abord et elle tient toute seule.

Si vous avez donc un item de satisfaction large avec quelques items détaillés en dessous, commencez par le large. Vous voulez que le jugement d'ensemble se forme avant d'avoir chargé la mémoire du répondant de détails auxquels il n'aurait pas accordé autant de poids. Cela touche de près à la façon dont vous formulez les questions au départ, et l'article sur écrire de meilleures questions d'enquête traite le versant formulation du même problème.

Amorçage : les questions antérieures décident de ce qui vient à l'esprit

Les effets d'ordre frappent le plus fort avec les questions ouvertes, car là les questions antérieures fournissent en douce le vocabulaire. Pew pose ses questions ouvertes sur les problèmes du pays tôt dans le questionnaire, précisément pour cette raison. Placez d'abord des questions fermées sur des sujets précis, et les répondants soulèvent ces mêmes sujets bien plus souvent quand vous leur demandez plus tard, avec leurs propres mots, ce qui compte le plus. Vous n'avez pas mesuré ce qui leur venait spontanément. Vous avez mesuré ce que vous veniez de leur rappeler.

La règle qui en découle est simple. Posez vos questions ouvertes et spontanées avant toute question fermée susceptible de planter une réponse. Une fois qu'un sujet est dans la pièce, vous ne pouvez plus mesurer s'il serait apparu de lui-même.

Primauté et récence à l'intérieur d'une seule question

L'ordre ne joue pas qu'entre les questions. À l'intérieur d'une question, la séquence des options de réponse porte son propre biais, et il se scinde selon la façon dont l'enquête atteint les gens. Dans les enquêtes visuelles, auto-administrées, les répondants penchent pour les options en haut de la liste, un effet de primauté, parce qu'ils lisent vers le bas et attrapent la première plausible. Lisez la même liste à voix haute au téléphone et vous obtenez plutôt un effet de récence, où les dernières options entendues sont les plus souvent choisies.

C'est pourquoi vous faites tourner les options de réponse pour tout ce qui n'est pas une vraie échelle. Si la liste n'a pas d'ordre naturel, randomisez-la ou inversez-la d'un répondant à l'autre, pour qu'aucune option ne garde un avantage durable de sa position. Les échelles ordinales sont l'exception. Vous ne mélangez pas excellent, bon, moyen, mauvais, parce que l'ordre est le sens. Pew inverse ces échelles pour la moitié de l'échantillon, pour qu'un effet de récence se répartisse également au lieu de se poser sur une extrémité. L'échelle elle-même est un sujet à part entière, traité dans concevoir des questions à échelle.

L'entonnoir : du large et facile vers l'étroit et sensible

Un questionnaire a une forme, et la classique est un entonnoir. Vous ouvrez avec des questions larges et faciles, resserrez vers le spécifique, et placez les items les plus sensibles tard. Il y a deux raisons à cela, et une seule concerne l'ordre. Les questions larges vont avant les spécifiques pour que le contraste ne les déforme pas. L'autre raison est l'élan : quelqu'un qui a répondu à quelques questions faciles s'est investi et reste plus volontiers pour les plus dures.

Les questions démographiques vont en général à la fin pour la même logique. Elles sont ennuyeuses et un peu intrusives, et demander l'âge, le revenu et l'origine d'entrée de jeu donne aux gens une raison d'abandonner avant de s'être engagés dans quoi que ce soit. L'exception est une donnée démographique dont vous avez besoin pour filtrer ou aiguiller. Celle-là doit venir tôt, parce que le reste de l'enquête en dépend.

Regrouper par thème ou étaler les questions

Les répondants avancent plus fluidement quand les questions liées se suivent, car changer de sujet à chaque item est fatigant et déroutant. Mais le regroupement est aussi ce qui bâtit le contexte local qui nourrit l'assimilation. Un bloc de cinq questions qui vantent toutes un produit pose un cadre, et la sixième réponse glisse vers lui. Il y a donc une vraie tension. Le regroupement aide la fluidité et nuit à l'indépendance.

Il n'y a pas de solution universelle, seulement un arbitrage par enquête. Si vous avez besoin de mesures propres et indépendantes sur des items qui pourraient se contaminer, séparez-les ou randomisez l'ordre des blocs. Si la fluidité pèse davantage et que les items ne sont pas en tension, regroupez-les et acceptez la légère traction de cohérence. Le point, c'est de le décider exprès, pas par accident, au gré de l'ordre dans lequel vous avez tapé les questions.

Comment la logique conditionnelle rebat la séquence

Dès qu'une enquête se ramifie, chaque répondant voit un ordre différent, et votre unique séquence soigneusement conçue en devient plusieurs. Ce n'est pas gênant en soi, mais cela veut dire que vous devez raisonner sur l'ordre le long de chaque chemin, pas seulement celui que vous avez cliqué en construisant. Une question bien en amont de sa voisine sur le chemin principal peut se retrouver juste après une question d'amorçage sur une branche que vous n'avez pas vérifiée.

Si vous utilisez de la logique de saut, parcourez chaque branche et demandez-vous si les questions qu'un répondant rencontre vraiment, dans l'ordre où il les rencontre, tiennent encore. L'article sur la logique conditionnelle et le feedback traite la construction de ces chemins. Ce qui compte ici, c'est que la ramification multiplie les décisions d'ordre à prendre au lieu de vous en décharger.

Détecter les effets d'ordre dans vos propres données

Vous n'avez pas à deviner si l'ordre vous biaise. Le test propre est un split-ballot. Affectez au hasard les répondants à deux versions de l'enquête qui ne diffèrent que par l'ordre des questions suspectes, puis comparez les réponses aux items partagés. Si la version A et la version B divergent sur une question formulée à l'identique dans les deux, l'ordre est le coupable, et l'écart donne la taille de l'effet.

Vous n'en avez pas besoin pour chaque enquête. Gardez-le pour la poignée d'items qui portent une vraie décision et côtoient quelque chose qui pourrait les amorcer. C'est une chose à vérifier au moment du prétest plutôt qu'après le lancement, et l'article sur tester une enquête avant l'envoi montre où une petite expérience de ce genre s'insère. Quand vous trouvez un effet, faites comme Pew : appuyez-vous sur les répondants qui ont vu l'item avant qu'il puisse être contaminé, et dites clairement que l'ordre a compté au lieu de faire comme si vous aviez un chiffre propre.

Une séquence que vous pouvez appliquer tout de suite

Placez vos questions ouvertes et spontanées d'abord, avant toute question fermée qui les sèmerait. Posez les jugements généraux avant les questions spécifiques qui les coloreraient. Faites tourner ou inversez les options de réponse pour tout ce qui n'est pas une vraie échelle, pour que primauté et récence se répartissent sur les répondants. Menez l'entonnoir : large et facile en haut, items sensibles et démographie ennuyeuse en bas, questions de filtrage exceptées. Regroupez pour la fluidité là où les questions ne se menacent pas, et séparez ou randomisez là où elles le font. Puis parcourez chaque branche, car la logique fait de plusieurs ordres à partir d'un seul. Rien de tout cela ne réapparaît dans l'export, et c'est justement pour ça que vous le réglez avant d'appuyer sur envoyer. Le biais d'ordre est proche parent des autres distorsions discrètes de surveiller la qualité des réponses : invisible dans un jeu de données bien rangé, bon marché à prévenir, et cher à justifier après coup.