Des options de réponse qui tiennent : concevoir des questions à choix multiples

Les conseils sur les questions d'enquête portent presque tous sur la question. La liste de réponses est tapée ensuite en trente secondes, et c'est là que ça se gâte. Les options que vous proposez décident quelles réponses sont possibles et lesquelles ne seront jamais comptées. Avec une mauvaise liste, même une question bien formulée donne des chiffres indéfendables.

La liste de réponses fait partie de la question

Le répondant lit la question et prend la case qui colle le mieux. S'il manque une réponse raisonnable, il prend la plus proche. Si deux cases se recoupent, il en choisit une au hasard. S'il y en a quatorze, il lit les premières et s'arrête.

Rien de tout cela n'apparaît dans votre export. C'est pour ça que l'article sur l'écriture de meilleures questions traite les options comme une partie de la question.

Le Pew Research Center résume la règle de base en une phrase : une question fermée doit inclure toutes les réponses raisonnables, pour que la liste soit exhaustive, et ses catégories ne doivent pas se chevaucher, pour qu'elles soient mutuellement exclusives.

Mutuellement exclusives : aucune réponse ne tient dans deux cases

Le chevauchement est l'erreur la plus fréquente. Le cas d'école, ce sont les tranches numériques.

Quel âge avez-vous ?
  18-25
  25-35
  35-45
  45 ou plus

À 25 ou 35 ans, on tient dans deux cases, et vos tranches deviennent floues pile sur les bords. La correction est banale : 18-24, 25-34, 35-44, 45 ou plus.

Les catégories se chevauchent aussi. "Comment nous avez-vous connus ?" avec "Réseaux sociaux", "Instagram", "Par un ami" et "En ligne" donne quatre réponses défendables à quelqu'un qui a vu le post Instagram d'une amie. Tenez-vous à une seule dimension, le canal par exemple. Pour une deuxième, posez une deuxième question.

"Tous les jours" et "Plusieurs fois par semaine" se confondent aussi pour qui utilise le produit cinq jours sur sept. Ancrez-les à des nombres, comme "5 jours par semaine ou plus".

Exhaustives : chaque répondant a besoin d'une case

Chacun doit trouver une option vraie pour lui. Sinon il prend la plus proche, qui absorbe des réponses étrangères.

Pew a un exemple net. Après la présidentielle américaine de 2008, un groupe a dû dire quel sujet avait le plus pesé sur son vote, avec cinq options lues à voix haute. Un autre groupe a eu la même question sans liste. Quand l'économie était proposée, 58 % l'ont choisie. Dans la version ouverte, seulement 35 % l'ont citée spontanément. Dans la version fermée, 8 % ont donné une réponse hors des cinq options. Dans la version ouverte, 43 % ont cité quelque chose qui ne figurait pas du tout sur la liste.

La liste a façonné les opinions qu'elle devait mesurer. Une option absente devient presque invisible, parce que peu de gens citent d'eux-mêmes ce que vous n'avez pas suggéré. Si "notre entreprise a changé d'outil" manque dans vos motifs de résiliation, vous ne saurez jamais combien de clients sont partis pour ça.

"Autre, précisez" rattrape moins que vous l'espérez

Gardez la case "Autre" avec champ texte, mais les chiffres de 2008 montrent sa limite : face à une liste, les gens choisissent surtout dans la liste. "Autre" ne recueille que les réponses de ceux assez motivés pour taper.

Servez-vous-en comme alerte précoce. Si la même réponse revient sans cesse pendant les premiers jours de terrain, c'était une option manquante, et le chiffre que vous voyez est un plancher. Ajoutez-la à la vague suivante.

Placez "Autre" en bas, après les vraies options. Et rendez le champ texte facultatif : un "précisez" obligatoire transforme une coche en exercice de rédaction.

Pourquoi "cochez tout ce qui s'applique" sous-estime

"Lesquelles de ces situations avez-vous vécues ? Cochez tout ce qui s'applique." Compacte, efficace en apparence, la liste à cocher sous-estime de façon systématique.

Pew l'a testé sur son panel en ligne American Trends Panel, du 30 juillet au 12 août 2018, auprès de 4 581 adultes américains : la moitié de l'échantillon a vu une liste d'événements sous forme de liste à cocher. L'autre moitié a répondu à chaque événement par une question oui/non séparée. Dans le rapport d'Arnold Lau et Courtney Kennedy, publié le 9 mai 2019, les estimations étaient en moyenne 8 points de pourcentage plus élevées avec le format oui/non.

Certains items ont bougé bien davantage. Se voir refuser une assurance santé passait de 13 % avec la liste à cocher à 19 % en oui/non. Perdre son emploi ou avoir du mal à en retrouver un passait de 51 % à 63 %. Être surfacturé par un garagiste ou un réparateur passait de 36 % à 52 %.

La cause, c'est l'effort. Rien n'oblige à examiner chaque option : on coche ce qui saute aux yeux et on passe à la suite. Une case vide peut vouloir dire "non" ou "je n'ai pas lu jusque-là".

La position aggravait les choses. Pew a mesuré pour les listes à cocher un effet de primauté moyen de 3 points : les items du haut étaient plus souvent cochés, juste parce qu'ils étaient en haut. En oui/non, il était de 0. Voir aussi les effets d'ordre des questions.

L'alternative : oui ou non pour chaque item

Posez chaque item en oui/non, souvent dans une grille compacte. Après ces résultats, Pew est passé au format oui/non dans ses enquêtes en ligne chaque fois que c'est possible.

Au cours des 12 derniers mois, cela vous est-il arrivé ?
                                             Oui   Non
  Surfacturé par un garagiste                 ○     ○
  Perte d'emploi                              ○     ○
  Refus d'une assurance santé                 ○     ○

Le répondant doit s'arrêter à chaque ligne et trancher, et une ligne sautée ne ressemble plus à un "non".

Sur téléphone, une grille large devient un long défilement : gardez-la courte et testez-la sur mobile. L'article sur la longueur d'enquête et l'abandon montre ce que ces secondes en plus font au taux de complétion.

Quand une liste à cocher suffit quand même

Pew a relevé un détail utile : le classement des items, du plus au moins choisi, était identique ou très proche dans les deux formats. Sur les niveaux, la liste à cocher se trompait. Sur l'ordre, elle tombait juste la plupart du temps.

Si vous voulez seulement savoir laquelle de six intégrations sert le plus, une liste à cocher donne un classement exploitable pour moins d'effort. Si vous avez besoin du niveau lui-même, par exemple la part de clients qui ont reçu une facture erronée, passez au oui/non. C'est exactement ce chiffre que la liste à cocher tire vers le bas.

Elle perd le plus sur douze expériences vagues qui demandent chacune un effort de mémoire.

Combien d'options, c'est trop

Le bas d'une longue liste reçoit moins d'attention que le haut. Pew conseille de garder le nombre d'options réduit dans la plupart des cas, "quatre, ou peut-être cinq au maximum".

Cela vaut pour les questions d'opinion. Pour des pays ou des intitulés de poste, une liste déroulante avec recherche vaut mieux que quarante boutons radio. Entre les deux, essayez d'abord ceci :

• Scindez la question. Douze options cachent souvent deux questions de six.
• Regroupez les options sous de courts intertitres pour qu'on saute à son bloc.
• Mélangez l'ordre d'un répondant à l'autre pour répartir l'effet de position.
• Supprimez les options que presque personne n'a choisies lors du test, et laissez "Autre" les rattraper.

Ne mélangez jamais une liste qui a un ordre naturel, comme des fréquences, des montants ou des tranches d'âge. Laissez "Autre" et "Aucune de ces réponses" en bas.

Une réponse ou plusieurs : l'analyse décide

"Quelle est la raison principale de votre résiliation ?" et "Lesquelles de ces raisons ont joué ?" répondent à des questions métier différentes.

Une réponse unique impose une priorité claire, et les raisons secondaires disparaissent. Plusieurs réponses montrent tout l'éventail sans priorité, et les pourcentages dépassent 100 %, ce qui déroute quiconque lit le graphique.

Souvent, il vous faut les deux : oui ou non pour chaque raison, puis laquelle a le plus pesé, parmi les seules raisons cochées oui. L'article sur la logique conditionnelle et le feedback explique comment router cela.

Je ne sais pas, non concerné et je préfère ne pas répondre sont trois réponses différentes

Quelqu'un qui n'a jamais contacté le support ne peut pas le noter. Sans "Non concerné", il saute la question si c'est permis, ou il devine, et sa supposition atterrit dans votre moyenne de satisfaction.

Ces options disent chacune autre chose :

• "Je ne sais pas" : la question le concerne, mais l'information lui manque.
• "Non concerné" : la question ne s'applique pas à lui.
• "Je préfère ne pas répondre" : il sait et ne veut pas le dire.

Fusionnez-les et vous perdez le signal : beaucoup de "je ne sais pas" sur une question de prix pointe un problème de communication, beaucoup de "je préfère ne pas répondre" sur le revenu un problème de confiance. L'article sur les questions sensibles explique pourquoi une échappatoire explicite garde les autres réponses honnêtes.

Chaque sortie visible attire aussi ceux qui veulent juste avancer : ne proposez "Je ne sais pas" que là où l'ignorance est réelle et fréquente.

Construire la liste à partir de vraies réponses, pas en réunion

Le moyen le plus sûr d'obtenir une liste exhaustive et sans chevauchement : arrêter de deviner. Posez d'abord la question en format ouvert, à un petit groupe ou lors d'un lancement discret, et construisez les options à partir de ce que les gens disent vraiment. Vous trouverez des réponses que personne n'avait imaginées. Et des options que vous aviez séparées ne font qu'une pour les répondants.

Pour coder ces réponses en catégories, voyez l'analyse des réponses ouvertes. Testez ensuite la liste finale. Un entretien cognitif est le moyen le plus rapide d'entendre "je ne savais pas si j'étais ceci ou cela". Voir le prétest d'une enquête.

Un contrôle pour chaque liste de réponses avant le lancement

Pour chaque question fermée :

• Une vraie réponse tient-elle dans deux options ? Resserrez les bornes.
• Quelqu'un ne trouve-t-il aucune option vraie ? Ajoutez-la, ou mettez "Autre" en bas.
• Est-ce une liste à cocher alors qu'il vous faut le niveau ? Passez au oui/non par item.
• Plus de cinq options sur une question d'opinion ? Scindez, regroupez ou supprimez.
• L'ordre a-t-il un sens ? Sinon, mélangez-le et gardez les échappatoires en bas.
• "Je ne sais pas", "Non concerné" et "Je préfère ne pas répondre" sont-ils séparés, et seulement là où ils existent vraiment ?

Après le terrain, le suivi de la qualité des réponses repère les répondants négligents. Une réponse que votre liste n'a jamais permise, il ne la fera pas revenir.