Comment tester une enquête avant de l'envoyer

Dès qu'une enquête est en ligne, chaque défaut qu'elle contient est figé. Une question confuse continue de troubler, un saut cassé continue de bloquer des répondants, et vous ne le découvrez qu'au retour des données faussées. Le prétest, c'est le moment où vous repérez ces défauts tant qu'ils sont encore bon marché à corriger, avant que le premier vrai répondant ne voie le formulaire.

Pourquoi la correction doit précéder le lancement

Une enquête est un instrument de mesure, et on ne le calibre pas après avoir pris les mesures. Une fois les réponses arrivées, une question mal formulée ne se répare plus. Vous pouvez la retirer et jeter l'effort que chaque répondant y a mis, ou la garder et raisonner autour du défaut, ce qui affaiblit chaque conclusion qui la touche. Dans les deux cas, la seule vraie correction a eu lieu, ou non, avant le clic sur envoyer.

C'est pourquoi le prétest est la meilleure heure passée sur une enquête. Une heure à regarder cinq personnes se débattre avec un brouillon vous épargne mille réponses à une question qu'elles ont toutes mal lue pareil. Les problèmes que vous attrapez sont ordinaires. Un mot qui veut dire deux choses. Une échelle qui ne colle pas à la question. Un champ obligatoire qui bloque les gens sans réponse.

Les quatre endroits où une question peut casser

Pour bien tester, il aide de savoir ce que vous cherchez. Les méthodologues modélisent la réponse à une question en quatre étapes, un cadre dû à Roger Tourangeau : le répondant doit comprendre la question, récupérer l'information pertinente en mémoire, en former un jugement, puis le mapper sur l'une de vos options. Une question peut échouer à chacune des quatre, et chaque échec a une autre allure.

La compréhension échoue quand la formulation est ambiguë, emploie un terme que le répondant ne partage pas, ou demande en douce deux choses. La récupération échoue quand vous demandez ce que les gens ne peuvent rappeler : "combien de fois avez-vous visité notre site le mois dernier" suppose une mémoire que personne ne tient. Le jugement échoue quand la question exige un résumé jamais formé, alors il l'invente sur le moment. Le mappage échoue quand vos options ne contiennent pas la réponse voulue, alors il coche la case fausse la plus proche. En testant, vous guettez le moment où quelqu'un heurte l'un de ces quatre murs.

Commencez par une revue d'expert, car elle est gratuite

Le prétest le moins cher, c'est une seconde personne compétente qui lit votre brouillon avec intention. Pas un coup d'œil : une vraie lecture, question par question, en se demandant ce que chacune mesure et si un répondant raisonnable pourrait la lire autrement que vous. Quelqu'un qui n'était pas là à l'écriture attrape une part surprenante des problèmes, car il arrive sans vos hypothèses.

Une revue d'expert est la plus forte sur les défauts structurels : questions doubles, formulations orientées, options manquantes, échelles qui ne collent pas au construit, sauts qui mènent au mauvais endroit. Elle est la plus faible sur la façon dont des répondants ordinaires lisent une question, car un expert lit trop bien et lève des ambiguïtés qu'un premier lecteur ne lève pas. Avant même d'écrire les questions, l'article sur écrire de meilleures questions d'enquête traite des défauts de formulation qu'une revue d'expert attrape le mieux.

Entretiens cognitifs : regardez une vraie personne répondre

Les entretiens cognitifs sont la méthode centrale, et ils sont plus simples qu'ils n'en ont l'air. Vous vous asseyez avec une personne de votre public cible, lui donnez l'enquête et lui faites dire ce qui se passe dans sa tête pendant qu'elle répond. C'est ainsi qu'une organisation comme le Pew Research Center teste de nouvelles questions avant diffusion, et ainsi que remontent des problèmes qu'aucune revue d'expert ne trouve.

Il y a deux techniques, et vous les utilisez toutes deux. La pensée à voix haute demande au répondant de dire ses pensées pendant qu'il lit et répond : "dites-moi ce que vous pensez en parcourant celle-ci." Vous restez silencieux et vous écoutez. La relance suit : après sa réponse, vous demandez "que voulait dire ce mot pour vous ?", "comment êtes-vous arrivé à ce chiffre ?", ou "y avait-il une réponse que vous vouliez donner et qui manquait ?" La pensée à voix haute montre où il hésite, la relance pourquoi, et ensemble elles éprouvent les quatre points de rupture de la section précédente.

Combien d'entretiens, et avec qui

Vous n'avez pas besoin d'un échantillon représentatif pour tester, car vous ne mesurez rien encore. Vous cherchez des défauts, et les défauts se répètent vite. Cinq à huit entretiens cognitifs font remonter la plupart des problèmes sérieux. Si trois de vos cinq premiers participants trébuchent sur le même élément, un sixième ne vous confirmera rien.

Qui vous interrogez compte plus que combien. Choisissez des gens qui ressemblent à vos vrais répondants, et incluez ceux des marges : les moins experts, ceux pour qui l'enquête est dans une deuxième langue, ceux dont la situation ne rentre pas dans vos hypothèses. Une question sur "votre manager" casse pour qui a deux managers ou aucun, et vous ne le découvrez qu'en interrogeant l'un d'eux. C'est l'image inversée de l'article sur échantillon et représentativité : là vous voulez une coupe représentative, ici vous cherchez les bords.

Mener la séance sans souffler au répondant

Le travers d'un entretien cognitif, c'est l'enquêteur qui vole au secours du répondant. Dès que quelqu'un fronce les sourcils, le réflexe est d'expliquer ce que vous vouliez dire. Résistez. Le froncement est la donnée ; le clarifier teste une version de la question absente de l'enquête réelle.

Gardez vos réactions neutres, car les répondants vous lisent et s'ajustent : ne hochez pas la tête aux réponses aimées, ne grimacez pas aux autres. Quand quelqu'un répond court, "dites-m'en davantage" est presque toujours la bonne relance neutre. Enregistrez la séance si la personne y consent, car les mots exacts par lesquels un répondant décrit sa confusion montrent souvent comment réécrire la question.

Testez la machine, pas seulement les questions

Les questions ne cassent pas seules ; l'enquête, système en marche, a ses propres pannes. Cliquez chaque chemin, pas seulement le lisse, et si votre enquête se ramifie, vérifiez que chaque branche atterrit au bon endroit. L'article sur la logique conditionnelle et le feedback traite le versant conception ; au test, vous vérifiez que le câblage tient.

Testez l'enquête sur un téléphone, car beaucoup de répondants y répondent, et une question en matrice qui va bien sur un portable peut devenir inutilisable à 375 pixels de large. Testez au clavier seul et, si possible, avec un lecteur d'écran ; l'article sur concevoir des enquêtes accessibles traite ce qu'il faut vérifier. Et vérifiez que les champs obligatoires ne le sont que là où une réponse absente pose vraiment problème ; un champ forcé sans option valable met fin à la séance.

Le lancement progressif : un pilote avec de vrais répondants

Après le test qualitatif, faites un lancement progressif : envoyez l'enquête à une petite tranche de votre vrai public, quelques pour cent, et regardez les données avant de libérer le reste. Cela attrape ce que les entretiens isolés ne peuvent pas : des motifs qui n'apparaissent qu'à grande échelle. Un entretien dit si une personne peut répondre ; le pilote, ce qu'une foule en fait.

Dimensionnez le pilote à votre total. Écrivez-vous à cent mille personnes, quelques centaines de réponses suffisent à repérer les casses évidentes. Si votre population entière est trois cents, vous ne pouvez pas vous offrir un pilote utile, alors appuyez-vous sur les entretiens cognitifs et prenez les premières dizaines de réponses comme contrôle. Dans les deux cas, vous voulez un moment où l'enquête a rencontré de vrais répondants sans être encore engagée envers tous.

Lire les données pilotes pour y trouver l'ennui

Un pilote ne vaut que si vous interrogez les résultats, en cherchant des problèmes, pas des conclusions. Surveillez le taux d'achèvement : s'il y a une question où les gens abandonnent l'enquête, cette question fait des dégâts. Si presque tous choisissent la même option, la question ne discrimine peut-être pas, ou l'échelle est poussée contre un plancher ou un plafond. Une question à laquelle tous répondent pareil ne mesure rien.

Vérifiez la non-réponse par item : un pic sur une question facultative signifie d'ordinaire qu'elle est confuse, intrusive, ou qu'il manque l'option voulue. Lisez les réponses ouvertes, car les répondants s'en servent souvent pour vous dire que l'enquête est cassée ; l'article sur analyser les réponses ouvertes traite comment les dépouiller en volume. Et surveillez le temps : une durée bien plus courte que prévu signifie qu'on fonce sans lire, un problème tiré de surveiller la qualité des réponses.

Quand le pilote vous dit de changer quelque chose

Si le pilote révèle un vrai problème, corrigez-le avant l'envoi principal, même si c'est tentant de ne pas le faire. Vous avez déjà des réponses en main, et changer l'instrument signifie qu'elles ne correspondent plus. C'est pourquoi le pilote reste petit : quelques centaines de réponses à une question défectueuse sont une perte acceptable, cent mille non. Traitez ces réponses comme des données de test, pas comme une part de la série propre. Résistez aussi à l'inverse, peaufiner sans fin. Passé un point, vous polissez des formulations qu'aucun répondant ne remarquera pendant que l'enquête dort, et vous ne voulez plus de défauts sérieux, pas un instrument parfait.

Une courte séquence qui marche vraiment

Aucune des étapes n'est chère en soi. Rédigez l'enquête, laissez-la un jour, puis relisez-la face aux quatre points de rupture. Confiez-la à un collègue pour une revue d'expert. Menez cinq à huit entretiens cognitifs, cas des marges compris, et réécrivez ce qui fait trébucher plus d'une personne. Cliquez chaque branche sur un téléphone, au clavier, idéalement au lecteur d'écran. Lancez-la progressivement vers une petite tranche, lisez les chiffres, corrigez ce qu'ils exposent. Alors seulement, envoyez le reste. Cela vous épargne le seul coût irrécupérable : une enquête qui a mesuré la mauvaise chose, découvert trop tard pour autre chose que vivre avec.