Quelle longueur pour un questionnaire ? Concevoir pour l'achèvement

Vous pouvez écrire des questions impeccables et gâcher quand même votre questionnaire en en posant trop. La longueur joue contre vous d'une manière que presque personne n'anticipe. Chaque question ajoutée abaisse les chances que quelqu'un aille au bout, et elle tire vers le bas les réponses aux questions déjà atteintes. Le questionnaire qui vous donne les données les plus propres n'est presque jamais celui qui demande tout ce qui vous rendait curieux.

La longueur est une décision que vous prenez

La plupart des questionnaires s'allongent de la même façon. Quelqu'un rédige les questions qui lui tiennent à coeur. Quelques parties prenantes en ajoutent chacune "juste une de plus". Personne n'est responsable du total. La longueur devient alors la somme des listes de souhaits de tout le monde, un chiffre que personne n'a vraiment choisi. C'est là qu'est l'erreur. La durée de votre questionnaire est l'une des décisions de conception les plus lourdes de conséquences, et elle mérite le même soin que la formulation d'une seule question.

Elle pèse autant parce que la longueur vous frappe deux fois. Elle abaisse le nombre de gens qui commencent et qui terminent, ce qui rétrécit votre échantillon et le déforme vers les patients. Et chez ceux qui persistent, elle use la qualité des réponses à mesure qu'ils fatiguent. Vous payez une fois en quantité et encore une fois en qualité. Aucun de ces deux coûts n'apparaît dans un export bien rangé. Vous voyez seulement un jeu de données plus petit et des chiffres un peu moins bons, sans rien qui pointe vers la longueur.

Ce que la recherche a réellement montré

L'expérience la plus citée sur ce point est celle de Galesic et Bosnjak, publiée dans Public Opinion Quarterly en 2009. Ils ont mené une enquête web où ils annonçaient à différents répondants une durée de 10, 20 ou 30 minutes, et ils déplaçaient les mêmes questions à des positions différentes pour voir la qualité changer avec la fatigue. Ce dispositif sépare deux choses qu'on confond d'habitude : ce que la longueur annoncée fait à qui prend la peine de commencer, et ce que la position d'une question fait à la qualité de sa réponse.

Les deux effets étaient réels et pointaient dans la même direction. Plus la durée annoncée était longue, moins de gens commençaient, et moins de ces starters allaient réellement au bout. L'achèvement chutait nettement de la version à 10 minutes à celle à 30. C'est une étude de 2009, donc pas une nouvelle fraîche, mais le résultat est intemporel et a tenu bon dans les réplications. Dites aux gens qu'un questionnaire est long, et vous perdez des répondants avant qu'ils aient répondu à une seule question.

La qualité meurt dans la seconde moitié

L'autre moitié de ce résultat, la plupart des gens l'oublient. Les questions placées plus loin dans le questionnaire recevaient des réponses plus rapides, étaient sautées plus souvent, obtenaient des réponses ouvertes plus courtes, et montraient moins de variation dans les grilles que les mêmes questions placées tôt. Ce dernier point est le signal. Moins de variation dans une grille veut dire que les gens ont arrêté de lire chaque ligne et se sont mis à cocher une colonne droit vers le bas. C'est du satisficing, visible et net.

Le dommage est donc mal réparti. Vos dix premières questions reçoivent des gens frais et attentifs. Vos dix dernières reçoivent des gens fatigués qui cherchent la sortie. Si vous placez votre mesure la plus importante à la fin parce que ça faisait une conclusion forte, vous lui avez donné vos pires données. C'est la même défaillance que celle décrite dans surveiller la qualité des réponses, sauf qu'ici c'est vous qui la causez, en rendant le questionnaire trop long pour tenir l'attention.

Chaque question a un coût marginal

Traitez chaque question comme ayant un prix, payé en abandon et en attention. Les premières sont quasi gratuites. Le répondant est arrivé de bon gré. Chaque question suivante coûte un peu plus que la précédente, parce que vous puisez dans un budget de patience qui ne se recharge jamais. Quelque part après le milieu, le prix par question grimpe raide, et une question qui aurait reçu une réponse soignée en position cinq reçoit un haussement d'épaules en position vingt-cinq.

Cela renverse l'argument habituel en réunion. La question à poser sur n'importe quel élément n'est pas de savoir s'il est intéressant. Presque tout est intéressant. La question est de savoir s'il mérite sa place, vu les réponses qu'il vous coûte sur toutes les autres questions et les répondants qu'il vous coûte entièrement. Vu ainsi, beaucoup d'éléments de confort tombent sans bruit. Ce qui reste donne de meilleures données, parce que ce n'est pas enterré sous du remplissage.

Triez chaque question en must, should et nice

Avant qu'un questionnaire parte, forcez chaque question dans l'un de trois bacs. Un must se rattache à une décision que vous allez prendre ou à une analyse déjà prévue. Si la réponse ne change rien à ce que vous faites, ce n'est pas un must. Un should renforce l'analyse sans la porter. Un nice, c'est ce que vous avez ajouté par curiosité, ou parce que quelqu'un l'a demandé gentiment et que vous ne vouliez pas dire non.

Coupez ensuite tout le bac nice. Pas la plus grande partie. Tout. Couper à moitié, c'est justement pourquoi les questionnaires restent gonflés, car chaque élément pris seul paraît défendable. L'astuce est de décider par catégorie, pas question par question. Un test pour le bac must : pour chaque question, écrivez la phrase que vous mettriez dans le rapport si la réponse tombait d'un côté plutôt que de l'autre. La phrase ne vient pas ? Alors la question ne pilote aucune décision, et elle n'a pas sa place au début, si elle a une place tout court.

Le temps est le chiffre que les répondants ressentent

Les répondants ne comptent pas vos questions. Ils ressentent des minutes, et leur tolérance dépend de la façon dont le questionnaire les a atteints. Quelqu'un qui a cliqué sur un lien au bas d'un e-mail transactionnel vous donne une minute ou deux. Un panéliste recruté, payé pour son temps, en supportera bien plus. Ajustez la longueur au canal et à la relation que vous avez, pas à ce que vous aimeriez apprendre.

Ne devinez pas le temps de remplissage, mesurez-le pendant le test préalable, car votre propre estimation est toujours trop basse. Vous connaissez les questions, donc vous les lisez en deux fois moins de temps qu'un inconnu. Et vérifiez sur un téléphone. Un questionnaire qui prend quatre minutes sur un ordinateur portable peut en coûter sept sur un petit écran avec une liste déroulante récalcitrante, et la plupart de vos répondants sont sur téléphone. Les choix de mise en page de concevoir des enquêtes accessibles pèsent directement sur le temps de remplissage.

La longueur annoncée décide aussi qui commence, alors soyez honnête et soyez précis. "Ce questionnaire prend environ 4 minutes" bat le silence comme un vague "quelques minutes", parce qu'un chiffre concret et crédible laisse quelqu'un dire oui avec confiance. Surestimez, et vous faites fuir les gens. Sous-estimez, et vous récoltez une vague d'abandons furieux à l'instant où ils comprennent que vous avez menti, souvent juste après vous avoir donné assez pour se sentir utilisés. Cette promesse relève en fait de l'invitation, le sujet de faire arriver votre invitation dans la boîte de réception.

Les indicateurs de progression aident, jusqu'à nuire

Une barre de progression est censée rassurer, et sur un questionnaire court elle le fait. Sur un long, elle peut se retourner contre vous. Si la barre file d'abord puis rampe, les gens voient combien il reste et abandonnent pile où le ralentissement devient visible. La recherche sur le retour de progression est mitigée pour cette raison précise. Une barre qui montre une avance rapide pousse à finir. Une barre qui montre une avance lente en dissuade.

Montrez donc un indicateur de progression quand le questionnaire est vraiment court, ou quand le rythme paraîtra régulier tout du long. Si le vôtre est long et bourré de questions rapides au début, une barre honnête annonce surtout la corvée qui vient. La progression par page, du genre "page 2 sur 4", est souvent plus douce qu'un pourcentage. Elle cache le poids inégal des pages et donne aux gens des étapes qu'ils peuvent vraiment atteindre.

Une longue page ou plusieurs courtes

La pagination est un vrai levier sur l'achèvement, bien plus qu'une préférence de mise en page. Une longue page à défilement peut paraître efficace quand le questionnaire est court. Allongez-le et cette même page montre toute la montagne d'un coup, ce qui invite les gens à filer avant de commencer. Découper en pages courtes cache le total et donne un sentiment de mouvement, car finir une page ressemble à une petite victoire qui vous tire vers la suivante.

Il y a un coût. Plus de pages, c'est plus d'allers-retours au serveur et plus d'occasions qu'une connexion instable perde quelqu'un en cours de route, et ça mord le plus fort sur mobile. Regroupez les questions en pages qui tiennent ensemble comme thèmes, gardez chaque page assez courte pour paraître rapide, et ne coupez jamais un bloc logique à une limite de page où le contexte se perd. Cela va de pair avec la façon dont vous ordonnez l'ensemble, le sujet des effets d'ordre des questions.

Laissez les gens s'arrêter et revenir

Pour tout questionnaire assez long pour que quelqu'un ne le finisse peut-être pas d'une traite, enregistrez les réponses partielles et laissez les gens reprendre. Deux bonnes choses en découlent. Vous récupérez des réponses que vous auriez jetées, car quelqu'un qui s'arrête à la question dix-huit vous a quand même donné dix-sept réponses utiles si vous les avez gardées. Et vous obtenez une vraie courbe d'abandon dont apprendre, car chaque réponse abandonnée marque un endroit où le questionnaire a perdu quelqu'un.

Ne jetez pas les partielles en silence. Même sans lien de reprise, les questions auxquelles quelqu'un a répondu avant d'abandonner sont souvent analysables telles quelles, tant que vous restez honnête sur le fait que les questions ultérieures reposent sur une base plus petite et plus auto-sélectionnée. Jeter chaque réponse incomplète, c'est jeter la preuve même qui vous aurait dit que le questionnaire est trop long.

Les grilles sont un piège de longueur

Les questions en matrice et en grille paraissent compactes parce qu'elles entassent beaucoup d'éléments sur un écran. Mais elles portent la fatigue de chaque ligne tout en affichant le visage d'une seule question. C'est pourquoi les grilles sont l'endroit où Galesic et Bosnjak ont vu la variation s'effondrer tard dans le questionnaire. Un répondant fatigué face à une grille de dix lignes coche une colonne vers le bas et passe. Le compact est visuel. Le travail, lui, ne l'est pas.

Si une grille porte un vrai poids, gardez-la courte et placez-la tôt, tant que l'attention est haute. Si elle est longue, découpez-la, supprimez des lignes, ou demandez-vous si vous avez vraiment besoin de chaque élément. L'échelle à l'intérieur de ces lignes est une décision à part entière avec son propre effet sur la qualité, traitée dans concevoir des questions à échelle. Une grille courte posée tôt bat une grille complète posée à la question trente que tout le monde remplit droit vers le bas.

Utilisez la logique pour raccourcir par personne

La meilleure façon de raccourcir un questionnaire est d'arrêter de montrer aux gens des questions qui ne les concernent pas. La logique conditionnelle laisse chaque répondant ne répondre qu'au sous-ensemble pertinent, si bien que le questionnaire paraît court à tout le monde même quand l'instrument complet est gros. Quelqu'un qui dit n'avoir jamais utilisé une fonction ne devrait pas ensuite affronter cinq questions sur cette fonction. Sautez-les, droit vers ce qui colle.

Le hic, c'est que le branchement change la longueur et l'ordre à chaque chemin. Un questionnaire qui paraît serré sur la route que vous avez testée peut devenir long et étrange sur une route que vous n'avez jamais parcourue. Raisonnez sur le plus long chemin qu'un vrai répondant peut atteindre, pas sur la moyenne, et vérifiez que même le pire cas reste dans votre budget de temps. La construction de ces chemins est traitée dans logique conditionnelle et retour.

Mesurez votre propre courbe d'abandon

Arrêtez de deviner où votre questionnaire perd les gens. Regardez. Tracez l'achèvement contre la position de la question et les points d'abandon exacts sautent aux yeux : d'habitude une chute précoce et raide quand les indécis partent, puis de plus petites falaises à des questions précises. Une falaise nette à une question est un signal. Elle est trop personnelle, trop confuse, ou le point où la fatigue accumulée fait basculer les gens. Cette question, ou sa position, c'est ce que vous corrigez.

Cela relève du test préalable, pas d'une autopsie après lancement, et cela s'insère naturellement dans un lancement en douceur, le sujet de tester un questionnaire avant de l'envoyer. Envoyez d'abord à une petite tranche de votre échantillon, lisez la courbe d'abandon, coupez ou déplacez ce qui fait fuir les gens, et ouvrez les vannes seulement ensuite. L'alternative, c'est de découvrir après coup qu'un tiers de votre échantillon est parti à la question douze, quand il ne reste plus qu'à l'expliquer.

Un budget de longueur applicable

Fixez le budget de temps avant d'écrire une seule question, à partir du canal et de ce que vous demandez à ces gens précis. Triez chaque question en must, should et nice, et coupez le bac nice en entier. Placez vos mesures importantes tôt, tant que l'attention est fraîche, et ne gardez jamais une question porteuse pour une conclusion forte. Branchez pour que personne ne réponde à ce qui ne le concerne pas, et vérifiez le plus long chemin, pas la moyenne. Ne montrez la progression que là où elle rassure. Découpez un long questionnaire en pages courtes. Enregistrez les partielles pour qu'un abandon vous laisse quand même quelque chose. Faites ensuite un lancement en douceur, lisez la vraie courbe, et coupez encore. La longueur est ce choix de conception rare qui abîme à la fois combien de réponses vous récoltez et à quel point elles sont bonnes, et c'est bien pour ça qu'il vaut la peine de la décider exprès plutôt que de la laisser s'accumuler.