Concevoir des échelles de notation qui produisent des données d'enquête exploitables

Vous pouvez formuler une question parfaitement et collecter du bruit malgré tout. L'échelle en dessous: combien de points, ce qu'ils signifient, dans quelle direction ils courent. Ces choix encodent des hypothèses sur la façon dont les gens perçoivent ce que vous mesurez. Choisissez mal l'échelle et les données semblent propres, mais répondent à une question que vous n'avez jamais posée.

L'échelle façonne la réponse avant que les répondants lisent la question

Les échelles de notation ne sont pas des contenants neutres. Elles fixent la granularité de la mesure. Une échelle à sept points signale qu'il existe sept niveaux de distinction et que les répondants doivent identifier lequel correspond. Une échelle à trois points dit: choisissez un camp ou restez au milieu. Les deux font cela avant que quiconque ait lu votre question, et les deux influencent la façon dont les gens cherchent une réponse dans leur mémoire. L'échelle est une décision de conception. Pas une valeur par défaut que vous acceptez.

Échelles à cinq points ou à sept points

Pour la plupart des questions attitudinales (satisfaction, accord, probabilité), une échelle à cinq points fonctionne bien. Elle est facile à retenir, produit une fiabilité test-retest élevée et perd très peu de discrimination statistique par rapport aux échelles plus longues. La différence de variance expliquée entre une échelle à cinq et à sept points sur une simple question de satisfaction est réelle mais faible. En pratique, les deux options supplémentaires ajoutent plus souvent du bruit que du signal.

Une échelle à sept points mérite sa place lorsque vous devez détecter des différences fines entre des groupes, ou lorsque le construit sous-jacent a véritablement autant de niveaux distincts. Les instruments de burn-out professionnel et les échelles d'intensité de la douleur clinique sont des cas où sept points ont du sens. Une enquête de satisfaction pour un bilan trimestriel n'a pas besoin de cette résolution.

Évitez une échelle à dix points pour les questions attitudinales, sauf si vous avez une raison analytique précise. Les répondants s'ancrent sur les nombres ronds. Ils évitent les extrêmes et se regroupent autour de 5, 7 et 10. La plage que vous pensiez avoir achetée se rétrécit en conséquence.

Le point médian neutre : impair ou pair ?

Un nombre impair de points donne aux répondants une option centrale. Sur une échelle accord-désaccord à cinq points, c'est "Ni d'accord ni pas d'accord". Certains chercheurs la suppriment délibérément, forçant une orientation vers l'un ou l'autre côté. La logique: une option centrale visible est une porte de sortie. Les répondants peu engagés la choisissent plutôt que de s'engager dans une position.

Les preuves soutiennent cela dans des situations précises. Quand vous voulez vraiment savoir dans quelle direction les répondants penchent, une échelle à choix forcé avec un nombre pair de points produit une segmentation plus nette. Mais quand la neutralité est une réponse légitime et fréquente, supprimer le point médian crée une polarisation artificielle. Si vous menez une enquête auprès des employés et qu'une part significative des répondants n'a réellement aucune opinion sur un changement de politique récent, supprimer le milieu rend vos données plus tranchées qu'elles ne le sont.

Utilisez une échelle à nombre impair, sauf si vous avez une raison analytique précise de forcer une orientation. Ne supprimez jamais le point médian pour des raisons esthétiques.

Étiqueter chaque point ou seulement les extrémités ?

Étiquetage des points extrêmes: des mots aux deux extrêmes, des valeurs numériques entre les deux. Ca paraît propre et c'est courant. Cela produit aussi une interprétation plus variable. Quand les répondants voient un "4" nu sur une échelle à cinq points, certains le traitent comme "plutôt bien" et d'autres comme "bien mais pas excellent". Le chiffre ne porte aucune signification propre. Le mot, si.

Les échelles entièrement étiquetées sont interprétées de façon plus cohérente. Le coût: les libellés doivent être symétriques. Le pas de "Plutôt d'accord" à "D'accord" devrait paraître aussi grand que le pas de "Plutôt pas d'accord" à "Pas d'accord," sinon vous introduisez un biais aux extrémités. Une échelle allant de "Pas du tout d'accord" via "Neutre" à "Tout à fait d'accord" est symétrique. Une allant de "Terrible" via "Correct" à "Excellent" ne l'est pas. "Correct" n'est pas le point médian psychologique entre ces deux extrêmes.

Au minimum: étiquetez les deux points extrêmes et le point médian sur les échelles à nombre impair. Vous ne trouvez pas de bons mots pour chaque niveau? Prenez ce signe au sérieux. Cela signifie souvent que le type d'échelle est inadapté au construit.

Le biais d'acquiescement : quand les répondants sont d'accord avec tout

Le biais d'acquiescement est la tendance à approuver ce qu'une question affirme, quel que soit le contenu. Il s'observe à des niveaux mesurables dans la plupart des populations d'enquête et est le plus fort dans les formats accord-désaccord. "D'accord" porte déjà une connotation positive, et la voie de moindre résistance est d'acquiescer. Il est aussi plus marqué sous pression temporelle et chez les répondants peu engagés.

Votre enquête est principalement construite à partir de questions "Dans quelle mesure êtes-vous d'accord avec..."? Vos données sont alors systématiquement gonflées vers l'accord. L'article sur la rédaction de meilleures questions d'enquête couvre la formulation en détail. La solution au niveau de l'échelle: passez des formats accord-désaccord à des catégories de réponses précises. Au lieu de demander aux répondants d'être d'accord ou pas avec "Je recommanderais ce produit", posez directement: "Quelle est la probabilité que vous recommandiez ce produit?" avec des options allant de "Très improbable" à "Très probable". Fonctionnellement la même question, mais les options de réponse sont ancrées symétriquement, sans attrait intégré vers l'extrémité positive.

Maintenir la cohérence de la direction de l'échelle

Chaque échelle de notation dans une enquête doit aller dans la même direction. Si "1 = pas du tout d'accord" dans votre premier bloc, "1" doit signifier l'extrémité basse tout au long. Inverser la direction à mi-parcours, même une seule fois et même avec des libellés clairs, rompt le modèle mental que les répondants ont construit. Ils appliquent l'orientation de la première échelle aux questions suivantes avant de remarquer le changement. Certains ne le remarquent jamais.

L'incohérence de direction est l'une des principales causes du straightlining: les répondants qui ont perdu le fil choisissent une position fixe et arrêtent de s'ajuster. L'article sur la surveillance de la qualité des réponses explique comment détecter le straightlining après coup. Prévenir le problème commence par la conception de l'échelle.

Les échelles différentielles sémantiques

Une échelle différentielle sémantique place deux adjectifs opposés à chaque extrémité avec des points non étiquetés entre les deux: "Rapide --- Lent", "Moderne --- Traditionnel", "Clair --- Déroutant". Les répondants se positionnent sur le continuum. Le format convient à la perception de la marque, aux attributs de produit et à l'évaluation de concepts, car il capture des dimensions plutôt que des intensités.

Le principal risque de conception est de coupler des adjectifs qui ne sont pas de vrais opposés. "Clair" et "Compliqué" semblent être une paire naturelle, mais ils ne sont pas polaires sur une seule dimension: quelque chose peut être les deux, ou aucun des deux. Les paires vraiment opposées partagent une dimension sous-jacente unique et évoluent en sens inverse. "Rapide" et "Lent" le font. "Innovant" et "Dépassé" aussi, généralement. Vous ne trouvez pas le véritable opposé? Vous mesurez probablement deux construits et devriez utiliser deux questions.

Le Net Promoter Score : une échelle à 11 points par conception

Le NPS utilise une échelle de zéro à dix et n'est pas interchangeable avec un équivalent à cinq points. Le regroupement en Détracteurs (0-6), Passifs (7-8) et Promoteurs (9-10) a été dérivé empiriquement par Bain & Company à partir de données sur la corrélation des scores avec le comportement de rachat et de recommandation des clients. Ces seuils dépendent de la distribution complète à onze points. Compressez l'échelle à cinq points et le regroupement ne fonctionne plus.

Vous posez la question NPS ("Quelle est la probabilité que vous recommandiez [entreprise] à un ami ou collègue?")? Utilisez l'échelle de zéro à dix avec "Pas du tout probable" à zéro et "Extrêmement probable" à dix. Étiquetez les ancres et rien d'autre. Votre plateforme ne prend en charge que les échelles à cinq points mais vous voulez quand même un score de recommandation? Calculez un score Top-2 Box: divisez les réponses "Probable" et "Très probable" par le total des réponses. C'est une métrique défendable. Appeler une échelle à cinq points "NPS" ne l'est pas.

Grilles matricielles : quand elles aident et quand elles nuisent

Une question matricielle présente la même échelle de notation pour plusieurs éléments en lignes: une liste de fonctionnalités de produit notées de "Très mauvais" à "Très bon" dans une grille. Le format est pratique. Les répondants apprennent l'échelle une fois et l'appliquent sur toutes les lignes. Mais il concentre aussi les conditions qui produisent de mauvaises données.

Les matrices augmentent le straightlining. Les répondants créent une routine mentale et remplissent toute la grille avec la même valeur sans reconsidérer chaque ligne. Elles augmentent l'acquiescement pour les raisons vues plus haut. Elles créent des effets de contexte: les répondants calibrent leur évaluation de la ligne cinq sur ce qu'ils ont dit dans les lignes un à quatre, pas sur une norme indépendante. Et elles sont parmi les types de questions les plus difficiles à rendre accessibles sur mobile et pour les utilisateurs de lecteurs d'écran, comme l'article sur la conception d'enquêtes accessibles l'explique.

Utilisez une matrice uniquement lorsque les éléments partagent réellement la même échelle sous-jacente et lorsqu'une comparaison entre les lignes apporte quelque chose. Vous avez huit éléments à noter couvrant des concepts différents (prix, support, onboarding, documentation)? La comparaison entre les lignes est du bruit. Présentez-les comme des questions séparées. Limitez toute matrice à cinq ou six lignes. Au-delà, les taux de complétion baissent et la qualité des données chute visiblement.

Effets d'ordre et contamination de l'échelle

Les questions avant une échelle de notation changent la façon dont les répondants l'interprètent. Ce n'est pas subtil. Une étude de Schwarz et Strack (1991) a montré que demander la satisfaction de vie après une question sur le bonheur en matière de rencontres augmentait substantiellement les scores de satisfaction, parce que le sujet antérieur était présent à l'esprit lorsque les répondants cherchaient un ancre pour la satisfaction de vie. L'effet ne se limite pas aux sujets liés à l'affect.

Général avant spécifique: demandez la satisfaction globale avant la satisfaction concernant des attributs individuels. Ainsi la question globale n'est pas ancrée par les spécifiques que vous venez d'amorcer. Votre enquête contient des questions extrêmes ou chargées émotionnellement? Placez-les après les questions basées sur des échelles. Évitez de mettre une échelle très large (0-10) immédiatement avant une étroite (1-5). Le contraste fait paraître l'échelle étroite artificiellement contrainte.

Étoiles, curseurs et échelles d'émoticônes

Les échelles visuelles invitent à l'engagement mais créent de vrais problèmes de mesure. Les notations en étoiles portent des associations culturelles avec les avis hôteliers et de restaurants. Les répondants interprètent alors le construit à travers ce prisme, quel que soit ce que vous demandez réellement. Les curseurs sont imprécis: les répondants s'arrêtent quelque part près de leur intention plutôt qu'exactement là, et les données ont une précision fallacieuse à chaque valeur fractionnaire entre les libellés. Les échelles d'émoticônes ont une faible validité interculturelle. La même émoticône véhicule des choses différentes selon les pays et les groupes d'âge, et les distributions résultantes sont difficiles à lire.

Pour toute question où vous prévoyez de calculer des statistiques et d'agir sur les résultats, utilisez des boutons radio. Le clic est délibéré, la valeur est discrète, et la correspondance cognitive du libellé au nombre est explicite. Réservez les formats visuels pour des contextes où l'engagement compte plus que la précision, comme un check d'humeur post-achat en un clic.

Contraintes mobiles sur les questions de notation

Sur un écran de téléphone, une échelle à sept points avec toutes les options côte à côte se heurte à un problème physique: les zones de clic deviennent trop petites, notamment aux extrémités de l'échelle. Cinq points à une taille confortable occupent déjà la majeure partie de la largeur de l'écran. Dépassez sept points et vous demandez aux répondants de choisir entre des cibles inférieures au minimum de WCAG 2.5.8: 24 par 24 pixels CSS.

Les conséquences dépassent les simples échecs d'accessibilité. Quand une zone de clic est trop petite, les répondants touchent des points adjacents. Cela produit une erreur aléatoire exactement dans la plage où vous pourriez vous attendre à de la variance. Testez chaque question de notation à une largeur de viewport de 375 px avant le lancement, avec vos propres doigts. Une matrice qui paraît propre à 1 200 px devient souvent inutilisable à taille de téléphone.

Adapter votre échelle à votre objectif d'analyse

Avant d'écrire l'échelle, décidez ce que vous ferez avec les données. Les comparaisons de classement fonctionnent bien avec une échelle à cinq points et des points extrêmes étiquetés: comparez les médianes ou les distributions. Calculer des moyennes et effectuer des régressions exige que votre échelle se comporte comme des données d'intervalle, donc des points symétriques et entièrement étiquetés pour que les répondants traitent les étapes adjacentes comme également espacées. Suivre les changements dans le temps signifie utiliser le même format d'échelle à chaque vague, même si vous décidez ultérieurement qu'il n'était pas optimal. Un changement de format introduit un artefact de mesure qu'on ne peut pas distinguer d'un vrai changement. Reproduire un benchmark établi signifie utiliser l'échelle établie sans modifications.

Vous analysez du texte ouvert parallèlement à des échelles de notation? L'article sur l'analyse assistée par IA explique comment connecter les deux en pratique.

Avant le lancement : une vérification de la conception de l'échelle

Parcourez ceci avant de fermer le générateur d'enquête.

Chaque échelle de notation dans l'enquête va dans la même direction. Le nombre de points est choisi pour le construit et l'analyse, pas parce que c'était la valeur par défaut. Tous les points extrêmes sont étiquetés; les points médians sur les échelles à nombre impair sont étiquetés. Chaque question accord-désaccord a été vérifiée par rapport à une alternative de réponse directe. Les matrices n'ont pas plus de cinq ou six lignes et ont été testées sur un écran de téléphone. Le NPS utilise l'échelle complète de zéro à dix, s'il apparaît. Aucun format d'échelle visuelle n'est utilisé pour une question dont la moyenne sera rapportée.