Classement, notation ou MaxDiff : mesurer ce qui compte vraiment pour vos répondants

Pour savoir quel sujet de votre roadmap développer en premier, vous demandez à vos clients de noter les dix de "pas important" à "très important". Huit sur dix dépassent quatre sur cinq. Vous savez maintenant que les gens aiment recevoir des choses. Vous ne savez toujours pas quoi construire d'abord. Il faut une question qui oblige à choisir, et chaque format courant a son point faible.

Pourquoi les échelles de notation écrasent les priorités

Une question de notation porte sur un élément à la fois. Rien n'empêche de mettre la note maximale partout, et pour tout ce qui ressemble à un avantage, c'est ce qui arrive. Des pages plus rapides, de meilleurs exports, plus d'intégrations, des prix plus bas : qui dirait que c'est sans importance ? Une note vous dit si une chose est bienvenue. Presque tout l'est.

Et ça empire. Les répondants à moitié attentifs cochent le même point, élément après élément. Les méthodologues appellent ça la non-différenciation. La case du haut est aussi un plafond. Qui a déjà répondu "très important" au troisième élément n'a plus rien au-dessus pour le cinquième.

Résultat : des moyennes toutes coincées entre 4,1 et 4,6, avec des écarts plus petits que le bruit. Les équipes les trient quand même et présentent 4,4 contre 4,3 comme un résultat. Ça n'en est pas un, aussi soignée que soit votre échelle.

Ce que dit la recherche sur notation et classement

Duane Alwin et Jon Krosnick ont comparé les deux formats avec les données du General Social Survey de 1980, où une liste de qualités valorisées était posée une fois en notation et une fois en classement. Leur article est paru en décembre 1985 dans Public Opinion Quarterly. Sur l'échantillon entier, les deux méthodes donnaient à peu près le même ordre. Personne par personne, les profils changeaient selon le format.

Dans une étude de suivi en 1988, Krosnick et Alwin ont pointé une cause : les répondants qui donnaient la même note à beaucoup d'éléments faussaient les corrélations. Pour un ordre approximatif à l'échelle du groupe, la notation suffit souvent. Pour savoir à quoi une personne renoncerait, ou pour segmenter les gens selon leurs priorités, il faut un choix forcé.

Demandez-vous donc quelle décision dépend des données. "Les gens veulent-ils cette fonctionnalité ?" est une question de notation. "Laquelle développe-t-on d'abord ?" est un arbitrage, et un arbitrage, il faut l'imposer.

Quand une simple question de classement suffit

Le choix forcé le plus simple est le classement : voici cinq éléments, mettez-les dans l'ordre. Ça marche sous quelques conditions.

La liste est courte. Cinq éléments, c'est confortable, sept est à peu près la limite. Au-delà, le milieu se classe un peu au hasard.

Chaque répondant connaît chaque élément. Si un tiers de votre échantillon n'a jamais utilisé l'export, son rang pour l'export est une devinette. Utilisez la logique conditionnelle pour n'afficher que les éléments que la personne peut juger.

Vous n'avez besoin que de l'ordre. Un classement dit que A passe avant B, pas si c'est de loin ou de justesse.

Dans ces conditions, un classement se remplit vite et s'explique facilement. Un top 3 fait souvent mieux encore. Moins d'effort, et c'est en haut que les gens s'appliquent.

Où les questions de classement cassent

D'abord les listes longues. Faites ordonner quinze éléments et vous obtenez trois places soignées en haut, deux en bas, et dix remplies pour que le formulaire accepte de continuer. Imposer un classement complet transforme une indifférence honnête en chiffres qui ont l'air précis, et l'effort déborde sur les questions suivantes.

Les éléments affichés en haut reçoivent aussi souvent un meilleur rang, parce qu'on commence à lire là. Mélangez l'ordre de départ pour chaque répondant.

Reste l'interface. Le glisser-déposer est pénible sur un téléphone : le doigt cache l'élément, et faire défiler et faire glisser se disputent le même geste. Au clavier ou avec un lecteur d'écran, c'est difficile aussi. Donnez à chaque élément un champ numérique ou une liste déroulante, sinon ces répondants abandonnent sans bruit.

Un rang n'est pas un score

Les rangs de chaque répondant ont toujours la même somme. Mettez A en premier et tout le reste descend d'une place. Les chiffres dépendent les uns des autres par construction. Les statisticiens parlent de données ipsatives, et elles ne respectent pas les hypothèses derrière les corrélations ou les régressions ordinaires. Une analyse factorielle sur des rangs bruts trouve des structures créées par le format lui-même.

Présentez plutôt les résultats autrement. La part de répondants qui mettent un élément en premier se lit facilement et colle à la décision qui compte en général. La part dans le top 3 est plus stable, surtout sur de petits échantillons. Le rang moyen fait un résumé grossier, mais il suppose que l'écart entre la 1re et la 2e place vaut celui entre la 6e et la 7e. Et il cache les clivages.

C'est le plus grave. Un élément que la moitié de l'échantillon place en premier et l'autre moitié tout en bas a la même moyenne qu'un élément que tout le monde met au milieu. Montrez la répartition des rangs pour chaque élément, comme expliqué dans l'article sur la présentation des résultats.

Somme constante : quand la taille de l'écart compte

Parfois l'ordre ne suffit pas. Pour répartir un budget, vous voulez savoir si A compte deux fois plus que B ou à peine plus. Une question à somme constante donne aux répondants un nombre fixe de points, en général 100, à répartir entre les éléments.

On mesure ainsi l'intensité. Un répondant met 70 points sur la fiabilité, un autre répartit tout également. Un classement donne aux deux un ordre bien net. La somme constante montre que seul le premier a une vraie priorité.

Ça demande un effort de calcul, et sans total en temps réel, beaucoup de réponses font 90 ou 115. Limitez-vous à six éléments environ et testez avant. Les points ont la même somme fixe que les rangs, donc les mêmes précautions d'analyse s'appliquent.

Comment fonctionne MaxDiff

MaxDiff, pour maximum difference scaling, aussi appelé best-worst scaling, contourne le problème des listes longues en ne montrant jamais toute la liste d'un coup. La méthode remonte aux travaux de Jordan Louviere à la fin des années 1980. L'une des premières applications publiées, de Finn et Louviere en 1992 dans le Journal of Public Policy & Marketing, mesurait l'inquiétude du public face à la sécurité alimentaire.

Le répondant voit un petit lot d'éléments, choisit le plus important et le moins important, puis passe au lot suivant :

Lequel compte le PLUS pour vous, et lequel le MOINS ?

  [ ] plus   Export vers Excel et CSV                  [ ] moins
  [ ] plus   Authentification unique pour l'équipe     [ ] moins
  [ ] plus   Alertes e-mail à chaque réponse           [ ] moins
  [ ] plus   Modèles de questionnaires                 [ ] moins

Au fil des lots, chaque élément revient plusieurs fois, chaque fois en autre compagnie. Si A est le plus important et D le moins, A bat B, C et D, et D perd contre les trois. Cinq comparaisons pour deux clics.

Les gens choisissent les extrêmes de façon fiable. Désigner le meilleur et le pire parmi quatre est facile, départager la sixième et la septième place sur quinze ne l'est pas. MaxDiff ne pose que la question facile, souvent, et l'analyse reconstruit l'ordre complet.

Construire un exercice MaxDiff

Sawtooth Software, dont les outils sont très utilisés pour MaxDiff, publie des règles de conception. Montrez trois à cinq éléments par lot, car au-delà de cinq la fatigue et les erreurs augmentent. Si vous avez besoin de scores précis par répondant, montrez chaque élément au moins trois fois. Ne montrez jamais plus de la moitié de la liste dans un même lot : avec huit éléments, quatre au maximum. La méthode demande au moins six éléments, et Sawtooth recommande de rester autour de trente ou moins.

Avec 15 éléments, 5 par lot et 3 apparitions chacun, il faut 15 × 3 ÷ 5 = 9 lots. Neuf écrans rapides, ça passe. Avec 30 éléments, 4 par lot et 3 apparitions, on arrive à environ 23 lots. Réduisez d'abord la liste.

Le gros du travail, ce sont les éléments. Chacun doit répondre à la même question ; mélanger fonctionnalités et prix donne une comparaison dont personne ne peut rien tirer. Un élément vague comme "meilleure qualité" bat souvent "export vers Google Sheets", parce que chacun y projette son propre souhait. Supprimez les doublons, car deux éléments presque identiques se partagent les voix. Et fixez la question : "le plus important pour choisir un outil" et "le plus important à améliorer ensuite" peuvent ordonner la même liste différemment.

Laissez le logiciel construire les lots. Faits à la main, ils montrent certaines paires trop souvent et d'autres jamais.

Lire les scores MaxDiff

L'analyse la plus simple consiste à compter. Pour chaque élément : nombre de fois choisi comme le plus important, moins nombre de fois choisi comme le moins important, divisé par le nombre d'apparitions. Le résultat va de −1 à +1 et donne déjà un ordre utilisable. Les outils spécialisés estiment un modèle de choix avec des scores par répondant.

Deux réserves. Les scores MaxDiff sont relatifs : ils comparent les éléments entre eux et ne disent rien sur le fait qu'un seul d'entre eux compte vraiment. Si personne ne veut rien de votre liste, MaxDiff désigne quand même un gagnant. Le MaxDiff ancré demande en plus si un élément est important tout court. Vous pouvez alors tracer une ligne.

Ensuite, les scores appartiennent à cette liste-là. Changez la liste et les parts bougent. Ce que les gens disent important n'est pas forcément ce qui fait bouger leur satisfaction. Pour la seconde question, associez MaxDiff à une analyse des facteurs clés.

MaxDiff rapporte surtout sur les segments : par rôle ou par région, vous voyez où les groupes divergent. Chaque segment a cependant besoin de suffisamment de répondants.

Choisir entre notation, classement, somme constante et MaxDiff

Partez de la décision.

Prenez une échelle de notation si vous voulez savoir, élément par élément, s'il est souhaité, ou si vous suivez un élément dans le temps.

Prenez un classement court ou un top 3 si la liste compte sept éléments ou moins et que l'ordre vous suffit.

Prenez une somme constante si la taille de l'écart pèse sur la décision, par exemple pour répartir un budget.

Prenez MaxDiff si la liste est longue, si les éléments se tiennent de près ou si vous voulez comparer des segments. Ajoutez une ancre s'il vous faut aussi un seuil absolu.

Quel que soit votre choix, ajoutez ensuite une question ouverte : "Y a-t-il quelque chose d'important pour vous qui manquait dans cette liste ?" Un choix forcé ne mesure que les options auxquelles vous avez pensé. Les réponses vous disent ce qui vous a échappé. Pour les traiter, voyez l'article sur les réponses ouvertes.