Analyse des drivers : ce qui fait vraiment bouger votre score de satisfaction
Demandez aux clients ce qui compte, ils répondent : tout. L'analyse des drivers regarde plutôt ce qui fait bouger le score. Voici comment elle fonctionne, où corrélation et régression vous trompent, et comment lire un graphique de drivers sans vous raconter d'histoires.
Par SurveyLane · L'équipe derrière SurveyLane
Votre enquête de satisfaction contient un score global et huit notes sur des aspects précis : prix, rapidité, support, onboarding, fiabilité et quelques autres. Puis quelqu'un demande lequel corriger en premier. C'est le rôle de l'analyse des drivers (key driver analysis), et on peut s'y tromper avec beaucoup d'assurance. Le graphique a l'air précis. Sa valeur dépend de choix qu'on fait souvent sans s'en apercevoir.
Pourquoi demander ce qui compte ne suffit pas
"Quelle importance accordez-vous au prix ?" "Au support ?" C'est l'importance déclarée, et presque tout revient comme important.
Sur une échelle en cinq points, la plupart des aspects tombent entre 4 et 5, et l'ordre dans cette bande étroite est surtout du bruit. Les clients veulent que tout soit bien. Vous le saviez déjà.
Et les gens indiquent ce qui devrait compter selon eux. La mise en page de votre facture ? Haussement d'épaules. Regardez pourtant la satisfaction des clients qui en ont reçu une incompréhensible. Les répondants ne mentent pas pour autant. Ils voient mal ce qui guide leur propre jugement, et la question d'importance leur demande justement ça.
L'importance dérivée : laisser les données montrer ce qui bouge
L'importance dérivée retourne la question. Vous regardez quelles notes d'aspects évoluent avec le score global. Si ceux qui notent bien le support notent aussi bien l'ensemble, et les autres non, le support est un driver possible.
Le prix à payer : vous faites des statistiques sur des données d'observation. On commence en général par une corrélation par aspect, puis une régression du score global sur tous les aspects. Les deux sont rapides. Les deux trompent, et mieux vaut savoir comment avant de montrer le résultat à l'équipe produit.
La corrélation gonfle chaque driver : l'effet de halo
Corrélez chaque aspect avec la satisfaction globale : tous sortent positifs, souvent entre 0,5 et 0,7. Huit drivers solides, en apparence. C'est surtout un seul effet, compté huit fois.
Edward Thorndike l'a décrit en 1920 dans "A constant error in psychological ratings", paru dans le Journal of Applied Psychology. Des officiers notaient des soldats sur l'intelligence, le physique ou le commandement, et ces notes se suivaient bien plus que les qualités elles-mêmes ne le pouvaient. Une impression générale débordait sur chaque note. Il a appelé cela l'effet de halo.
Vos répondants aussi. Un client satisfait note votre support et votre page tarifs avec plus d'indulgence, en partie parce qu'il est satisfait. Les notes partagent une grosse composante commune : le jugement global que vous vouliez expliquer. Un tableau de corrélations dit que les clients satisfaits notent tout plus haut. Pas ce qu'il faut changer.
La régression échoue dans l'autre sens
Le manuel conseille la régression multiple : chaque coefficient montre l'effet d'un aspect, toutes choses égales par ailleurs, ce qui retire en théorie le halo commun.
En pratique, vos aspects sont si liés que le modèle ne sait pas les séparer. C'est la multicolinéarité. Ajoutez 50 réponses ou retirez un aspect : le classement change. Un aspect rafle la variance commune et paraît dominant, son quasi-jumeau tombe près de zéro, parfois sous zéro.
Ce signe moins vous met la puce à l'oreille. Si vous lisez "une meilleure note d'onboarding réduit la satisfaction globale", c'est que l'onboarding et un autre aspect mesurent presque la même chose, et que le modèle a réparti le mérite au hasard. Un driver qui domine un trimestre puis disparaît sans raison, c'est souvent ça.
Valeurs de Shapley et analyse de dominance : partager le mérite
Les méthodes faites pour ce problème demandent : en moyenne, sur tous les ordres d'entrée possibles dans le modèle, combien chaque aspect ajoute-t-il à la variance expliquée ?
David Budescu a présenté l'analyse de dominance en 1993 dans Psychological Bulletin. Stan Lipovetsky et Michael Conklin y sont arrivés en 2001 par la théorie des jeux coopératifs, dans Applied Stochastic Models in Business and Industry. Ils traitent chaque aspect comme un joueur et le R² du modèle comme le gain à partager. C'est la régression par valeurs de Shapley. Pour le R² d'un modèle linéaire, les poids de dominance générale de Budescu et les valeurs de Shapley sont les mêmes nombres.
Les parts obtenues s'additionnent à la variance expliquée totale, ne sont jamais négatives et tiennent bien mieux quand des aspects se recoupent.
Deux limites : le halo reste dans chaque note, et le résultat décrit vos données sans rien dire des causes.
Il faut un modèle par sous-ensemble d'aspects, soit 2 puissance leur nombre. Huit aspects, 256 modèles : rien. Trente, plus d'un milliard : il faut une approximation ou une liste plus courte.
De bonnes données de drivers commencent au questionnaire
Liste courte, aspects distincts. "Facilité d'utilisation" et "interface intuitive" : un seul aspect, demandé deux fois. Si rien ne distingue les deux dans le vécu du client, fusionnez-les.
Posez la question globale en premier. Sinon, le score global résume ce à quoi le répondant vient de penser. L'article sur les effets d'ordre des questions explique le mécanisme.
Une seule échelle, dans un seul sens, pour les aspects et le résultat. L'article sur la conception des échelles de notation détaille les choix qui comptent.
Et couvrez ce que les clients vivent vraiment. Si le vrai problème manque à la liste, votre premier driver sera juste l'aspect le plus lié à celui-là.
Les questions en grille abîment vos données de drivers
Les notes d'aspects finissent presque toujours dans une grille : huit lignes, une échelle, un écran.
Dans une grille, les gens répondent en ligne droite. Même réponse sur toute la colonne, parce que c'est plus rapide. C'est du halo pur : des notes identiques qui suivent le score global et ne disent rien sur l'aspect qui compte. Avec assez de réponses de ce type, vous analysez surtout de la fatigue.
Comptez combien de répondants ont donné la même note à tous les aspects, et faites tourner le modèle avec et sans eux. L'article sur le repérage des réponses de mauvaise qualité propose d'autres contrôles. Sur un téléphone, une grille fait encore pire (voir l'article sur les enquêtes conçues pour le téléphone).
Certains aspects ne comptent que quand ils échouent
Un modèle linéaire suppose qu'un point de plus en fiabilité vaut autant de 2 à 3 que de 4 à 5. Les clients ne fonctionnent pas ainsi.
Noriaki Kano et ses collègues l'ont décrit en 1984 dans la revue de la Japanese Society for Quality Control, dans "Attractive quality and must-be quality". Un aspect obligatoire (must-be) ne vaut aucun compliment quand il marche et provoque la colère quand il lâche : des données bien enregistrées, par exemple. Un aspect attractif ne manque à personne s'il est absent et ravit s'il est là. Un aspect unidimensionnel est simplement meilleur quand il s'améliore.
Quand presque tout le monde est content d'un aspect obligatoire, ses notes varient à peine, et une variable qui varie à peine explique peu. Il se retrouve donc en bas du classement. Jusqu'au jour où il casse.
Comparez la satisfaction globale entre notes basses et hautes sur chaque aspect. Une note basse fait plonger le score, une haute n'ajoute presque rien ? Aspect obligatoire. Corrigez ses défaillances, et n'attendez pas d'un peaufinage au-delà du seuil qu'il soit rentable.
Croiser importance et performance
Votre premier driver est peut-être déjà à 4,7 sur 5, là où chaque gain supplémentaire coûte cher. Un driver au milieu de la liste, noté 2,9, se relève peut-être à bon compte.
John Martilla et John James ont publié l'analyse importance-performance en 1977 dans le Journal of Marketing, trois pages fondées sur des données de service de concessionnaires automobiles. Importance sur un axe, performance sur l'autre, coupure aux moyennes. Quatre quadrants : concentrer les efforts ici, continuer ainsi, faible priorité, effort peut-être excessif.
Prenez l'importance dérivée pour l'axe d'importance, sinon tout se tasse en haut. Et les lignes de séparation sont arbitraires. Déplacez-les de la moyenne à la médiane, et un aspect peut changer de quadrant. Le graphique ouvre la discussion. Le budget, lui, se décide sur des preuves.
Ce qu'un graphique de drivers ne vous dit pas
Une analyse des drivers est un instantané : elle montre quelles notes vont avec un score global plus élevé, dans cet échantillon, maintenant. Si améliorer un aspect ferait monter la satisfaction, elle n'en sait rien.
Les gros utilisateurs notent peut-être très haut le support et la satisfaction globale, parce qu'un usage intensif crée de la familiarité. Le support serait alors un symptôme de l'engagement.
Traitez donc les drivers comme des hypothèses. Changez quelque chose et regardez le score, par exemple l'onboarding d'une seule cohorte, ou suivez l'aspect et le résultat sur plusieurs vagues. L'article sur répéter une enquête sans casser la tendance explique comment garder ces vagues comparables.
Indiquez aussi l'incertitude. Avec 150 réponses, l'écart entre le troisième et le cinquième driver relève le plus souvent du bruit. Faites un bootstrap : rééchantillonnez vos répondants quelques centaines de fois, relancez l'analyse et comptez combien de fois chaque aspect finit dans le trio de tête. "Le support est dans le trio de tête 95 % du temps, le prix 40 %" parle bien plus qu'un diagramme en barres.
Quand vous demandez à une IA de trouver vos drivers
Un assistant IA connecté à vos données d'enquête, par exemple via le serveur MCP de SurveyLane décrit dans analysez vos enquêtes avec l'IA, fait une analyse des drivers en quelques secondes. Et il saute tous les arbitrages ci-dessus si vous ne les réclamez pas.
Demandez-lui quelle méthode il a utilisée. "Key drivers" dans une requête rapide devient souvent un tableau de corrélations, la méthode qui a le problème du halo. Exigez des valeurs de Shapley ou une analyse de dominance, avec la part de variance expliquée par aspect.
Demandez les corrélations entre aspects avant le classement. Deux aspects au-dessus de 0,8 ne se comparent pas.
Faites-lui écarter les répondants en ligne droite, relancer, et donner le R² total. À 0,25, les trois quarts de la satisfaction viennent de choses que vous n'avez jamais demandées.
Demandez ensuite ce que les résultats ne montrent pas. Un résumé qui affirme "le prix fait la satisfaction" sans parler de halo, de recoupements ni de causalité en dit plus que la méthode ne permet. C'est la même erreur qu'une IA qui invente des thèmes dans des réponses ouvertes, décrite dans l'article sur l'analyse des réponses ouvertes.
Questions fréquentes
De combien de réponses ai-je besoin pour une analyse des drivers ?
Une règle empirique courante est de dix à vingt réponses complètes par aspect dans le modèle, plus en cas de forts recoupements, soit 80 à 160 comme plancher pour huit aspects. En dessous, un bootstrap montre que la majeure partie du classement n'est pas stable. Pour comparer des segments, comptez ce nombre par segment.
Faut-il encore poser des questions d'importance déclarée ?
Parfois, en complément. Elles repèrent les aspects obligatoires qui varient à peine et finissent bas en importance dérivée. Si les clients jugent un aspect très important et que l'analyse le place en bas, creusez cet écart avant de trancher pour l'un des deux chiffres. Ne faites pas de l'importance déclarée votre classement principal, puisque presque tout revient comme important.
Puis-je utiliser le NPS comme variable de résultat ?
Utilisez la note brute de 0 à 10 de la question de recommandation comme variable de résultat. Réduire onze points à des promoteurs, passifs et détracteurs jette de la variation dont le modèle a besoin.
La régression par valeurs de Shapley, est-ce la même chose que SHAP en machine learning ?
Les deux viennent de la même idée de théorie des jeux, mais répondent à des questions différentes. La régression par valeurs de Shapley répartit la variance expliquée d'un modèle entre les aspects et donne un chiffre par aspect pour tout le jeu de données. SHAP explique des prédictions individuelles et donne une contribution par aspect et par répondant. Pour un graphique de drivers, c'est la première qu'il vous faut, ou l'analyse de dominance.
