Présenter les résultats d'une enquête sans tromper ceux qui décident
La plupart des rapports d'enquête sont lus en deux minutes par quelqu'un qui prend ensuite une décision. Voici comment montrer la base, l'incertitude, les distributions et les réponses ouvertes pour que cette décision repose sur ce que disent vraiment vos données.
Par SurveyLane · L'équipe derrière SurveyLane
Une enquête soignée peut quand même finir en mauvaise décision, souvent à la dernière étape. Une responsable lit une diapositive, voit « 62 % veulent la fonctionnalité X », et personne ne demande : 62 % de qui ? Traitez votre rapport comme un questionnaire pour le lecteur : un graphique ambigu reçoit la réponse qu'il avait déjà en tête. Les règles pour écrire de meilleures questions s'appliquent donc ici aussi.
Partez de la décision à prendre
La plupart des rapports suivent le questionnaire, un graphique par question. Cet ordre convenait au répondant. Le lecteur, lui, veut savoir quoi faire.
Commencez par la décision que l'enquête devait éclairer, et mettez en première page les deux ou trois résultats qui la concernent. « Faut-il passer l'onboarding en libre-service ? » est une décision. Ce qui compte pour elle : la note que les nouveaux clients donnent à l'onboarding actuel, l'endroit où ils ont bloqué, et si ceux qui ont eu du mal sont justement ceux que vous risquez de perdre. Le reste part en annexe.
Rédigez le titre de chaque résultat comme une phrase avec un chiffre. « Onboarding » ne dit rien. « Quatre nouveaux clients sur dix ont eu besoin d'aide pour terminer la configuration », ça se vérifie et ça se discute.
Chaque pourcentage a besoin de sa base
« 62 % préfèrent la nouvelle page de tarifs » ne se lit pas du tout pareil s'il s'agit de 62 % de 1 400 clients ou de 62 % des 29 personnes qui ont vu la nouvelle page puis reçu une question de suivi.
Indiquez la base sous chaque graphique, en clair : « Base : clients ayant utilisé l'export au cours des 30 derniers jours, n = 312 ». Un « n = 312 » tout seul ne suffit pas.
Avec la logique conditionnelle, c'est encore plus important. Avec le routage, la base change d'un graphique à l'autre. Si la question 8 n'a été posée qu'à ceux qui ont noté le support sous 5, alors « 71 % citent le délai de réponse comme principal problème » décrit des utilisateurs mécontents du support. Écrivez donc le filtre dans la ligne de base, à chaque fois.
Décidez quoi faire des « ne sait pas » avant de compter
Ceux qui répondent « ne sait pas » ou sautent la question restent dans vos données. Où vous les mettez fait bouger le titre.
Vous demandez à 500 personnes si le nouveau tableau de bord est plus simple. 240 disent oui, 110 disent non, 150 ne l'ont pas assez utilisé pour juger. Sur les 500, 48 % le trouvent plus simple. Retirez les « ne sait pas » et on passe à 69 %. Les deux chiffres sont justes. Le premier parle de vos utilisateurs. Le second parle des utilisateurs qui avaient déjà un avis.
Les deux se défendent. Cacher lequel vous avez pris, non. Choisissez la base qui correspond à la décision, dites-le, et montrez le groupe exclu sous forme de chiffre. Si 30 % des gens n'ont pas encore pu juger le tableau de bord, c'est un résultat en soi.
Arrondis, totaux et réponses multiples
Trois réponses à 33,3 % chacune s'arrondissent à 33, 33 et 33. Total : 99. Quelqu'un le remarquera. Une note suffit : « En raison des arrondis, le total peut différer de 100 %. » Ne trafiquez pas un chiffre pour que la colonne tombe juste.
Pour les choix multiples, c'est l'inverse : les barres dépassent largement 100. C'est normal, mais écrivez-le sur le graphique, car 180 % ressemble à une erreur. Et adaptez les décimales à votre échantillon. 47,3 % sur 180 réponses suggère une précision que vous n'avez pas.
Une moyenne cache la distribution
Un 3,0 sur une échelle en cinq points peut vouloir dire que tout le monde a choisi le milieu. Il peut aussi vouloir dire que la moitié a mis 1 et l'autre moitié 5. Indifférence tiède dans un cas, clientèle divisée dans l'autre. Ce n'est pas la même décision.
Pour les échelles de notation, montrez toute la distribution en barre empilée, avec les points dans leur ordre naturel. Si vous voulez un seul chiffre de synthèse, donnez la part des deux modalités du haut à côté de celle des deux du bas. Les libellés de votre échelle ont leur place sur le graphique. « 1 » à « 5 » ne dit rien à quelqu'un qui n'a pas le questionnaire sous les yeux.
Ne triez jamais les points d'une échelle par taille, sinon « plutôt d'accord » se retrouve à côté de « pas du tout d'accord ». Les catégories sans ordre, comme « principale raison de résiliation », se trient en revanche par taille.
Un écart est plus incertain que chaque chiffre
La satisfaction est de 64 % chez les clients en abonnement annuel et de 57 % chez les clients mensuels, et la salle en conclut que les clients annuels sont plus satisfaits. Peut-être. Chaque chiffre a sa propre incertitude, et l'écart entre les deux en a davantage.
Andrew Mercer, du Pew Research Center, l'écrivait en 2016 dans un article explicatif sur la marge d'erreur : la marge d'erreur sur l'écart entre deux candidats est en général environ le double de celle sur le score de chaque candidat. Son exemple de sous-groupe : un sondage avec une marge d'environ 3 points au total avait environ 8 points pour un sous-groupe représentant 15 % de la population, et environ 16 points pour un écart à l'intérieur de ce sous-groupe.
Un écart de sept points entre deux segments de 200 répondants chacun relève très probablement du bruit. Si vous voulez affirmer quelque chose sur l'écart, testez l'écart, et si le test ne le confirme pas, écrivez « pas de différence nette ». L'article combien de répondants vous faut-il explique comment calculer la précision avant le terrain. Même chose pour l'évolution dans le temps : passer de 41 à 44 entre deux vagues, ce n'est pas encore une tendance.
Les tableaux croisés et le problème des quarante comparaisons
Dans les tableaux croisés, les rapports partent à la pêche. Croisez dix questions avec quatre segments et vous obtenez quarante comparaisons. Au seuil habituel de 95 %, attendez-vous à ce qu'environ deux d'entre elles paraissent significatives par pur hasard, même s'il ne se passe rien. Et ce seront les cellules les plus frappantes du rapport.
Fixez d'avance les comparaisons auxquelles l'enquête devait répondre : ce sont vos résultats. Tout le reste est étiqueté exploratoire : à vérifier lors de la prochaine vague, rien de plus. Un outil qui signale automatiquement les cellules significatives a lancé tous les tests possibles.
Des graphiques que l'on lit correctement
En 1984, dans le Journal of the American Statistical Association, William Cleveland et Robert McGill ont mesuré la précision avec laquelle on lit des quantités selon leur codage visuel. La position le long d'une échelle commune arrivait en tête. Les angles et les surfaces faisaient nettement moins bien. On compare donc bien mieux des longueurs de barres que des parts de camembert.
Pour vos résultats d'enquête :
- Utilisez des barres horizontales pour les modalités de réponse, pour que les libellés longs restent lisibles.
- Faites partir l'axe d'un diagramme en barres de zéro. Un axe qui commence à 50 % transforme un écart de trois points en ce qui ressemble à un doublement.
- Réservez le camembert ou l'anneau à une répartition en deux, au mieux. Cinq parts de taille voisine, c'est de la devinette.
- Donnez la même couleur à la même réponse dans tous les graphiques. Si « très satisfait » est vert foncé en page 2, il l'est aussi en page 9.
- Inscrivez le chiffre sur la barre, pour que personne n'ait à l'estimer d'après le quadrillage.
Le but est un graphique difficile à mal lire. Qu'il soit joli vient après.
Les citations illustrent un thème
Sortez les trois plaintes les plus virulentes sur 600 réponses ouvertes, et la salle supposera qu'elles parlent pour tout le monde.
Une citation fait entendre un thème. Donnez un chiffre au thème : « Environ une réponse ouverte sur cinq mentionnait les formats d'export, par exemple : ... ». Choisissez des citations typiques du thème. Les cas extrêmes restent dans l'export. Si l'IA a aidé au codage, vérifiez chaque citation utilisée par rapport à la réponse brute, car un résumé peut reformuler une phrase que personne n'a écrite. L'article sur l'analyse des réponses ouvertes explique comment coder les thèmes pour que les chiffres tiennent.
La note méthodologique attendue par l'AAPOR
L'American Association for Public Opinion Research a un Code of Professional Ethics and Practices, révisé pour la dernière fois en avril 2021. Sa section III liste ce qui doit figurer immédiatement dans tout rapport de résultats d'enquête rendus publics. Pour un rapport interne, c'est aussi une bonne check-list :
- comment les données ont été collectées, et qui a financé et réalisé l'étude
- la formulation exacte et la présentation des questions
- la population étudiée, et comment l'échantillon a été tiré et recruté
- les modes et les dates de collecte
- la taille des échantillons et, le cas échéant, la précision des résultats
- comment les données ont été pondérées, si elles l'ont été
- comment les données ont été traitées et contrôlées
- une mention générale des limites du dispositif
Dans un rapport interne, cela tient dans un petit encadré en dernière page :
Méthode : enquête en ligne envoyée par e-mail aux 4 820 clients
actifs au T3. Terrain du 2 au 16 octobre. 1 212 réponses
complètes (25 %). Aucune pondération. 37 réponses retirées pour
remplissage trop rapide ou réponses en ligne droite.
Questionnaire complet en annexe A.
Limite : les clients partis avant octobre n'ont pas été invités.
Une ligne du code compte particulièrement : les rapports fondés sur des échantillons non probabilistes ne devraient donner de mesure de précision que s'ils expliquent comment elle a été définie et calculée. La plupart des enquêtes clients et collaborateurs sont non probabilistes, puisque vous avez invité tout le monde et qu'une partie a choisi de répondre. Une « marge d'erreur de ±3 % » sous une telle enquête revendique une précision que le dispositif ne peut pas fournir, et la non-réponse reste le risque principal. L'article sur la pondération des données détaille ce qu'on peut corriger après coup.
Placez les limites à côté des résultats
Placez chaque limite à côté du résultat qu'elle concerne : si seulement 12 % de vos clients entreprises ont répondu, dites-le sous le graphique sur les clients entreprises. Pour chaque résultat principal, écrivez une phrase qui commence par « Ce serait faux si », et gardez celles que vous ne pouvez pas exclure.
Puis demandez à quelqu'un d'extérieur à l'enquête les trois résultats principaux. Si sa réponse diffère de la vôtre, réécrivez le rapport.
Questions fréquentes
Faut-il présenter la moyenne ou des pourcentages pour une échelle de notation ?
Faites des pourcentages par point d'échelle votre vue principale, car ils montrent si les avis sont partagés ou regroupés. Une moyenne convient pour suivre l'évolution dans le temps, toujours à côté de la distribution et avec les libellés écrits en toutes lettres.
Ai-je besoin d'une marge d'erreur si j'ai interrogé tous mes clients ?
Avec toute votre base clients invitée, il n'y a pas d'erreur d'échantillonnage au sens classique. Il reste la non-réponse, en général la plus grande source d'erreur. Mettez le taux de réponse bien en vue et décrivez qui est sous-représenté. Une marge d'erreur qui ne s'applique pas, vous la laissez de côté.
Puis-je écarter les réponses incomplètes du rapport ?
Oui, à condition de le signaler et de fixer la règle avant de regarder les résultats. Comparez ceux qui ont abandonné à ceux qui ont terminé, sur les questions communes. Si c'étaient surtout des clients mécontents, les écarter rend vos résultats meilleurs qu'ils ne le sont.
Combien de graphiques doit compter un rapport d'enquête ?
Un par résultat qui concerne la décision, en général moins de dix dans les pages principales. Le reste va en annexe. Avec un graphique par question, les trois résultats qui comptent se perdent au milieu de trente autres.
