Avant et après : savoir grâce à une enquête si quelque chose a vraiment changé
Vous avez envoyé une enquête avant la formation et une autre après, et le score a augmenté. Cette hausse n'est pas encore un effet. Voici ce qui fait bouger un chiffre avant-après, et comment concevoir une mesure capable de faire la différence.
Par SurveyLane · L'équipe derrière SurveyLane
Vous envoyez une enquête avant une formation au management, puis la même six semaines plus tard. L'aisance à donner du feedback passe de 3,1 à 3,7 sur une échelle en cinq points, et la diapositive pour le comité de pilotage s'écrit toute seule. Prudence quand même. Ces 0,6 sont l'écart entre deux mesures. D'autres choses tirent sur ce chiffre, et une mesure avant-après ne vous dit ce qu'a fait la formation que si elle est conçue pour les séparer.
Un écart n'est pas encore un effet
Donald Campbell et Julian Stanley ont dressé la liste des suspects habituels en 1963, dans Experimental and Quasi-Experimental Designs for Research. Les manuels enseignent encore leurs menaces à la validité interne, et quatre d'entre elles touchent presque toute enquête menée deux fois.
L'histoire, c'est tout ce qui s'est passé d'autre entre les deux vagues. Une réorganisation par exemple, ou un nouveau responsable. La maturation, c'est le progrès qui serait venu de toute façon dans un poste commencé il y a trois mois. L'effet de test, c'est l'influence du premier questionnaire lui-même : vingt questions sur le feedback font réfléchir au feedback. L'instrumentation, c'est toute modification de l'outil de mesure, donc pour une enquête la formulation, l'échelle, l'ordre ou le canal.
Aucune n'a sa colonne dans votre export. Toutes sont dans les mêmes 0,6.
La régression vers la moyenne choisit vos pires scores à votre place
Vous proposez un programme aux cinq équipes les moins engagées. Un trimestre plus tard, quatre d'entre elles ont progressé. Une partie de ce progrès était acquise d'avance.
Chaque score mélange une part stable et du bruit : une mauvaise semaine, un conflit désormais réglé. Choisir des équipes pour un score extrême, c'est choisir celles dont le bruit était défavorable cette fois-là. À la mesure suivante, il peut aussi bien partir dans l'autre sens, et la moyenne revient vers le milieu. Francis Galton l'a décrit dans les années 1880, et les équipes RH et CX tombent encore dans le piège.
Si vous devez sélectionner sur un score bas, comparez avec des équipes aussi mal notées qui n'ont rien reçu. Leur progrès est votre point de référence.
Les gens déplacent aussi leur propre étalon
Avant un cours sur le feedback, beaucoup jugent leur compétence plutôt bonne, faute de savoir à quoi ressemble un bon feedback. Après, ils le savent et se jugent plus sévèrement. Leur compétence a augmenté, l'exigence aussi, donc l'autoévaluation monte moins que la compétence. Elle peut même baisser.
George Howard et Patrick Dailey ont appelé cela le response-shift bias. Dans un article de 1979 paru dans le Journal of Applied Psychology (volume 64, pages 144 à 150), ils ont évalué une formation aux techniques d'entretien et constaté que ce déplacement de l'étalon influençait la façon dont les participants estimaient l'effet de la formation. Pour ce genre de programme, une simple comparaison d'autoévaluations sous-estime donc souvent le changement. Un résultat plat ne prouve pas l'inutilité du programme.
Les questions sur le comportement ("Combien d'entretiens individuels avez-vous menés le mois dernier ?") n'ont pas cet étalon mobile. Ajoutez-en quelques-unes. L'article sur les questions de comportement et la mémoire explique comment les rédiger.
Le prétest rétrospectif, et ce qu'il vous coûte
Une solution : demander "avant" après coup. Dans l'enquête finale, chaque item apparaît deux fois : "Comment évaluez-vous aujourd'hui votre capacité à donner un feedback critique ?" et "Avec le recul, comment l'auriez-vous évaluée avant la formation ?" Les deux réponses utilisent alors le même étalon.
Howard et cinq collègues ont testé ce prétest rétrospectif dans cinq études publiées en 1979 dans Applied Psychological Measurement (volume 3, pages 1 à 23), et l'ont proposé pour mesurer plus précisément le changement dans les autoévaluations.
Il a un prix. Placer "avant" et "maintenant" côte à côte signale qu'un écart est attendu, et certains le fournissent. Après deux jours de formation, on a envie de croire que ça a servi. Laura Griner Hill et Drew Betz ont réexaminé la méthode en 2005 dans l'American Journal of Evaluation (volume 26, numéro 4, pages 501 à 517). Leur conseil : utilisez un prétest classique pour juger l'effet d'un programme, et un prétest rétrospectif pour savoir comment les participants ont vécu leur propre changement. Posez les deux si vous le pouvez. Là où ils divergent fortement, c'est la compréhension du sujet qui a bougé.
Gardez l'instrument de mesure strictement identique
L'instrumentation est la menace que vous créez vous-même. Entre deux vagues, quelqu'un peaufine une question, remplace une échelle en cinq points par une échelle en sept, ou avance un bloc. Chaque modification déplace les réponses, et vous ne pouvez plus distinguer ce déplacement de l'effet.
Figez l'enquête initiale dès la première réponse : même formulation, mêmes options dans le même ordre, même ordre des questions, même canal. Passer de l'e-mail sur ordinateur au QR code sur téléphone change le mode, et le mode seul déplace les réponses. Lisez aussi répéter une enquête sans casser la tendance et les effets d'ordre des questions. Corrigez la formulation avant la première vague, avec les méthodes de tester une enquête avant de l'envoyer.
Apparier les répondants sans briser l'anonymat
Vous pouvez comparer le groupe d'avant au groupe d'après. Ou relier les deux réponses de chaque personne et regarder le changement individuel. C'est bien plus solide : les différences entre personnes sortent de la comparaison, et un changement plus petit devient visible avec autant de répondants.
Pour relier, il faut une clé, qui entre en conflit avec toute promesse d'anonymat. L'article sur l'anonymat et la confidentialité explique pourquoi une promesse rompue vous coûte des réponses honnêtes.
Une voie médiane est un code créé par le répondant. Au début des deux enquêtes, demandez des éléments que lui seul connaît, comme les deux premières lettres du prénom de sa mère et le jour du mois de son anniversaire. "MA14" relie les vagues sans nom. Certains codes ne correspondront pas, alors indiquez combien de paires vous avez réellement reliées. Dans une équipe de six, un code croisé avec le service et la fonction peut encore désigner une personne. Décidez d'avance quelles ventilations vous ne publierez pas.
Qui a répondu les deux fois
La seconde vague touche rarement les mêmes personnes que la première. Des gens changent d'équipe ou abandonnent en cours de route. D'autres n'y pensent jamais. Ceux qui ont trouvé la formation inutile ouvrent rarement une enquête à son sujet, donc le groupe d'après paraît plus positif sans que personne ait changé d'avis. Campbell et Stanley appelaient cela experimental mortality. L'article sur la qualité de l'échantillon traite plus largement de la non-réponse.
Deux vérifications attrapent l'essentiel. Comparez les scores initiaux de ceux qui ont répondu deux fois avec ceux qui n'ont répondu qu'à la première vague. Si les partants partaient plus bas, votre moyenne finale flatte le programme. Et présentez le changement des paires appariées à côté des moyennes brutes.
Un groupe de comparaison vaut plus qu'une question parfaite
La plus grande amélioration n'a rien à voir avec la formulation. Mesurez aux mêmes moments un groupe qui n'a pas reçu l'intervention. L'histoire et la maturation touchent alors les deux groupes, l'effet de test aussi, et la différence entre leurs évolutions est une bien meilleure estimation de l'effet.
En entreprise, c'est souvent facile : déployez la formation en deux cohortes interrogées aux mêmes dates. La seconde sert de comparaison jusqu'à son tour.
Imaginons que le groupe formé passe de 3,1 à 3,7 et le groupe en attente de 3,2 à 3,5 sur les mêmes six semaines. La formation a apporté environ 0,3. Les 0,3 restants venaient d'autre chose, la saison ou le nouveau cycle d'entretiens annuels. Les groupes n'ont pas besoin de partir à égalité, tant que vous comparez des évolutions. Mais une équipe pilote volontaire se compare mal aux autres.
Quand envoyer la seconde vague
Un questionnaire à la fin de la dernière séance capte ce que les gens ressentent ce jour-là. Plein d'énergie, en général, et un peu soulagés que ce soit fini. Leur façon de travailler n'a pas encore eu le temps de changer.
Pour une compétence utilisée chaque semaine, six à huit semaines sont une première estimation raisonnable. Pour quelque chose qui arrive une fois par trimestre, attendez un trimestre. Interrogez sur un comportement récent et concret. "Ces deux dernières semaines, combien de fois avez-vous donné un feedback critique en face à face ?" se gonfle plus difficilement que "Je me sens à l'aise pour donner du feedback."
Quelle taille de changement vous pouvez voir
Avec quarante personnes, vous détecterez un grand changement et manquerez un changement modeste. Si vous espérez un quart de point, vérifiez d'abord que votre groupe peut le montrer. Sinon, "pas de différence significative" veut surtout dire "pas assez de monde".
L'appariement aide, car le changement individuel varie bien moins que les scores. L'article sur le nombre de répondants nécessaire explique la marge d'erreur et les sous-groupes.
Et ne testez pas trente items séparément pour célébrer les deux qui sortent significatifs. Quelques-uns franchiront le seuil par pur hasard. Fixez à l'avance les deux ou trois résultats que le programme doit faire bouger.
Rendre compte du changement honnêtement
Indiquez le nombre de réponses par vague et le nombre de paires appariées. Montrez les distributions, car un programme qui relève le quart inférieur ne ressemble en rien à un programme qui décale tout le monde d'un cran. Mettez l'évolution du groupe de comparaison à côté.
Dites ensuite ce que le dispositif permet d'affirmer. "Les scores de ceux qui ont répondu deux fois ont augmenté de 0,4 ; un groupe de comparaison a augmenté de 0,1" se défend. "La formation a augmenté l'aisance de 15 %" se défend rarement. Plus de détails dans présenter les résultats d'une enquête.
Mettre en place une enquête avant-après dans SurveyLane
Construisez et testez l'enquête initiale, puis dupliquez-la pour la vague finale : formulation et ordre restent identiques. Placez le code créé par le répondant au début des deux. Ajoutez les items rétrospectifs uniquement à l'enquête finale, dans un bloc à part.
Utilisez la logique conditionnelle pour masquer au groupe de comparaison les questions propres au programme. Ensuite, le serveur MCP en lecture seule permet à un assistant IA de relier les vagues par le code et de comparer l'évolution par groupe, comme décrit dans analyser vos enquêtes avec l'IA. Comparez le nombre de paires qu'il annonce avec votre propre décompte.
Questions fréquentes
Un prétest rétrospectif vaut-il mieux qu'un prétest classique ?
Pas de manière générale. Un prétest classique est la base la plus sûre pour juger l'effet d'un programme, car il est rempli avant que les gens sachent ce qu'il enseigne. Un prétest rétrospectif évite l'étalon qui se déplace, mais il invite les gens à déclarer l'amélioration qu'ils attendent. Utilisez les deux si vous le pouvez.
Puis-je comparer avant et après si l'enquête était anonyme ?
Oui, au niveau du groupe, ou par personne si vous ajoutez un code créé par le répondant. Une comparaison de groupe confond un changement chez les gens et un changement dans la composition des répondants. Comparez donc les scores initiaux de ceux qui ont répondu une fois avec ceux qui ont répondu deux fois.
Combien de temps attendre avant l'enquête finale ?
Assez pour que le comportement visé ait eu lieu plusieurs fois. Pour une compétence utilisée chaque semaine, six à huit semaines sont un bon début. Une enquête le dernier jour mesure ce que les gens ont pensé de la séance.
Et si je ne peux pas avoir de groupe de comparaison ?
Faites alors une affirmation plus modeste. Mesurez plus d'une fois avant l'intervention pour voir la tendance existante, ajoutez des questions de comportement et ne choisissez pas les participants parce que leur score était bas. Présentez le résultat comme une évolution dans le temps. Il dit peu de chose de l'effet du programme.