Répéter une enquête sans casser la tendance
Une enquête envoyée chaque trimestre ne vaut que si ce trimestre se compare au précédent. Voici ce qui casse cette comparaison sans bruit, et comment modifier une enquête sans perdre votre tendance.
Par SurveyLane · L'équipe derrière SurveyLane
Une enquête ponctuelle répond à une question. Une enquête que vous répétez chaque mois ou chaque trimestre doit répondre à une autre : est-ce que quelque chose a changé ? Cette seconde question se casse plus facilement. Modifiez un mot, changez d'échelle ou faites passer l'enquête de l'e-mail à une fenêtre dans votre produit, et la courbe de votre graphique bouge alors que l'avis de personne n'a bougé.
Une tendance est une comparaison
Comparer le score de satisfaction de ce trimestre au précédent, c'est affirmer que l'écart vient d'un changement chez les personnes interrogées. C'est vrai seulement si tout le reste est resté pareil : la question, les options de réponse, ce qui la précède, l'invitation, les personnes invitées.
Demandez-vous donc d'abord ce qui a changé entre les vagues, en dehors de ce qui vous intéresse. Si la réponse honnête est "on a reformulé la question et changé d'outil", vous avez deux enquêtes distinctes qui partagent un graphique par hasard.
Figez l'instrument avant la première vague
La décision la plus utile pour une enquête de suivi se prend avant la vague un : quelles questions forment le noyau fixe, figé une fois pour toutes. Même formulation, mêmes options, même ordre, même place, même texte d'introduction. Le reste peut tourner.
Testez ce noyau. Le guide pour tester une enquête avant l'envoi montre comment repérer les problèmes de formulation tant qu'ils ne coûtent rien à corriger. Découvert à la vague quatre, le même problème vous coûte une rupture de tendance. En prétest, il coûte un après-midi.
De petits changements de formulation déplacent beaucoup les réponses
L'exemple le plus connu vient de la General Social Survey américaine, qui demande depuis des décennies si l'État dépense trop, trop peu ou à peu près ce qu'il faut pour une liste de priorités. Une version de l'item dit "welfare" (aide sociale). Une autre dit "assistance to the poor" (aide aux pauvres). À peu près le même domaine. Pourtant, la part de personnes qui estiment qu'on dépense trop peu diffère entre les deux de plusieurs dizaines de points, année après année.
"Êtes-vous satisfait de notre support ?" demande un jugement sur un service. "Êtes-vous satisfait de l'aide reçue de notre équipe support ?" demande un jugement sur la dernière conversation. Passez de l'une à l'autre entre le T2 et le T3, et une partie de tout mouvement du score vient de votre modification. L'article sur les meilleures questions d'enquête explique pourquoi la formulation pèse autant.
L'échelle fait partie de la question
Changer les options de réponse, c'est changer la question, même si l'énoncé reste identique mot pour mot. Passer de cinq à sept points modifie la distribution. Ajouter un point central étiqueté aussi, comme remplacer "Très insatisfait" par "Extrêmement insatisfait" ou inverser le sens pour que le pôle positif vienne en premier. Regrouper ensuite le résultat en "top 2 box" n'annule rien.
Les listes à choix multiples réagissent pareil. Ajoutez une option à une liste de motifs de résiliation et une partie des gens qui choisissaient "autre" ou "trop cher" prendront la nouvelle. Les anciennes catégories baissent, et on croit que le problème a baissé aussi. Pour une échelle qui tiendra des années, lisez le guide pour concevoir des questions à échelle avant la première vague.
Ce qui précède une question la change aussi
Le contexte fait partie de l'instrument. Posez la question de satisfaction générale juste après cinq questions sur la panne de la semaine dernière, et elle obtient un score plus bas que si vous la posez en premier. L'article sur les effets d'ordre des questions explique le mécanisme.
Conséquence pour une enquête de suivi : le module tournant vient après le noyau fixe, jamais avant. Mettez le noyau au début, dans le même ordre, à chaque fois.
Changer de mode change les réponses
La façon dont une enquête atteint les gens fait partie de la mesure. En 2015, le Pew Research Center a publié une expérience où 3 003 répondants ont été répartis au hasard pour répondre aux mêmes questions, soit par téléphone avec un enquêteur, soit seuls sur le web. Sur 60 questions, l'écart moyen entre les deux modes était de 5,5 points, et certains écarts étaient bien plus grands. Au téléphone, 62 % se disaient très satisfaits de leur vie de famille. Sur le web, 44 %.
Le sens est constant : sans enquêteur qui écoute, les gens donnent moins de réponses socialement désirables. Des changements de mode plus modestes jouent de la même façon. Remplir une enquête sur un portable après un e-mail, ce n'est pas répondre à deux questions qui vous interrompent au milieu d'un produit. Si vous changez de canal, attendez-vous à ce que les chiffres bougent. Ce mouvement vient du canal.
Si une question doit changer, construisez un pont
Parfois une question est simplement mauvaise. Vous pouvez la modifier sans perdre l'historique. La méthode classique est une vague pont : pendant une vague, répartissez les répondants au hasard pour que la moitié voie l'ancienne version et l'autre moitié la nouvelle.
Les deux moitiés sont des échantillons aléatoires du même groupe, donc l'écart entre elles est l'effet de la formulation elle-même. Disons que l'ancienne question donne 68 % de satisfaits et la nouvelle 61 % dans la même vague. Vous savez alors que la nouvelle formulation sort environ sept points plus bas, et vous pouvez l'indiquer sur le graphique. Sinon, le lecteur croira que la satisfaction a chuté. Placez le pont dans une vague où la participation est bonne, car chaque moitié a besoin d'assez de répondants.
Sans pont, coupez la courbe là où la question a changé et signalez la rupture.
Gardez aussi la population constante
Des questions figées ne servent à rien si le groupe se déplace. La tendance casse quand même. Si la vague un est partie à tous les clients et la vague trois seulement aux clients connectés dans les 30 derniers jours, le second groupe est plus engagé par construction et obtient de meilleurs scores. Idem quand vous ouvrez un nouveau marché ou quand les RH comptent soudain les prestataires comme salariés.
Notez la règle d'échantillonnage avec autant de soin que les questions : qui est éligible, comment on sélectionne, quand on contacte. Suivez ensuite, à côté du score principal, le taux de réponse et la composition de chaque vague. Une hausse de satisfaction qui coïncide avec des nouveaux clients qui ne répondent plus est sans doute un changement dans qui a répondu. L'article sur la qualité de l'échantillon explique pourquoi les non-répondants façonnent vos résultats, et le guide sur la pondération des données d'enquête montre comment corriger un déplacement connu de la composition.
Panels et nouveaux échantillons répondent à des questions différentes
Pour répéter une enquête, vous pouvez tirer un nouvel échantillon à chaque vague, ou suivre les mêmes personnes dans un panel. Le premier montre comment la population évolue, le second comment les individus évoluent. Seul un panel permet de voir que les clients mécontents au printemps sont ceux qui sont partis l'été.
Les panels posent deux soucis. Le premier est l'attrition : des gens décrochent, et ceux qui restent sont rarement un sous-ensemble aléatoire. Le second est le conditionnement de panel, quand le fait d'être interrogé encore et encore sur un sujet change la façon dont les gens se comportent ou répondent. Le Pew Research Center l'a testé en 2021 sur son propre American Trends Panel. Il n'a trouvé aucun signe que le conditionnement ait biaisé ses estimations sur la consommation d'actualités, les discussions politiques, l'orientation partisane ou le vote. Seule exception, une légère hausse des inscriptions sur les listes électorales après l'entrée dans le panel. Rassurant pour un grand panel aux sujets variés, moins pour un petit panel sondé toutes les deux semaines sur la même fonction.
La fréquence est un choix de conception
Réglez la fréquence sur deux vitesses : celle à laquelle ce que vous mesurez peut vraiment changer, et celle à laquelle vous pouvez agir. Mesurer chaque semaine la confiance dans votre entreprise ne sert à rien : elle ne bouge pas si vite, et le bruit ressemblera à un signal. Interroger une fois par an sur un nouvel onboarding est trop lent, car vous l'aurez refait trois fois d'ici là.
La fréquence coûte aussi des réponses. Chaque invitation puise dans la même bonne volonté, et ceux qui soupçonnent que personne ne lit leurs réponses arrêtent de répondre. Et ceux qui continuent ne ressemblent pas à ceux qui partent. Gardez chaque vague courte. L'article sur la longueur d'enquête et l'abandon montre à quelle vitesse la qualité des réponses baisse quand une enquête s'allonge.
Distinguer un vrai changement du bruit
Même quand rien n'a changé, deux vagues donnent rarement le même chiffre, car chacune est un échantillon avec sa marge d'erreur. Et la marge d'erreur sur l'écart entre deux vagues est plus grande que celle de chaque vague prise seule.
Avec 400 répondants par vague et un résultat autour de 50 %, chaque vague a une marge d'environ ±4,9 points à 95 % de confiance. L'écart entre deux vagues de ce type a une marge d'environ ±6,9 points, parce que l'incertitude des deux échantillons s'additionne. Passer de 52 % à 56 % reste largement dedans. L'article sur le nombre de répondants nécessaires montre comment calculer ces chiffres pour votre propre enquête.
Attendez trois vagues ou plus avant d'annoncer une direction, car une vague isolée est bien plus souvent du bruit qu'une nouvelle. Et affichez le nombre de répondants à côté de chaque score : un saut sur un échantillon mince se voit alors tout de suite.
Tenez un journal des modifications du questionnaire
La protection la plus pratique est un simple journal des modifications de l'enquête elle-même. Chaque vague reçoit une entrée datée : le noyau, les modifications de formulation ou d'options, le canal, la règle d'échantillonnage, la période de terrain, le nombre de réponses et ce qui se passait à ce moment-là, par exemple une grosse mise en production ou une hausse de prix. Le score baisse en mars ? Le journal dit pourquoi.
Il sert aussi à qui analyse ensuite, humain ou IA. Si vous interrogez vos résultats via le serveur MCP de SurveyLane, l'assistant peut comparer les vagues, mais il ne peut pas savoir que la question a changé à la vague quatre si vous ne le lui dites pas. Le journal sert à ça.
Questions fréquentes
Puis-je corriger une faute de frappe dans une question suivie sans casser la tendance ?
Une simple lettre manquante se corrige sans risque. Tout ce qui change le sens, l'accent ou le rythme de lecture est un changement de formulation, aussi petit qu'il paraisse. En cas de doute, faites une vague pont ou signalez la rupture sur le graphique.
Combien de répondants faut-il pour une vague pont ?
Chaque moitié doit être assez grande pour estimer l'écart entre l'ancienne et la nouvelle formulation avec une précision utile. Avec quelques centaines de répondants par moitié, vous détectez des écarts d'environ dix points, et des effets de formulation plus petits demandent des groupes plus grands. Si votre vague habituelle est petite, étalez le pont sur deux vagues consécutives.
Faut-il comparer mes scores à des benchmarks du secteur ?
Seulement si le benchmark a utilisé la même question, la même échelle, le même mode et une population comparable. La plupart des benchmarks ne documentent pas ces détails, donc l'écart mélange la vraie performance avec des différences de mesure impossibles à séparer. Votre propre tendance dans le temps est en général la comparaison la plus fiable.
Ajouter des questions à une enquête de suivi pose-t-il problème ?
Non, si elles viennent après le noyau fixe et si l'enquête ne s'allonge pas au point de faire baisser la complétion et la qualité des réponses. Des questions placées avant le noyau changent son contexte, et une enquête plus longue change qui la termine, donc les deux peuvent déplacer les scores suivis de façon indirecte.
