Qualité de l'échantillon : qui répond à votre enquête et qui non

Vous pouvez rédiger des questions parfaites, choisir les bonnes échelles et finir quand même avec des données qui décrivent les mauvaises personnes. Le problème n'est pas le formulaire. C'est qui l'a rempli. Chaque enquête tire ses réponses d'une partie des gens qui vous intéressent, et l'écart entre cette partie et l'ensemble abrite un biais discret. Un export propre de 4 000 réponses peut vous tromper plus que 400, parce que la taille cache que le même type de personne a répondu à chaque fois.

Un grand nombre de réponses n'est pas un échantillon représentatif

Le chiffre qui rassure, c'est le total. "On a 4 000 réponses." Ça semble suffisant. Mais la représentativité n'a rien à voir avec le nombre de gens qui ont répondu. Elle tient à savoir si les gens qui ont répondu ressemblent à ceux qui ne l'ont pas fait. La taille achète de la précision. Pas de l'exactitude. Si l'échantillon est biaisé, plus de réponses ne font que mesurer le biais plus précisément.

C'est l'erreur la plus courante dans les enquêtes maison. Vous envoyez une enquête de satisfaction à toute votre liste, quelques milliers de gens répondent, et vous rapportez la moyenne comme la voix du client. C'est en fait la voix du client qui ouvre votre e-mail et se sent assez concerné pour cliquer. Un vrai groupe. Pas votre base de clients.

Taux de réponse contre biais de non-réponse

Le taux de réponse est la part des invités qui ont terminé l'enquête. Il vaut la peine d'être suivi. Mais ce n'est pas lui qui décide si vos données sont fiables. Cela tient au biais de non-réponse : les gens qui se sont tus diffèrent-ils, sur ce que vous mesurez, de ceux qui ont répondu ?

Les deux divergent. Le Pew Research Center a documenté la chute des taux de réponse des enquêtes téléphoniques, de 36 % en 1997 à 9 % en 2012, puis à 6 % en 2018, tandis que le taux de contact tombait de 65 % à 27 % sur à peu près la même période. Et pourtant, des enquêtes à faible réponse menées avec soin et bien pondérées produisent encore des estimations assez justes. Un faible taux est un voyant d'alerte, pas un verdict, et le danger n'est pas que peu de gens aient répondu. C'est que les rares qui ont répondu diffèrent systématiquement des nombreux qui ne l'ont pas fait.

D'où vient votre échantillon : la base de sondage

Avant de pouvoir répondre, une personne doit être joignable. La base de sondage est la liste des gens susceptibles de recevoir votre enquête : votre liste d'e-mails, vos utilisateurs actifs, le panel que vous avez acheté, les clients dont vous avez un numéro. Chaque base exclut quelqu'un, et ces exclusions sont rarement aléatoires.

Si votre base est "les gens avec un e-mail dans notre CRM", vous avez déjà écarté tout client qui a acheté via un revendeur, payé sur facture ou s'est désabonné. Si c'est "les utilisateurs qui ont ouvert l'app ce mois-ci", vous avez écarté tous ceux qui sont partis, justement le groupe qu'une enquête de rétention doit entendre. Nommez votre base avant d'envoyer, et notez qui elle laisse dehors. Cette phrase est la limite honnête de toute affirmation que vous ferez ensuite.

Erreur de couverture : qui n'a jamais eu la chance de répondre

L'erreur de couverture est l'écart entre votre base et la population qui vous intéresse vraiment. Ce sont les gens que votre enquête ne pouvait jamais atteindre, quel que soit le taux de réponse. La version classique consiste à interroger "le grand public" via un canal qui penche d'un côté. Les panels web sous-représentent les gens plus âgés, moins connectés ou à plus faible revenu, et une enquête dans l'app manque tous ceux qui passent par le site.

L'erreur de couverture est dangereuse parce qu'elle est invisible depuis l'intérieur des données. Vous ne voyez pas les gens qui n'ont jamais été éligibles, alors comparez la base à ce que vous savez déjà de la population, et dites-le quand un canal ne peut pas atteindre un groupe que vous prétendez décrire.

Biais de non-réponse : qui avait la chance mais ne l'a pas saisie

Le biais de non-réponse est le cousin plus familier. Ces gens étaient dans votre base et ont reçu l'invitation. Ils n'ont simplement pas répondu, et leur silence n'est pas aléatoire. Qui répond est en général plus satisfait ou plus en colère que la moyenne, plus disponible et plus investi sur le sujet.

Une enquête produit sur-échantillonne vos utilisateurs experts et les récemment déçus, tandis que le milieu discret et peu engagé ne dit rien. Le billet sur le suivi de la qualité des réponses traite des mauvaises réponses qui arrivent bel et bien. La non-réponse porte sur les bonnes réponses qui n'arrivent jamais, plus difficiles à repérer parce que rien dans l'export ne les signale.

Échantillons de commodité et auto-sélection

Un échantillon de commodité, c'est qui était facile à atteindre : un lien sur votre page d'accueil, un sondage dans votre newsletter, une demande dans une communauté que vous animez déjà. L'auto-sélection est le même problème, le volume monté à fond, car lorsque participer est entièrement volontaire et visible, les gens qui se manifestent sont définis par leur motivation à se manifester, laquelle est corrélée aux opinions mêmes que vous mesurez.

Les échantillons de commodité servent à générer des hypothèses, à vérifier qu'une question est comprise et à repérer des problèmes d'utilisabilité. Ils ne servent pas à estimer une proportion dans une population ni à comparer deux groupes comme si l'écart était causal. La faute est de traiter leurs chiffres comme s'ils venaient d'un échantillon probabiliste. "62 % des répondants préfèrent le nouveau design" est un fait sur vos répondants. Cela devient un mensonge dès que vous retirez le mot "répondants" et laissez entendre que cela vaut pour tous vos utilisateurs.

Pondération : une correction, pas un remède miracle

La pondération ajuste vos résultats pour que les groupes sous-représentés comptent davantage et les surreprésentés moins, en visant des chiffres de population connus. Elle a ses limites, et une marge d'erreur affichée sous un sondage auto-sélectionné n'y change rien : cette marge ne décrit que l'erreur d'échantillonnage, jamais le biais de couverture ou de non-réponse. Si vous calculez des statistiques sur des échelles, le guide sur la conception des questions à échelle couvre le versant mesure du même problème. Si votre base de clients est à 55 % mobile mais que seuls 40 % de vos répondants le sont, vous pouvez remonter les réponses mobiles pour combler l'écart. Bien faite, elle retire le biais sur les variables que vous pondérez.

Les limites comptent autant que le mécanisme. La pondération ne corrige le biais que sur des caractéristiques mesurables dans votre échantillon et dont vous connaissez la vraie répartition dans la population. Elle ne fait rien contre le biais sur ce que vous n'avez pas mesuré, et elle ne peut pas inventer de répondants dans un groupe qui n'a fourni aucune réponse. Remontez à 20 % un groupe qui pèse 2 % de l'échantillon et une poignée de gens porte toute l'estimation : le bruit explose pendant que le biais baisse. C'est un vrai outil. Pas un lavage qui rend propre un échantillon cassé.

Augmenter la réponse honnêtement

La non-réponse grandit quand les gens qui sautent l'enquête diffèrent de ceux qui répondent, donc relever le taux de réponse aide surtout quand cela ramène les réticents plutôt que davantage d'enthousiastes. Les enquêtes courtes se terminent plus souvent, alors coupez toute question qui ne changera aucune décision. Une invitation claire d'un expéditeur reconnu bat une invitation vague, et la délivrabilité compte : une invitation dans le dossier spam est une non-réponse que vous avez causée.

Le timing et les rappels récupèrent les gens qui voulaient répondre et ont oublié. Des incitations modestes et universelles aident, tandis que des incitations liées au sujet ramènent le groupe biaisé que vous cherchiez à équilibrer. Un formulaire accessible compte aussi. Comme l'explique le guide des enquêtes accessibles, les répondants qui ne peuvent pas terminer avec un lecteur d'écran ou un téléphone deviennent des non-réponses silencieuses qui n'apparaissent jamais comme des erreurs.

Rapporter qui vous avez manqué

Le plus crédible dans un rapport d'enquête, c'est un énoncé clair de ses limites. Cela ne coûte rien et c'est la première chose que cherche un lecteur attentif. Indiquez la base, le taux de réponse et les groupes que vous savez sous-représentés. Si vous avez pondéré, dites sur quoi et vers quelle cible. Si c'était un échantillon de commodité ou auto-sélectionné, nommez-le et gardez le langage causal dehors.

Ce n'est pas de la précaution oratoire. Un décideur qui sait que l'enquête n'a touché que des utilisateurs engagés lira un score de 90 % comme "les utilisateurs engagés sont contents", pas comme "les clients sont contents". La même honnêteté vaut quand vous versez des réponses ouvertes dans un flux d'IA. Le guide de l'analyse d'enquêtes avec l'IA mérite d'être lu à côté de celui-ci, car un modèle résume joyeusement un échantillon biaisé en thèmes assurés et faux, sans jamais signaler qui manquait.

Une check-list avant l'envoi

Parcourez ceci avant que l'invitation ne parte. Nommez la population que vous voulez décrire et la base que vous échantillonnez vraiment. Listez les groupes que la base ne peut pas atteindre, et décidez si vous pouvez encore faire l'affirmation que vous visez. Confirmez que vous poussez l'enquête vers un échantillon défini plutôt qu'un lien ouvert, et que le formulaire marche sur un téléphone et avec un lecteur d'écran. Décidez sur quels chiffres vous pourriez pondérer. Puis écrivez le paragraphe des limites maintenant, avant de voir les résultats, pour qu'il décrive honnêtement la conception au lieu de défendre les chiffres obtenus par hasard.