Combien de réponses vous faut-il vraiment ? Taille d'échantillon et marge d'erreur

"Combien de personnes nous faut-il ?" Toute enquête commence par cette question, et la plupart des équipes y répondent le plus mal. La réponse honnête est un petit calcul, pas un nombre rond dont quelqu'un se souvient vaguement après une réunion. Faites-le bien et vous arrêtez de collecter dès que les données sont assez précises pour décider. Faites-le mal et vous arrêtez trop tôt, prenant le bruit pour un signal, ou vous courez après des milliers de réponses qui déplacent le résultat d'une fraction de point.

Plus de réponses achète de la précision, pas la vérité

La taille d'échantillon ne pilote qu'une seule chose : de combien votre estimation bougerait si vous tiriez un autre échantillon aléatoire de la même taille. On appelle ça l'erreur d'échantillonnage aléatoire. Elle rétrécit quand l'échantillon grandit, et collecter davantage ne répare rien d'autre.

Le biais, lui, reste intact. Si ce sont les mauvaises personnes qui répondent, un échantillon plus grand les mesure juste plus précisément. Prenez une enquête que seuls les ravis et les furieux acceptent de finir : elle ne s'améliore pas à 4000 réponses, elle rapporte le même chiffre biaisé avec un intervalle plus serré autour. Le guide sur qui remplit votre enquête et qui ne la remplit pas traite de savoir si vous avez les bonnes personnes. Lisez-le d'abord ; ce texte-ci traite seulement du nombre qu'il vous en faut.

Ce que la marge d'erreur mesure vraiment

La marge d'erreur est la demi-largeur de l'intervalle de confiance autour d'un pourcentage. Un sondage annonce 52 %, plus ou moins 3 points, à 95 % de confiance. Voici ce que cette phrase affirme : si vous répétiez le même échantillon aléatoire un grand nombre de fois, environ 19 intervalles sur 20, ici de 49 à 55 %, contiendraient la vraie valeur dans la population.

Deux avertissements l'accompagnent. Elle ne dit rien sur le fait que votre unique intervalle attrape ou non la vérité ; elle décrit le comportement de la méthode sur beaucoup de tirages. Et elle ne couvre que l'erreur d'échantillonnage. Une question orientée, une base cassée, les gens qui n'ont jamais répondu, rien de cela n'entre dans le chiffre. Le Pew Research Center l'explique dans ses travaux sur la variabilité des estimations d'enquête : le chiffre capte le bruit du tirage et laisse tranquille le biais du reste. Ne citez donc une marge d'erreur que si vous avez vraiment tiré un échantillon aléatoire.

Les trois molettes : confiance, marge et répartition

Trois entrées fixent le nombre, et vous les réglez toutes les trois avant qu'une seule invitation ne parte.

Le niveau de confiance dit à quelle fréquence vous voulez que la méthode tombe dans son intervalle sur le long terme. Le standard est 95 %, ce qui met le multiplicateur z à 1,96. Descendez à 90 % et z tombe à 1,645, ce qui vous coûte moins de réponses. Montez à 99 % et il grimpe à 2,576, ce qui coûte beaucoup plus.

La marge d'erreur est la précision sur laquelle vous pouvez agir. Plus ou moins 5 points suffisent pour une lecture grossière, plus ou moins 2 coûtent cher et, en interne, sont exagérés. Divisez la marge par deux et vous quadruplez à peu près l'échantillon : c'est la molette qui pilote le coût.

La répartition est la proportion que vous vous attendez à mesurer, notée p. La précision est la pire quand les avis se partagent également, à p = 0,5, car c'est là que la variance p(1-p) atteint son maximum. Vous connaissez rarement la réponse d'avance, alors planifiez à 0,5. Cela vous donne le plus grand échantillon possible, donc vous êtes couvert quoi qu'il revienne.

La formule, calculée une fois

Pour une proportion tirée d'une grande population, voici la taille d'échantillon qu'il vous faut :

n0 = z^2 * p * (1 - p) / e^2

z = 1,96   (95% de confiance)
p = 0,5    (pire répartition)
e = 0,03   (marge visée, 3 points)

n0 = 1,96^2 * 0,5 * 0,5 / 0,03^2
   = 3,8416 * 0,25 / 0,0009
   = 1067

Arrondissez toujours vers le haut : une demi-personne n'existe pas, et arrondir vers le bas casse en silence la garantie. Lancez la même formule à quelques autres marges :

e = 0,05  ->  n0 = 385
e = 0,03  ->  n0 = 1 068
e = 0,02  ->  n0 = 2 401
e = 0,01  ->  n0 = 9 604

Passer de plus ou moins 5 à plus ou moins 3 coûte environ 680 réponses ; passer de plus ou moins 3 à plus ou moins 1 en coûte 8500 de plus. Au-delà d'un certain point, la précision devient très chère très vite.

Ce 1068 à plus ou moins 3 explique pourquoi tant de sondages nationaux tournent autour de 1000 répondants, et la table de Pew le fixe à 1067 cas. C'est là que la précision devient assez bonne pour la plupart des décisions et que le pas suivant coûte plus qu'il ne rapporte. Donc 1000 est un bon défaut pour un chiffre phare sur une population, et la réponse universelle de personne : comparez des groupes ou resserrez la marge, et le bon nombre se déplace.

Le niveau de confiance coûte plus que vous ne croyez

Gardez la marge à plus ou moins 3 points et la répartition à 0,5, et regardez l'échantillon grimper :

90% de confiance (z = 1,645)  ->  n0 = 752
95% de confiance (z = 1,960)  ->  n0 = 1 068
99% de confiance (z = 2,576)  ->  n0 = 1 844

Passer de 95 à 99 % double presque le coût, pour une garantie dont une décision produit ou CX a rarement besoin. Pour le travail interne, 95 % suffit ; gardez 99 % pour là où se tromper coûte vraiment cher.

Petites populations : la correction qui économise des réponses

Tous les nombres ci-dessus supposent une population effectivement infinie. Quand elle est petite et connue et que vous atteignez chaque membre, il vous faut moins de réponses que ne le suggère la formule de base, car chaque réponse vous en dit proportionnellement plus. La correction pour population finie gère ça.

n = n0 / (1 + (n0 - 1) / N)

Cible : plus ou moins 5 points, donc n0 = 385

Population N = 2 000  ->  n = 385 / (1 + 384/2000)  = 324
Population N = 500    ->  n = 385 / (1 + 384/500)   = 218

Une enquête auprès des salariés d'une entreprise de 500 personnes n'a pas besoin de 385 réponses pour une marge de plus ou moins 5. Il lui en faut environ 218. Appliquez la correction et une cible qui semblait hors de portée redevient atteignable. Sautez-la et vous fixez un objectif intenable, puis vous lisez le manque comme un échec.

Le piège des sous-groupes

C'est là que la plupart des plans d'échantillonnage se défont en silence. La marge d'erreur que vous avez calculée appartient au groupe dont vous comptez les réponses. Découpez le total en segments et chaque segment porte sa propre marge, plus large, tirée par son propre effectif plus petit.

Imaginez une enquête à 1000 réponses avec un chapeau propre de plus ou moins 3. La région que vous voulez le plus comparer contient 40 personnes, et 40 réponses portent une marge de près de plus ou moins 15 points, donc tout écart entre deux segments pareils est surtout du bruit. Décidez quelles comparaisons comptent avant d'envoyer, dimensionnez la plus petite cellule sur une marge sur laquelle vous pouvez agir, et laissez le total en découler. Dimensionner le total d'abord et découper ensuite : voilà comment une enquête bien montée ne répond plus à sa propre question.

Pondération et grappes : l'effet de plan

La formule propre suppose un échantillon aléatoire où chaque réponse pèse pareil. Les vrais échantillons obéissent rarement. L'écart a un nom, l'effet de plan, noté deff : le facteur par lequel votre variance dépasse celle d'un échantillon aléatoire de même taille. Il gonfle le nombre de réponses à collecter.

La pondération en est souvent la cause. Quand vous pondérez pour redresser un échantillon déséquilibré, vous augmentez la variance de vos estimations, car une plus grande part de l'ajustement repose sur moins de gens. Pew note qu'empiler les variables de pondération élargit d'ordinaire la marge d'erreur. Un effet de plan de 1,5 signifie 50 % de réponses complètes en plus pour atteindre la précision promise par la formule simple. Si vous savez déjà que vous pondérerez fort, prévoyez un deff entre 1,3 et 2,0 et multipliez votre cible par lui. Le guide sur la pondération des données d'enquête traite du moment où elle en vaut la peine.

Des réponses complètes aux invitations : calculez à rebours

Le nombre que vous avez calculé, ce sont des réponses complètes, pas des invitations envoyées. Pour l'atteindre, divisez par le taux auquel les invitations deviennent des réponses complètes, et ce taux est souvent brutalement bas.

réponses complètes nécessaires = 1 068
taux d'achèvement attendu = 8%

invitations à envoyer = 1 068 / 0,08 = 13 350

Votre liste est plus petite que ça ? Trois leviers. Acceptez une marge plus large. Appliquez la correction pour population finie, si la population est vraiment fermée. Ou relevez le taux d'achèvement, le levier honnête. Une enquête plus courte est finie plus souvent, comme le montre le guide sur la longueur d'enquête et l'abandon, et l'invitation doit d'abord arriver dans la boîte de réception, ce que traite le guide sur la remise des invitations d'enquête. Une invitation dans le dossier spam est une non-réponse que vous avez causée, et elle compte pleinement dans ce calcul.

Estimer un chiffre n'est pas la même chose que détecter une différence

Dimensionner un échantillon pour estimer une proportion, c'est la version facile. En dimensionner un pour détecter une différence entre deux groupes, c'est une autre bête, et confondre les deux brûle des budgets de terrain.

Disons que vous voulez être sûr que 55 % diffère vraiment de 50 %, un écart de cinq points. Cela coûte à peu près 1500 réponses complètes dans chaque groupe, pas 1000 sur l'ensemble de l'enquête. Les écarts plus petits coûtent bien plus, un écart de deux points grimpe à des milliers par groupe. Décidez donc d'avance du plus petit écart qui changerait vraiment ce que vous faites, l'effet minimal détectable. Si un mouvement de trois points ne change aucune décision, ne payez pas pour le mesurer aussi finement. C'est pourquoi des trackers sous-dimensionnés annoncent trimestre après trimestre aucune variation significative : ils n'ont jamais été dimensionnés pour en attraper une qui compte.

Mettez le nombre à la fin, pas au début

La taille d'échantillon achète de la précision contre l'erreur d'échantillonnage aléatoire et rien d'autre. Une marge serrée sous un sondage web auto-sélectionné, c'est du théâtre : un intervalle étroit assis pile sur le mauvais chiffre. Réglez donc la population, vérifiez que la base l'atteint, écrivez des questions propres, et ne dimensionnez l'échantillon qu'après. Remontez un cas réel depuis l'exigence la plus dure, la plus petite comparaison : elle, l'effet de plan et votre taux d'achèvement décident du nombre d'invitations. Écrivez la note de limites avant l'arrivée des données, pour qu'un chiffre correct ne soit jamais survendu.