Pondérer les données d'enquête : corriger qui a vraiment répondu

Vous avez recueilli mille réponses et le mélange est faux. Deux tiers sont des femmes, les moins de 30 ans ont à peine répondu, une région deux fois plus que le reste. Les données sont réelles, mais elles ne ressemblent pas à la population que vous vouliez décrire. La pondération est l'étape où vous redressez ce déséquilibre après coup, en faisant compter certaines réponses plus que d'autres. Bien faite, elle ramène un échantillon biaisé vers la vérité ; faite à la légère, elle donne une fausse confiance dans des chiffres plus fragiles qu'ils n'en ont l'air.

La pondération vient après un échantillon qui tourne mal

La pondération n'est pas un premier geste. C'est une réparation. Plus tôt vous obtenez les bonnes personnes dans votre échantillon, moins vous avez à vous appuyer dessus, et c'est tout l'enjeu de la qualité de l'échantillon : qui remplit votre enquête et qui non. Mais un échantillon parfaitement équilibré, vous ne l'obtiendrez presque jamais, car certains groupes répondent plus volontiers que d'autres.

Si un groupe est sous-représenté parmi vos répondants, vous laissez chacune de leurs réponses tenir lieu de plus de gens. S'il est surreprésenté, vous baissez chaque réponse. Les totaux pondérés reflètent alors la composition de la population.

Ce qu'est vraiment un poids

Un poids est un multiplicateur sur chaque réponse qui dit pour combien de personnes de la population ce répondant compte. Dans une enquête non pondérée, chaque réponse a un poids de un et tout le monde compte pareil ; la pondération brise cette égalité exprès. Un répondant d'un groupe sous-représenté reçoit peut-être un poids de 1,8, et quelqu'un d'un groupe surreprésenté un poids de 0,6.

Supposons que les 18-29 ans soient 20% de votre population mais seulement 10% de votre échantillon. Pour corriger, vous donnez à chaque jeune répondant un poids d'environ deux, pour qu'en bloc ils portent la part de 20% qu'ils devraient avoir. Toute moyenne ou tout tableau croisé calculé ensuite utilise ces poids, donc les jeunes pèsent le double de leur nombre.

Poids de sondage contre poids d'ajustement

Deux raisons peuvent valoir un poids différent à une réponse, et il vaut mieux les distinguer. Les poids de sondage viennent du tirage lui-même. Si vous avez surreprésenté exprès un petit groupe pour en avoir assez à analyser, vous saviez que leur probabilité de sélection était plus haute, et le poids de sondage est juste l'inverse de cette probabilité.

Les poids d'ajustement sont ceux d'après coup, et c'est ce que la plupart des équipes entendent par pondération. La non-réponse a imposé ce déséquilibre que vous n'aviez pas prévu. Alors vous poussez l'échantillon vers des chiffres de population connus pour l'âge, le sexe, la région ou le diplôme. Les poids de sondage corrigent la façon de tirer, les poids d'ajustement corrigent qui a répondu, et une analyse sérieuse utilise souvent les deux.

La post-stratification : la correction la plus simple

Vous découpez la population en strates, des cases comme "femmes, 30-44, nord", vous calculez la part que chaque case devrait avoir, et vous repondérez vos répondants pour que chaque case atteigne sa part cible. Si vos données collent à la population sur les variables qui pilotent votre résultat, cela retire déjà beaucoup de biais.

La faiblesse, c'est la grille des cases. La post-stratification exige la distribution conjointe complète : vous devez connaître la part de population de chaque combinaison de chaque variable à la fois. Croisez trois ou quatre variables et vous obtenez des dizaines de cases, certaines avec une poignée de répondants ou aucune, qui reçoivent alors des poids énormes et instables. Elle reste propre sur une ou deux variables et se défait dès que vous en voulez beaucoup.

Le raking quand vous ne pouvez pas remplir chaque case

Le raking est le contournement, et c'est la méthode que font tourner la plupart des grandes enquêtes. Au lieu de la distribution conjointe complète, il ne lui faut que les marges : la répartition d'âge globale, celle du sexe, celle de la région, chacune à part. Il ajuste les poids pour qu'une marge colle, puis la suivante, et boucle jusqu'à ce que toutes collent en même temps. Son nom technique est l'ajustement proportionnel itératif.

L'équipe de méthodes du Pew Research Center appelle le raking, dans une étude de janvier 2018 d'Andrew Mercer, Arnold Lau et Courtney Kennedy, l'approche la plus courante justement parce qu'elle demande si peu : des proportions marginales par variable, que vous avez d'ordinaire, plutôt qu'un tableau croisé complet. Le prix, c'est que le raking colle à chaque marge sans garantir qu'une case conjointe donnée soit juste.

Le raking, en une boucle :
  mettre chaque poids a 1
  repeter jusqu'a stabilite :
    mettre les poids a l'echelle pour que les totaux AGE collent a la population
    mettre les poids a l'echelle pour que les totaux SEXE collent a la population
    mettre les poids a l'echelle pour que les totaux REGION collent a la population
  (chaque passe bouscule les autres ; apres quelques passes elles se stabilisent)

D'où viennent vos cibles de population

La pondération ne vaut jamais mieux que ses cibles, et chaque méthode ci-dessus suppose que vous connaissez les vraies parts de population. Tirez-les d'une source qui fait autorité, un recensement national ou des statistiques officielles ou une enquête de référence bien faite, et jamais d'une supposition ou des slides marketing d'un concurrent. Si vos cibles sont périmées ou fausses, la pondération ne répare pas vos données : elle les tire avec assurance vers la mauvaise réponse.

Cela décide aussi sur quelles variables vous pouvez pondérer. Vous ne pouvez corriger une variable que si vous l'avez mesurée dans votre enquête et avez un chiffre de population fiable pour elle, d'où le rôle habituel de l'âge, du sexe, de la région et du diplôme. Si ce qui biaise votre échantillon est une chose sans cible de population, vous ne pouvez pas pondérer dessus.

Le biais que la pondération ne touche pas

La pondération corrige les variables sur lesquelles vous pondérez, et elles seules. Si les gens qui ont ignoré votre enquête diffèrent de ceux qui ont répondu d'une façon que vos variables de pondération ne captent pas, elle laisse ce biais entier. Coller à la répartition d'âge et de sexe ne change rien au fait que, disons, les clients contents ont répondu et les mécontents ont supprimé le mail.

L'étude Pew le rend concret. Pondérer sur la seule démographie n'a réduit le biais que légèrement, et le vrai gain venait de variables plus proches de ce que l'enquête mesurait. La pondération ne remplace donc pas le fait d'atteindre les bonnes personnes, un point qui renvoie à comment votre invitation d'enquête arrive dans la boîte de réception et à l'échantillon lui-même. Si la non-réponse est mêlée à votre sujet, aucune repondération démographique ne vous sauve.

Le prix de la pondération : variance et taille d'échantillon effective

La pondération coûte de la précision. Quand les réponses portent des poids inégaux, vos estimations bougent plus que la taille brute ne le laisse croire, car quelques répondants lourdement pondérés pilotent désormais le résultat. On mesure cela par l'effet de plan, le facteur par lequel la pondération gonfle la variance : un effet de plan de 1,5 rend votre échantillon aussi précis qu'un aléatoire simple une fois et demie plus petit.

Ce rétrécissement a un nom : la taille d'échantillon effective, toujours plus petite que votre effectif réel.

taille d'echantillon effective  n_eff = (somme des poids)^2 / (somme des carres des poids)

Recueillez 1 000 réponses et pondérez-les fort, et votre taille effective tourne peut-être à 650. Calculez vos marges d'erreur sur ces 650, pas sur les 1 000 de la boîte : les annoncer comme propres, c'est exagérer votre propre précision.

Écrêter les poids extrêmes

Le remède, c'est l'écrêtage. Un seul répondant d'une case minuscule et sous-représentée peut finir avec un poids de 15, donc cette seule personne parle pour quinze et entraîne toute l'estimation si elle a répondu bizarrement. L'écrêtage plafonne les poids : ramenez tout ce qui dépasse 5 à 5, et aucune réponse seule ne peut dominer.

C'est un échange assumé. Plafonner un poids veut dire que cette case ne colle plus parfaitement à son chiffre de population, donc vous acceptez un filet de biais pour racheter de la stabilité : une estimation stable mais un peu à côté bat une estimation qui s'emballe sur un seul répondant. Fixez le plafond avant de regarder les résultats, pour que le choix soit une règle et non un coup de pouce vers la réponse espérée.

Pondérer les échantillons opt-in et en ligne

Les panels opt-in et en ligne sont plus durs qu'un échantillon probabiliste revenu simplement biaisé, car les gens qui s'y sont inscrits n'ont jamais été tirés au hasard, donc le déséquilibre va plus profond que la démographie. L'étude Pew a testé deux outils plus lourds. La pondération par propension modélise pour chaque répondant la probabilité d'être dans l'échantillon plutôt que dans la population, garde chaque cas, mais risque des poids fous et très variables. L'appariement associe chaque répondant à un semblable d'un échantillon de référence et jette ceux sans partenaire, ce qui rétrécit vos données.

Aucun n'est magique : la méthode compte moins que les variables. Ajouter des variables d'ajustement vraiment liées au résultat aide bien plus que tout algorithme malin sur la seule démographie, alors mettez votre effort à trouver et mesurer ces variables, puis pondérez dessus.

Pondérer sans se leurrer

Traitez la pondération comme une décision documentée, pas un bouton qu'on pousse à la fin. Notez les variables, les cibles de population et leur source, la méthode et toute règle d'écrêtage, tout cela avant de voir comment les poids déplacent votre chiffre clé. Rapportez ensuite le résultat pondéré et le non pondéré. S'ils divergent fort, cet écart est lui-même une trouvaille : votre échantillon était biaisé sur une chose qui compte, et les lecteurs méritent de savoir combien de votre conclusion repose sur les poids.

La pondération côtoie le filtrage des mauvaises réponses, traité dans repérer les réponses d'enquête de faible qualité, et elle rejoint le jugement que vous appliquez déjà à analyser les réponses ouvertes. Si vous explorez vos données en langage courant via analyser vos enquêtes avec l'IA, en sécurité, veillez à ce que les poids voyagent avec, pour qu'un résumé par IA reflète la population et non votre vivier brut de répondants.