Les incitations achètent-elles de meilleures données, ou juste plus?
Une incitation augmente de façon fiable votre taux de réponse, mais ce n'est pas la même chose qu'un meilleur échantillon ou des réponses plus propres. Voici ce que dit la recherche sur l'argent contre les prix, le prépayé contre le promis, et où payer se retourne discrètement contre vous.
Par SurveyLane · L'équipe derrière SurveyLane
Offrez de l'argent et davantage de gens remplissent votre enquête. C'est acquis, et c'est aussi là que la réflexion s'arrête d'habitude. Les questions plus difficiles sont justement celles auxquelles une incitation ne répond jamais. Ces réponses en plus sont-elles les gens qui vous manquaient? Un taux de réponse plus élevé ressemble à une victoire sur le tableau de bord, mais qu'il soit une victoire pour vos données dépend de qui est venu pour l'argent, et de qui est resté quand même à l'écart.
Ce qu'une incitation paie vraiment
Une incitation achète de l'attention, pas de l'honnêteté. Elle fait remonter votre enquête dans la pile chez quelqu'un qui aurait autrement fermé l'onglet, en changeant le petit calcul privé que chaque destinataire fait entre l'effort demandé et ce qu'il en retire, le plus souvent un vague sentiment d'avoir aidé. Quelques euros, un bon d'achat, une place dans un tirage: chacun fait pencher l'échange.
Ce qu'elle n'achète pas, c'est une meilleure réponse à une question donnée. Quelqu'un de payé pour être là n'est pas plus sincère qu'un volontaire. Toute la valeur d'une incitation tient donc à une chose: attirer des gens qui diffèrent de vos volontaires empressés, et combler l'écart entre qui vous avez échantillonné et qui a réellement répondu.
Le prépayé bat le promis, et de loin
Le résultat le mieux établi ici concerne le moment, pas le montant. L'argent joint à la demande fonctionne bien mieux que l'argent promis à l'achèvement. Dans sa méta-analyse de 1993 parue dans Public Opinion Quarterly, Alan Church a réuni 38 expériences et a trouvé qu'une petite incitation en espèces glissée dans l'enveloppe relevait le taux de réponse des enquêtes postales d'environ 19 points de pourcentage en moyenne. Une incitation seulement promise au retour n'en ajoutait pas quatre, et seules les récompenses versées d'avance produisaient un effet statistiquement fiable.
Le mécanisme est social, pas économique. Une incitation prépayée est un petit cadeau, et un cadeau crée une légère obligation de rendre. L'argent promis à l'achèvement est une transaction, et quelques euros font un mauvais salaire pour dix minutes de travail, alors le destinataire évalue l'affaire et s'en va. Une pièce de deux euros scotchée à une lettre peut battre un dix promis versé seulement à la fin.
L'argent bat tout ce par quoi vous seriez tenté de le remplacer
Au choix, les gens valorisent l'argent plus qu'un cadeau de même valeur, et plus qu'un don en leur nom. Un stylo au logo, un porte-clés, un billet dans un tirage pour une tablette: tous font moins bien que de l'argent simple, car leur valeur pour le destinataire est incertaine et souvent inférieure au prix que vous avez payé. Si vous ne pouvez pas envoyer d'espèces, un bon inconditionnel qui se dépense comme de l'argent est le meilleur choix suivant. Plus vous vous éloignez de l'argent librement dépensable, plus vous cédez d'effet, alors méfiez-vous du tote bag.
Petit et prépayé bat grand et promis
Le rendement du montant décroît vite. Le saut de rien à une somme symbolique versée d'avance est grand; celui d'une somme symbolique à une somme généreuse est petit, et parfois invisible. Un montant modeste que tout le monde reçoit d'avance rend plus par euro qu'un gros montant que quelques-uns touchent à la fin, donc le design le plus rentable est en général une petite incitation prépayée à tout l'échantillon. L'exception est une demande lourde, une longue étude par journal, où une plus grosse somme ressemble à un paiement juste plutôt qu'à un coup de pouce.
Plus de réponses n'est pas un meilleur échantillon
Voilà le piège. Une incitation relève votre taux de réponse, et un taux plus élevé ressemble à moins de biais de non-réponse, alors il est facile de supposer que les gens en plus ont corrigé votre déséquilibre. Peut-être, ou peut-être ne sont-ils que davantage de la même chose. Si la récompense attire surtout les groupes que vous aviez déjà en abondance, votre taux grimpe et votre biais ne bouge pas.
Le biais de non-réponse ne dépend pas du nombre de gens qui ont refusé. Il dépend de l'écart entre ceux qui ont refusé et ceux qui ont répondu sur ce que vous mesurez. C'est le point même qui traverse qui remplit votre enquête et qui ne la remplit pas: une grosse pile de réponses n'est pas un échantillon représentatif. Une incitation ne se rentabilise que lorsqu'elle convertit les réticents et les indifférents, ceux dont l'absence courbait vos estimations.
Payer gâche-t-il les réponses?
L'inquiétude est légitime. Payez les gens et vous invitez des cocheurs de cases qui veulent la récompense et pas la conversation. Les données ne le confirment pour l'essentiel pas. Dans leur revue de 2013 parue dans The Annals of the American Academy of Political and Social Science, la synthèse de référence sur le sujet, Eleanor Singer et Cong Ye ont conclu que les incitations ont au plus de petits effets sur la qualité des données, et que les effets sur la composition de l'échantillon restent indécis, sans dommage démontré. Les répondants payés ne sont pas plus paresseux de façon fiable.
Ce n'est pourtant pas une raison de cesser de surveiller. Une incitation augmente le gain pour quiconque est prêt à foncer à travers des bêtises pour atteindre la récompense, et sur un panel ouvert cette pression est réelle. La défense consiste à garder actifs les contrôles que vous devriez déjà mener, la détection du straightlining, de la précipitation et des réponses copiées-collées que décrit surveiller la qualité des réponses. Ne laissez pas la peur de quelques lignes ratées démotiver la majorité réticente.
Le problème du répondant professionnel
Là où les incitations faussent vraiment, c'est à l'extrême: les panels en ligne dont les membres remplissent des enquêtes pour vivre. Ils optimisent la récompense par minute sur des dizaines d'études, apprennent à passer les contrôles d'attention et satisficent avec une aisance rodée.
Une incitation n'a pas créé cette personne, mais c'est l'eau dans laquelle elle nage, et un panel mal gardé s'en remplit vite. Si vous achetez à un panel, votre défense passe de la conception de la récompense au contrôle de la source: questions pièges, tests de cohérence et un œil sévère sur quiconque finit bien plus vite que la médiane.
Loteries et tirages sont moins chers, plus faibles, plus compliqués
Le tirage est populaire parce qu'il est bon marché: une tablette au lieu d'une pièce pour chacun. Il marche aussi moins bien. Une petite récompense garantie bat une chance infime sur une grosse, car un billet de loterie à espérance quasi nulle émeut peu de gens, et il lui manque toute la réciprocité d'un cadeau prépayé.
Les tirages traînent des complications que l'argent évite. Dans beaucoup de pays, ils comptent comme des jeux promotionnels, avec leurs règles sur les conditions et l'éligibilité. Et pour remettre le prix, vous devez identifier le gagnant, donc l'enquête anonyme porte désormais un nom et une adresse e-mail. Si vous avez promis l'anonymat, vous venez de le rompre. La frontière entre ce que l'anonymat et la confidentialité signifient vraiment est exactement là où un tirage fait trébucher.
Payez plus pour les difficiles à joindre, mais surveillez l'équité
Parfois les groupes réticents sont connus d'avance, et les payer davantage pour les faire venir peut être le bon geste, car vous dépensez là où cela réduit le biais. Cela a un coût: si les répondants découvrent que certains ont eu plus pour la même tâche, l'iniquité peut gâcher un panel que vous comptez réinterroger. Pour une coupe transversale unique, mieux payer les difficiles à joindre se défend. Pour un panel permanent, l'égalité protège la relation, et vous atteignez les réticents par des relances et par la conception.
Les incitations sur des vagues répétées
Dans une étude longitudinale, l'incitation n'est pas un coup de pouce unique. C'est le budget d'entretien d'une relation. Payez bien au recrutement et vous posez une attente. Baissez la récompense à une vague ultérieure et l'abandon grimpe, car les gens remarquent une dégradation plus vivement qu'ils n'avaient remarqué l'offre initiale. La bonne volonté qu'une incitation prépayée achète à la vague une doit être renouvelée, sinon le panel s'effrite chez les gens mêmes que vous payiez pour garder. La charge compte aussi: un panel qui paie bien et respecte le temps des gens en garde plus qu'un qui paie plus mais impose une corvée épuisante à chaque tour. La récompense et la longueur de l'enquête sont deux moitiés du même problème de rétention.
Le versant du consentement et de la vie privée
Récompenser un répondant veut presque toujours dire l'identifier. Vous ne pouvez pas envoyer un bon à une session anonyme, donc dès que vous attachez une récompense, vous avez lié une personne à ses réponses, assez longtemps pour payer. Ce lien est une donnée personnelle: il lui faut une base légale et une durée de conservation, et il doit être coupé des réponses une fois le paiement passé, si vous avez promis la confidentialité. Concevez donc le chemin de paiement pour qu'il reste séparable: collectez les coordonnées de versement hors de la ligne des réponses, et supprimez-les à échéance. Le cas d'échec est un flux d'incitation qui ré-identifie en douce une enquête que vous aviez dite privée, ce qui nuit à la confiance plus que l'incitation n'a jamais rapporté.
Un point de départ raisonnable
Vous voulez un point de départ, pas un programme de recherche? Pour une enquête unique vers votre propre liste, une petite récompense prépayée ou inconditionnelle à tous rapporte plus qu'un gros prix promis à quelques-uns, et elle tient vos promesses sur l'identité. Surveillez la poignée qui n'est venue que pour l'argent, et jugez le succès à ce que les groupes réticents aient bougé, pas au seul taux de réponse. Gardez les gros montants pour les demandes lourdes. Pointez la récompense sur cette seule tâche, convertir les gens dont le silence faussait vos résultats, et c'est de l'argent bien dépensé. Pointez-la sur le taux pour lui-même, et vous payez pour faire briller un chiffre de vanité.
Questions fréquentes
Faut-il payer l'incitation avant ou après que quelqu'un remplit l'enquête?
Avant, partout où vous pouvez l'organiser. Une petite récompense jointe à l'invitation bat une plus grosse promise à l'achèvement, car la version prépayée agit comme un cadeau tandis qu'un paiement promis se lit comme un salaire. La méta-analyse de Church a trouvé que l'argent versé d'avance relevait la réponse plusieurs fois plus que les récompenses promises, et seule la forme prépayée produisait un effet fiable. À défaut, un montant symbolique versé d'avance rend déjà plus par euro qu'une grosse somme après coup.
Offrir de l'argent fait-il donner de moins bonnes réponses?
Le plus souvent non. La revue de Singer et Ye a trouvé au plus de petits effets sur la qualité des données et aucun dommage clair à la composition de l'échantillon. Le vrai risque tient aux répondants professionnels des panels ouverts qui foncent pour la récompense, pas à votre public qui reçoit un modeste merci. Gardez donc les contrôles habituels actifs: repérez les précipités, les straightliners et les réponses copiées-collées, payés ou non.
Un tirage vaut-il autant que donner à chacun un petit montant?
Le plus souvent non. Une petite récompense garantie bat une chance infime sur un gros prix, car un billet de loterie à espérance quasi nulle émeut peu de gens. Les tirages entraînent aussi des obligations légales, et ils vous forcent à identifier un gagnant, ce qui peut rompre en douce une promesse d'anonymat. Ils méritent leur place surtout quand vous ne pouvez rien envoyer à tous.
Un taux de réponse plus élevé signifie moins de biais, non?
Pas en soi. Le biais de non-réponse dépend de l'écart entre ceux qui ont refusé et ceux qui ont répondu, pas du nombre de refus. Une incitation qui récompense surtout des groupes déjà bien représentés relève le taux sans toucher au déséquilibre. Elle n'aide que lorsqu'elle convertit les réticents dont l'absence courbait vos estimations, alors jugez-la à ce que les groupes difficiles à joindre aient bougé.
