Questions sur le comportement : ce dont les répondants se souviennent vraiment

"Combien de fois avez-vous contacté notre support au cours de l'année écoulée ?" On dirait une question factuelle avec une seule bonne réponse. Pour la plupart des répondants, ce n'en est pas une. Personne ne tient le compte de ses appels au support. Le chiffre que vous recevez a été fabriqué en quelques secondes, au jugé. Le répondant veut bien vous répondre. Le souvenir que vous lui demandez n'a simplement jamais été rangé sous la forme que votre question suppose.

Ce qui se passe entre votre question et la réponse

Les méthodologistes découpent l'acte de répondre en quatre étapes, un modèle que Roger Tourangeau, Lance Rips et Kenneth Rasinski ont décrit dans The Psychology of Survey Response (2000). Le répondant doit comprendre la question, retrouver les souvenirs utiles, en tirer un jugement, puis faire entrer ce jugement dans le format de réponse proposé.

Les questions de comportement butent sur la deuxième et la troisième étape. La récupération est trouée, et l'étape du jugement remplace discrètement le comptage par une estimation.

On estime, on ne compte pas

La mémoire ne tient pas de registre. Quand vous demandez "combien de fois", le répondant choisit une stratégie selon ce qui lui revient.

Scott Burton et Edward Blair ont étudié ces stratégies dans Public Opinion Quarterly en 1991. Pour un comportement rare, les gens énumèrent : ils se rappellent chaque épisode et additionnent. Pour un comportement fréquent, ils passent à un rythme, du genre "deux fois par semaine environ, donc à peu près huit par mois".

L'énumération oublie les épisodes sans relief et sous-estime. Le rythme décrit la routine habituelle et laisse de côté les exceptions : les deux semaines d'arrêt maladie, le mois où quelqu'un se connectait tous les jours pendant un projet. Dans vos données, vous obtenez quand même un chiffre propre.

Adaptez la période de référence au comportement

La période de référence est la fenêtre sur laquelle vous interrogez, par exemple "au cours des 7 derniers jours". C'est votre levier principal, et les équipes la choisissent en général pour qu'elle colle au rapport trimestriel.

Une règle qui tient la route : plus le comportement est fréquent et banal, plus la fenêtre doit être courte. L'ouverture de votre application, c'est une question sur 7 jours au plus. Résilier un abonnement, déménager ou déposer une réclamation, on s'en souvient un an plus tard, parce que ces événements sont rares et marquants.

"Combien de fois avez-vous utilisé la fonction de recherche au cours des 12 derniers mois ?" impose une estimation sur une année dont personne ne garde un souvenir aussi précis. "Sur les 7 derniers jours, combien de jours avez-vous utilisé la recherche ?", avec des réponses de 0 à 7, se compte réellement.

Une fenêtre courte a un coût : une semaine donnée peut être atypique pour une personne. Sur un échantillon raisonnable, ça se compense, et c'est en général le groupe qui vous intéresse.

Le télescopage fait entrer d'anciens événements dans la fenêtre

Même quand on se souvient d'un événement, on le date souvent mal. L'étude de référence est celle de John Neter et Joseph Waksberg, publiée en 1964 dans le Journal of the American Statistical Association. Dans une enquête sur les dépenses de travaux des ménages, les répondants déclaraient des travaux antérieurs à la période de référence comme s'ils en faisaient partie. On appelle cet effet le télescopage, comme un télescope qui rapproche les objets lointains.

Le télescopage vers l'avant gonfle le nombre d'événements marquants. Une mauvaise expérience avec le support vieille de quatorze mois atterrit souvent "dans l'année écoulée". Votre chiffre monte et rien dans les données ne vous dit pourquoi.

Comment borner la fenêtre

La parade de Neter et Waksberg était l'entretien borné. L'entretien précédent marque ce qui a déjà été déclaré, et le suivant ne compte que les nouveaux événements. L'idée marche aussi sans panel.

Accrochez la fenêtre à une date ou à un événement que les gens savent situer. "Depuis le 1er janvier" se juge plus facilement que "au cours des 10 derniers mois". "Depuis les nouveaux tarifs de mars" encore mieux, si vos répondants ont remarqué le changement.

Demandez d'abord la période longue, puis resserrez. "Avez-vous contacté le support au cours de l'année écoulée ?" suivi de "Et au cours des trois derniers mois ?" donne aux gens un endroit où ranger les événements plus anciens, pour qu'ils ne les tassent pas dans la fenêtre qui vous intéresse. Vous pouvez jeter la première réponse. Elle servait seulement à absorber les événements mal datés.

"D'habitude" et "la semaine dernière" sont deux questions différentes

"Combien d'heures par semaine passez-vous d'habitude en réunion ?" et "Combien d'heures avez-vous passées en réunion la semaine dernière ?" semblent interchangeables. Elles ne le sont pas.

"D'habitude" appelle l'estimation d'une semaine type, et la semaine type que les gens décrivent est une semaine idéalisée. La réponse glisse vers l'image qu'on a de soi. "La semaine dernière" renvoie à des jours qu'on peut en partie reconstituer, donc on compte un peu. Chaque réponse individuelle est plus bruitée. Sur l'ensemble de l'échantillon, elle est moins biaisée.

Choisissez en connaissance de cause. Pour classer des individus, "d'habitude" donne peut-être le signal le plus stable. Pour une moyenne fiable sur une équipe, interrogez sur une période récente précise et laissez l'échantillon lisser les semaines atypiques.

Vos catégories de réponse disent ce qui est normal

Dès que vous proposez des tranches, ces tranches modifient les réponses. Norbert Schwarz, Hans-Jürgen Hippler, Brigitte Deutsch et Fritz Strack l'ont montré en 1985 dans Public Opinion Quarterly. Ils ont demandé à des personnes combien de temps elles regardaient la télévision par jour. Un groupe avait une échelle allant de "jusqu'à une demi-heure" à "plus de 2 h 30". L'autre, une échelle allant de "jusqu'à 2 h 30" à "plus de 4 h 30".

Avec l'échelle haute, 37,5 pour cent déclaraient regarder la télévision 2 h 30 ou plus par jour. Avec l'échelle basse, 16,2 pour cent. Même population, même comportement, plus du double. Les gens lisaient le milieu de l'échelle comme la moyenne et se situaient par rapport à lui.

L'effet est le plus fort pour les comportements fréquents et mal mémorisés, que les gens estiment de toute façon. Une équipe produit qui propose "Moins d'une fois par semaine / 1 à 3 fois par semaine / 4 à 6 fois par semaine / Tous les jours / Plusieurs fois par jour" a déjà dit au répondant à quoi ressemble un usage normal.

Demandez un nombre, évitez les mots vagues

Pour un comportement qui se compte, un champ numérique ouvert est en général le meilleur choix. Il n'y a pas d'échelle sur laquelle s'ancrer, et vous pouvez regrouper les réponses comme vous voulez après coup. Fixez un maximum raisonnable et ajoutez une unité, comme "jours".

Si vous avez besoin de tranches, construisez-les à partir de vos propres données ou d'un pilote, et vérifiez qu'elles ne se chevauchent pas et ne laissent pas de trous. L'article sur la conception des questions à choix multiples détaille la mécanique. Où que vous placiez la catégorie du milieu, une partie des gens la prendra pour la norme.

Évitez les quantificateurs vagues comme options : "jamais, rarement, parfois, souvent, toujours". "Souvent" ne veut pas dire la même chose pour le café et pour le dentiste, si bien que deux personnes au comportement identique peuvent cocher des cases différentes. Les échelles vagues conviennent aux ressentis. Pour un comportement qu'on peut compter, demandez le nombre.

Attendez-vous à des chiffres arrondis

Les réponses numériques ouvertes ont leur propre travers : l'effet d'entassement, ou heaping. Quand on estime, on arrondit à des valeurs commodes. Les jours s'agglutinent sur 7, 14 et 30. Un histogramme de "combien de fois êtes-vous venu le mois dernier" montre des pics à 5, 10, 20 et 30 qui n'ont rien à voir avec le comportement réel.

Ces pics montrent qui a estimé. Présentez des médianes ou des fourchettes larges, car quelques grandes valeurs arrondies tirent une moyenne vers le haut. Et si la plupart des réponses tombent sur des chiffres ronds, votre période de référence est sans doute trop longue pour ce comportement.

Les questions filtres apprennent ce que coûte un "oui"

La structure habituelle d'une question de comportement, c'est un filtre suivi du détail. "Avez-vous contacté le support au cours des trois derniers mois ?" Si oui : "Combien de fois ?" et "À quel sujet ?" La logique conditionnelle rend cela facile, et ceux qui n'ont rien fait sautent les questions qui ne les concernent pas.

Il y a un effet secondaire. Quand une enquête pose plusieurs filtres, chacun suivi d'un bloc de questions, les gens comprennent vite qu'un "oui" rallonge l'enquête. Les méthodologistes appellent la suite motivated misreporting : les répondants disent "non" aux filtres suivants pour finir plus vite. La sous-déclaration augmente à mesure qu'on avance dans le questionnaire, précisément là où la fatigue fait déjà baisser la qualité, comme le décrit l'article sur la longueur des enquêtes et les abandons.

Une solution : posez d'abord tous les filtres, regroupés en une liste, et seulement ensuite les questions de suivi pour chaque "oui".

Ne demandez pas ce que vous mesurez déjà

Si vous avez des journaux d'utilisation ou un historique de tickets, l'enquête est le mauvais outil pour compter. Un nombre de connexions déclaré vous apprend surtout à quel point les gens estiment bien.

Servez-vous de l'enquête pour ce que les journaux ne montrent pas, par exemple pourquoi quelqu'un a fait quelque chose. Si vous voulez le comportement et l'attitude côte à côte, reliez la réponse à l'enregistrement que vous possédez déjà, et dites-le dans l'invitation. L'article sur l'anonymat et la confidentialité explique ce que vous pouvez encore promettre ensuite.

Testez comment les gens sont arrivés à leur chiffre

Pour voir tout cela, il faut interroger le processus. Dans un entretien cognitif, après une question de fréquence, demandez : "Comment êtes-vous arrivé à ce chiffre ?" Les réponses en disent long : "J'ai deviné", "J'ai pensé à une semaine normale et j'ai multiplié", "J'ai compté les fois dont je me souviens cet été".

Si la plupart décrivent un rythme alors que vous vouliez un comptage, raccourcissez la période de référence. S'ils citent des événements hors de la fenêtre, accrochez-la à une date. S'ils disent "J'ai pris celle du milieu", c'est votre échelle qui répond. L'article sur le prétest d'une enquête montre comment mener ces entretiens avec cinq à dix personnes avant le lancement.