Questions sensibles, réponses biaisées ? Le bulletin secret, une méthode innovante pour améliorer la qualité des données d’enquête

Des données biaisées à cause du caractère sensible des questions

Lorsque des questions d’enquête portent sur des comportements sensibles ou stigmatisés, les répondants ont tendance à donner la réponse socialement acceptable, même si elle ne reflète pas la vérité. Ce phénomène, connu sous le nom de biais de désirabilité sociale, est bien documenté en sciences sociales. Il conduit à une sous-estimation systématique de la prévalence des comportements sensibles et alimente des politiques publiques mal calibrées.

Pour contourner ce problème, les chercheurs et chercheuses en sciences sociales ont développé plusieurs méthodes indirectes. La plus utilisée est l'expérience de liste : on présente aux répondants une liste d'affirmations pouvant chacune être vraie ou fausse, et le répondant indique seulement combien d'affirmations sont vraies, sans préciser lesquelles. Les répondants sont répartis aléatoirement en deux groupes : un groupe reçoit une liste d'affirmations neutres, tandis que l'autre groupe reçoit la même liste à laquelle s'ajoute l'affirmation sensible. La prévalence du comportement sensible s'estime alors par simple différence des moyennes entre les deux groupes. Si cette méthode peut corriger efficacement le biais de désirabilité, elle souffre d'un défaut majeur : en dissimulant l'information individuelle dans un agrégat, elle génère des estimations très imprécises.

Le bulletin secret : une mesure anonyme et précise

L'étude de Jules Gazeaud, chargé de recherche CNRS au Cerdi , Bruno Crépon, chercheur à l’INSEE et membre du Crest , et Ahmed Elsayed, directeur général de J-PAL Middle East and North Africa (MENA) , propose une alternative à la fois anonyme et précise : le bulletin secret. Le répondant remplit une feuille de papier anonyme (sans nom, sans signature) que l'enquêteur collecte dans un sac transparent contenant les feuilles d’autres individus. La méthode tire sa force de sa simplicité et du fait que l'anonymat est rendu immédiatement visible et compréhensible pour le répondant. En voyant que sa feuille sera mêlée à celles des autres participants, il comprend intuitivement que personne ne peut identifier sa réponse, sans avoir à faire confiance à une promesse abstraite de confidentialité. Par ailleurs, contrairement à l'expérience de liste, le bulletin secret ne dissimule pas l'information individuelle : il se contente de la rendre non traçable. Cette propriété lui confère une précision statistique comparable à celle d’une question directe.

Un test en conditions réelles : l'Égypte et la migration irrégulière

Les trois chercheurs ont testé cette méthode dans le cadre d'une évaluation d'impact menée en Égypte, où 8 325 jeunes adultes participaient à une expérience randomisée portant sur des dispositifs d'aide à l'emploi. Ces dispositifs s'inscrivent dans le cadre d’une initiative européenne dotée de 5 milliards d'euros visant à réduire les flux de migration irrégulière de l’Afrique vers l'Europe en agissant sur leurs causes économiques dans les pays d'origine. La migration irrégulière vers l'Europe constitue précisément le type de donnée sensible que les répondants peuvent hésiter à divulguer à un enquêteur. Pour mesurer les préparatifs à la migration irrégulière des participants à l’étude, les chercheurs ont comparé le bulletin secret aux autres méthodes généralement utilisées (question directe et expérience de liste).

Les résultats montrent que la question directe sous-estime nettement la prévalence des préparatifs à la migration irrégulière chez les hommes (8,7 %), tandis que l’expérience de liste révèle une prévalence de 15,3 % mais avec des intervalles de confiance très larges. Le bulletin secret produit une estimation similaire à l’expérience de liste mais avec des intervalles de confiance beaucoup plus étroits. Ce gain de précision n'est pas anodin : lorsqu'il s'agit d'évaluer l'effet d'un programme, la puissance statistique devient déterminante. Le bulletin secret révèle ainsi que les dispositifs d'aide à l'emploi réduisent de 5 points de pourcentage les préparatifs à la migration irrégulière chez les hommes, là où l'expérience de liste, faute de précision suffisante, ne détecte pas d’effet.

Perspectives 

Le bulletin secret a été conçu pour les enquêtes administrées en face-à-face, contexte dans lequel la présence physique du sac et des feuilles rend l'anonymat immédiatement tangible. Une extension numérique de la méthode a également été testée, reposant sur deux questionnaires distincts, le second étant entièrement anonymisé (sans collecte de cookies, d'adresse IP, ni d'identifiant). Les résultats de ce test en ligne sont plus mitigés, suggérant que garantir la crédibilité de l'anonymat dans un environnement numérique demeure un défi méthodologique ouvert.

Cerdi

Crest