Reproductibilité, Photoshop, et disciplinarisation collective

L’intérêt relativement récent des scientifiques pour les questions de reproductibilité (sur fond de discours de crise) peut sembler étonnant pour les historiens, sociologues, anthropologues et philosophes des sciences qui se sont penchés sur ces questions il y a plusieurs décennies, montrant par exemple l’omniprésence de savoirs tacites (c’est-à-dire non-formalisables) dans les pratiques scientifiques et leur influence sur la difficulté à reproduire des expériences1 . S’il est vrai que la « crise de la reproductibilité » est plus médiatique qu’épistémique (nous n’étions pas plus reproductibles avant la crise), il est aussi vrai que les pratiques scientifiques sont en constante évolution. La crise a au moins un effet positif : elle oblige à se pencher sur ces pratiques de recherche, leurs dynamiques, et à chercher à les améliorer.

Les visages multiples de la reproductibilité

Plutôt que de s’embarquer dans des définitions de termes comme reproductibilité ou réplicabilité (qui peuvent être contradictoires d’une communauté à l’autre), il est plus pertinent de s’intéresser à différents visages de la reproductibilité. La philosophe des sciences Sabina Leonelli2 s’appuie sur différentes caractéristiques comme le degré de contrôle sur les conditions expérimentales, le degré de dépendance dans les statistiques et/ou l’automatisation et le degré de dépendance dans le jugement des chercheurs et chercheuses, pour dessiner un portrait-robot des différentes façons d’envisager la reproductibilité.

La direct experimental reproducibility correspond à un contrôle élevé sur les conditions expérimentales, une dépendance élevée dans les outils statistiques, et une influence faible du jugement des chercheurs et chercheuses. Ceci concerne par exemple les essais cliniques en médecine. À l’opposé du spectre, la reproducible expertise concerne par exemple l’archéologie. L’idée est que des chercheurs et chercheuses différentes seraient capables de retrouver des résultats similaires parce qu’elles ou ils partagent une formation, des méthodes, donc une expertise commune.
Le problème est que le discours de crise sur la reproductibilité s’intéresse majoritairement à la première catégorie au détriment des autres. La reproductibilité à laquelle on aspire, c’est bien souvent celle qui est médiatisée par les échecs de reproduction dans les essais cliniques, par les discours de la métascience, et plus généralement par l’ensemble des discours promouvant une vision de la science unifiée essayant d’appliquer un gold standard à une diversité de pratiques scientifiques pour lesquelles reproductibilité peut vouloir dire des choses différentes.

Les visages multiples de l’électrophorèse

Prenons l’exemple de l’électrophorèse sur gel. Tous les biologistes moléculaires savent non seulement que cette technique est un outil pratique et très répandu pour séparer des biomolécules mais aussi qu’elle est à l’origine de nombreux scandales de « photoshoppage » d’images. En deux mots, une électrophorèse consiste à séparer des macromolécules sous l’action d’un champ électrique, en solution dans un gel, leur mouvement étant plus ou moins rapide selon leur poids moléculaire et leur charge, ce qui permet de les caractériser avec un révélateur adéquat et un témoin. Il existe une très grande variété de types d’électrophorèse. C’est une technique qui est devenue omniprésente, ce qui a permis une myriade d’applications différentes selon les molécules étudiées, et l’ouverture d’un marché industriel via une standardisation des protocoles.

Dans cette famille de techniques, s’intéresser à deux versions idéales-typiques d’électrophorèse sur gel permet de caractériser des pratiques scientifiques très différentes quant aux images produites puis publiées. Dans la version la plus répandue, on prend une photo du gel pour confirmer la présence ou non d’une protéine. C’est la SDS-PAGE, une manipulation de routine (voir figure 1). Une version plus sophistiquée consiste à faire une électrophorèse différentielle en deux dimensions (2D-DIGE). Cela demande d’investir dans un instrument industriel correspondant. La production d’images y est automatisée à l’intérieur de l’appareil et, de fait, plusieurs gels sont effectués pour réaliser un traitement statistique, et densitométrique, ce qui introduit la possibilité d’analyses quantitatives (voir figure 2).

Il ne s’agit pourtant pas que d’une différence de sophistication : dans la SDS-PAGE, l’image est un témoin (de la présence ou non d’une molécule). Dans la 2D-DIGE, l’image est une accumulation de données. Les statuts et fonctions de l’image sont donc différents3 . Dans le cas de la SDS-PAGE, le savoir-faire de l’expérimentateur est crucial non seulement dans la réalisation du gel mais aussi dans le jugement de ce qui fera un bon gel. Pour publier l’image, il est ainsi parfaitement normal de la découper, jouer sur le contraste, enlever des tâches superflues avant de la soumettre pour publication. C’est ce travail qui permettra au lecteur de comprendre le sens à donner à l’image. C’est une pratique classique, mais tacite, de transformation d’un résultat en preuve4 , pratique qui est invisibilisée dans une publication ou une conférence et qui ne posait d’ailleurs pas spécialement de problème avant la numérisation des images.

Dans le cas de la 2D-DIGE, l’image, nativement numérique, est le produit automatisé d’un traitement du signal par des procédures statistiques, à l’intérieur de l’instrument, un traitement souvent opaque mais garanti par un standard industriel. Pour la SDS-PAGE, lors du passage au numérique au tournant du millénaire, les pratiques de retouche sont transférées de la paillasse à Photoshop. Le problème de Photoshop est sa réputation de falsification. Pourtant, il n’est pas si surprenant qu’un logiciel dont le design même (ciseaux, pinceau, gomme…) appartient au domaine de la retouche remplisse le même rôle, à l’ère numérique, que les outils physiques utilisés jadis à la paillasse pour l’embellissement des images, c’est-à-dire leur transformation de résultat en preuve.

Disciplinarisation collective

Le concept de disciplinarisation collective peut aider à comprendre la différence de confiance. Il s’agit d’un processus qui permet d’expliquer la stabilisation de pratiques collectives liées à l’adoption d’une technique expérimentale ou d’un instrument5 . Elle implique non seulement une légitimation des pratiques, la construction d’un consensus, mais aussi la définition de ce qui est déviant. Elle est incarnée par un entremêlement de pratiques régulatoires (par exemple, les recommandations aux auteurs et autrices des revues préconisant un certain format de données), de pratiques industrielles (par exemple, la mise sur le marché d’instruments répondant à une attente de recherches quantitatives), et de pratiques tacites (par exemple, l’évolution du traitement du signal à l’intérieur de l’instrument en 2D-DIGE, ou le traitement numérique des images par Photoshop en SDS-PAGE).

Dans le cas de la 2D-DIGE, on assiste à un développement instrumental associé au développement de recherches quantitatives, ce qui a favorisé un standard industriel et la production d’images nativement numériques. Les méthodes d’interprétation statistique associées permettent la comparaison des données numériques constituant les images. L’expertise technique est collectivement partagée et largement automatisée. La confiance dans les images produites est en ce sens le résultat d’un processus de disciplinarisation collective.

Dans le cas de la SDS-PAGE, les traitements statistiques sont absents, l’image produite est unique. Des critères esthétiques participent à la construction de son exemplarité. Avant le tournant numérique, ces pratiques de transformation de résultats en preuve étaient consensuelles. Avec l’adoption de Photoshop (lesté de sa réputation) et en l’absence de formation collectivement définie dans le traitement numérique des images, l’expertise requise, c’est-à-dire le jugement des chercheurs et chercheuses, n’est plus valorisée. Ces pratiques deviennent suspectes. La traçabilité des pratiques de production d’images devient alors difficile et génère de la méfiance.

Ce qui est intéressant, c’est que l’on est en présence de deux visions de la reproductibilité complètement différentes à l’intérieur même d’une famille de techniques expérimentales. Dans le cas de la 2D-DIGE, c’est la comparabilité qui est importante. Nous sommes en présence d’une vision de la reproductibilité correspondant à ce que Leonelli appelle la direct experimental reproducibility, le gold standard. Dans l’électrophorèse SDS-PAGE, c’est la traçabilité qui est importante : on exige d’être certain de la provenance de l’image, que l’image n’est pas manipulée. Et on est typiquement dans une vision de la reproductibilité qui dépend de l’expertise du chercheur.

Évidemment, c’est dans le deuxième cas que tous les scandales de rétractations éclatent à cause d’accusations de « photoshoppage » (voir figure 3). L’ironie, c’est que ces accusations interviennent souvent plus de dix ans après la publication des articles. D’une part, les forums comme Pubpeer ou X permettent de discuter collectivement d’articles au-delà du cercle des pairs, et d’autre part, les progrès récents en Photoshop forensics font que des manipulations indétectables dans les années 2000 sont détectées aujourd’hui. Nous sommes donc ici dans un cas curieux où la disciplinarisation définit rétrospectivement ce qui est déviant.

Un gros défaut du gold standard de reproductibilité appliqué sans discernement est de rendre floue la frontière entre pratiques usuelles et vraie fraude (qui existe bien sûr, le but n’est ici pas du tout de dédouaner la fraude). Mais justement, ce gold standard, en imposant une vision de la reproductibilité monolithique et donc parfois inapplicable, empêche de s’intéresser aux pratiques de près pour pouvoir discerner ce qui constitue effectivement une fraude.

Confiance plutôt que reproductibilité

En ligne avec la position de Sabina Leonelli, cet exemple participe à l’idée qu’une vision englobante et générale de la reproductibilité ne rend pas justice à la diversité des pratiques scientifiques et peut même être contre-productive si elle est appliquée sans discernement. Si l’on veut prendre en compte l’épaisseur des pratiques scientifiques, il faut même ajouter la prise en compte non seulement de leur diversité mais aussi de leurs dynamiques historiques.

Dans ce but, la question de la confiance apparaît plus pertinente que celle de la reproductibilité. Elle invite à interroger les façons dont des pratiques peuvent être collectivement disciplinarisées donc stabilisées et partagées. Ici, la confiance dans les images d’électrophorèse s’exprime en termes de comparabilité d’un côté et traçabilité de l’autre, notions qui ne sont pas superposables à celle de reproductibilité, mais qui gravitent autour d’elle en période de crise.

Texte sous licence CC-BY-SA

• 1Collins H. M. 1992, Changing Order: Replication and Induction in Scientific Practice, University of Chicago Press.
• 2Leonelli S. 2018, “Rethinking Reproducibility as a Criterion for Research Quality”, in Fiorito L., Scheall S., Suprinyak C. E. (eds.), Including a Symposium on Mary Morgan: Curiosity, Imagination, and Surprise, Research in the History of Economic Thought and Methodology 36B : 129–146, Emerald Publishing Limited. https://doi.org/10.1108/S0743-41542018000036B009.
• 3Callaerts N., Hocquet A., and Wieber F. 2023, ‘Conducted Properly, Published Incorrectly’: The Evolving Status of Gel Electrophoresis Images Along Instrumental Transformations in Times of Reproducibility Crisis, Berichte Zur Wissenschaftsgeschichte 46 (2–3):33–58. https://doi.org/10.1002/bewi.202200051.
• 4Amann K., Knorr-Cetina K. 1988, The Fixation of (Visual) Evidence, Human Studies 11, n° 2–3: 133–169. https://doi.org/10.1007/BF00177302
• 5Cambrosio A., Keating P. 2000, Of Lymphocytes and Pixels: The Techno-Visual Production of Cell Populations, Studies in History and Philosophy of Biological and Biomedical Sciences 31, n° 2: 233–270. https://doi.org/10.1016/S1369-8486(99)00037-0

AHP-PreST