Réplicabilité et reproductibilité : les défis posés à la recherche scientifique

Quatre sessions plénières, intitulées « Réplicabilité et reproductibilité : de quoi parle-t-on ? », « Les données issues de l’expérimentation, de l’observation et leur traitement », « Le triptyque données/algorithmes/chaînes d’opération », « Impact sur les pratiques des chercheuses et chercheurs » et offrant une couverture large de ces thématiques centrales, ont été entrecoupées par deux tables rondes dont les objectifs étaient, dans un premier temps, d’offrir une première synthèse et de souligner les perspectives, puis de dégager des recommandations et bonnes pratiques.

Des présentations passionnantes et des discussions riches qui ont suivi se dessine, en premier lieu, le constat d’un paradoxe auquel est confronté la réplicabilité et la reproductibilité de la recherche (R&R par la suite). La Science Ouverte est désormais clairement déclinée en termes d’accès ouvert aux prépublications et publications scientifiques. Bien que l’accès ouvert aux données associées aux résultats de la recherche soit en bonne voie de normalisation, subsistent des obstacles (par exemple l’accès à des données confidentielles) qui rendent difficiles, voire impossibles, la R&R. De plus, trop peu de solutions organisant un accès ouvert aux algorithmes, codes et chaînes d’opération existent aujourd’hui, ce qui s’oppose frontalement aux efforts de R&R. C’est bien autour de la prise en compte conjointe de ces deux dimensions complémentaires (non seulement données mais également méthodes d’analyse de ces données), que s’articulent un certain nombre d’initiatives portées par des chercheuses et des chercheurs en Europe : les Reproducibility Networks, déjà constitués en Allemagne, Belgique, Italie, Suisse, aux Pays-Bas et au Royaume-Uni, etc., et en voie de constitution en France (le réseau Recherche Reproductible).

Ce constat d’un paradoxe, celui de l’urgence à organiser la R&R dans un contexte de déploiement de la Science Ouverte, mais aussi de la reconnaissance des obstacles à l’accès ouvert aux données et à leurs méthodes d’analyse s’opposant à la R&R, appellent des éléments de réponse. Il est clair qu’un premier effort épistémique est requis afin de clarifier au niveau conceptuel ce qu’est la R&R. En second lieu, une condition minimale mais sine qua non est d’organiser l’accès ouvert au triptyque données/algorithmes et codes/chaînes d’opération. Enfin, une préoccupation importante concerne l’accompagnement et la valorisation de l’impact de la R&R sur les carrières scientifiques. La réflexion du CNRS sur ces aspects, par nécessité transversale à l’ensemble de ses directions scientifiques, est en cours d’approfondissement et sera poursuivie de manière exigeante. Bien que le format de ce dossier ne permette pas la publication de l’ensemble des interventions lors du colloque du 8 septembre 2023, la sélection qui suit aborde plusieurs des dimensions au cours de la R&R.

Alexandre Hocquet présente dans sa contribution les différents visages que les notions de reproductibilité et réplicabilité peuvent revêtir selon les champs disciplinaires et leur variabilité dans le temps, en lien avec l’évolution des techniques. À une définition globalisante et abstraite de la reproductibilité, il invite à préférer une identification des consensus communautaires, en discussion perpétuelle, qui viennent disciplinariser les pratiques en créant les conditions de la confiance dans les résultats de recherche.

Kenneth Maussang se penche sur les enjeux spécifiques que soulèvent les questions de reproductibilité/réplicabilité dans le champ des recherches participatives. Lorsque des acteurs, individuels ou collectifs, qui ne sont pas des chercheurs professionnels contribuent en particulier à la collecte de données, la fiabilité de ces matériaux co-produits et la crédibilité des résultats de recherche associés appellent des précautions particulières et la mise en place de protocoles adaptés.

Sarah Cohen-Boulakia fait la distinction dans son article entre les concepts de reproductibilité empirique, reproductibilité statistique et reproductibilité computationnelle, chacune impliquant des conditions différentes de mise en œuvre. Elle fait aussi la distinction entre différents niveaux de reproductibilité des résultats de recherche : la répétition, la réplication, la reproduction et la réutilisation. Ces nuances sont importantes et permettent d’éclairer la crise de la reproductibilité que traverseraient à divers degrés depuis les années 2000 les différents champs de la recherche scientifique.

Christophe Pérignon et Christophe Hurlin présentent, quant à eux, le dispositif cascad (Certification Agency for Scientific Code and Data) proposant aux chercheurs un service de délivrance d’un certificat de reproductibilité des résultats de recherche présentés dans une publication. cascad peut notamment jouer un rôle de tiers de confiance pour effectuer des tests de reproductibilité sur des données confidentielles qui ne pourraient pas être librement diffusées ou partagées avec le comité de lecture d’une revue scientifique à laquelle un article est soumis.

Enfin, Héloïse Berkowitz fait de son côté le lien entre les questions de reproductibilité et la Science Ouverte, à partir de l’expérience du domaine des sciences de gestion. Elle montre notamment comment l’émergence de nouveaux dispositifs de publication en libre accès ouvre des opportunités de mieux partager les données associées aux résultats publiés, tandis que les incitations à faire évoluer l’évaluation de la recherche peuvent permettre de mieux reconnaître les efforts réalisés par les chercheurs pour favoriser la reproductibilité.

Lionel Maurel, Patrick Pintus, directeurs adjoints scientifiques, CNRS Sciences humaines & sociales