Vignette (Photo © Inserm - Koulikoff, Frédérique/Pinci, Alexandra).

Un résultat négatif désigne une étude ne permettant pas de démontrer l’hypothèse initiale avec une puissance statistique suffisante [1]. Alors qu’ils participent au processus scientifique qui consiste à faire évoluer en permanence les connaissances, les résultats négatifs sont le plus souvent considérés comme un échec par les chercheurs qui préfèrent ne pas les publier. Cette pratique conduit dès lors à un biais de publication, appelé également « effet tiroir », par analogie avec le matériel laissé au fond du tiroir, hors de la vue du reste de la communauté scientifique. Pourtant tout résultat, même négatif, mérite d’être connu. Il est donc nécessaire de faire évoluer l’état d’esprit des auteurs, des experts relecteurs et des éditeurs, afin de valoriser aussi les études produisant des résultats négatifs.

Pourquoi peu de publications rapportant un résultat négatif sont-elles disponibles ?

Les freins à publier les études avec des résultats négatifs s’expriment à trois niveaux : individuel (le chercheur), communautaire (la communauté scientifique) et organisationnel (les comités éditoriaux des revues).

L’obtention d’un résultat négatif, surtout s’il est inattendu, est une source de déception pour l’auteur d’un travail scientifique. L’incitation à publier, popularisée avec l’adage « publish or perish », se ressent en effet tout au long de la carrière médicale et scientifique : chez le doctorant, pour obtenir sa thèse d’université ; chez le jeune médecin, pour obtenir le nombre de points SIGAPS [9] (→), prérequis pour participer avec des chances de succès à un concours hospitalo-universitaire [2] ; chez le chercheur senior, pour asseoir sa renommée ou pour une expertise en relation avec une thématique de recherche. En outre, les études aboutissant à des résultats négatifs ont nettement moins de chances d’être publiées. À titre d’exemple, sur 355 essais cliniques de différents essais vaccinaux publiés, seuls 2 % d’entre eux s’étaient achevés par des résultats négatifs [3]. Ce constat conduit naturellement à ne pas entamer le fastidieux processus de soumission concernant ces résultats, et à démarrer au plus vite de nouvelles études, tout en espérant obtenir, cette fois-ci, un résultat positif.

(→) Voir le Repères de L. Benoit, m/s n° 2, février 2022, page 215

Cette connotation péjorative des résultats négatifs est également perçue par les autres membres de la communauté scientifique, notamment ceux qui sont sollicités pour expertiser un article dans le cadre du processus d’édition des revues évaluées par les pairs (peer review). Cette expertise est censée être une critique indépendante, et ce d’autant plus que les rapports rendus par les évaluateurs sont le plus souvent anonymes. Cependant, les études concluant à un résultat négatif portant sur une thérapeutique ayant déjà fait ses preuves, sont jugées plus sévèrement et aboutissent le plus souvent à un refus de publication, quand bien même la méthodologie des auteurs est rigoureuse. C’est le concept sociologique de la preuve par l’exemple ou « effet de troupeau » : on préfère se ranger à l’avis général plutôt qu’émettre un avis divergent lorsqu’on doit juger un travail aux conclusions inattendues.

Enfin, la politique des revues, qui préfèrent publier des articles susceptibles d’être cités et d’augmenter ainsi leur facteur d’impact (impact factor, IF), concourt à la difficulté de valoriser des résultats négatifs. En effet, même publiés, de tels résultats ne seront presque jamais cités. Une étude portant sur l’impact du type de résultat (positif ou négatif) sur les citations ultérieures d’un article a en effet montré que les sciences biomédicales étaient plus particulièrement touchées par ce phénomène de biais de publication. Les articles présentant un résultat positif statistiquement significatif sont cités 1,6 (intervalle de confiance à 95 % : 1,3-1,8) fois plus souvent que les articles comportant des résultats qui n’atteignent pas la significativité statistique [4]. Les articles dans lesquels les auteurs concluaient explicitement à un résultat qui confortait leur hypothèse initiale, étaient cités 2,7 (IC95 : 2,0-3,7) fois plus souvent que ceux invalidant leur propre hypothèse. Des résultats de l’article positifs et l’impact factor du journal constituaient les plus importants facteurs favorisant la citation ultérieure de l’article [4].

Tous ces freins peuvent conduire les auteurs à un « triturage » de leurs données, qui consiste à sélectionner uniquement les éléments favorables à l’hypothèse initiale testée, ce qui revient parfois à « oublier » ou à transformer des résultats négatifs en résultats neutres, voire positifs. C’est le cas notamment de la pratique appelée HARKing (pour hypothesizing after the results are known), définie comme le fait de présenter une hypothèse post hoc dans l’introduction d’un rapport de recherche, ou d’un article, comme s’il s’agissait d’une hypothèse a priori. Une autre pratique, le p-hacking, correspond à l’isolement d’associations statistiquement significatives par le biais de comparaisons multiples ou déterminées a posteriori à partir d’un grand nombre de variables. Le risque de telles pratiques est une nouvelle fois d’occulter une partie des données issues d’une activité de recherche, tel un iceberg dont on ne verrait que la partie émergée.

Pourquoi est-il important de partager ses résultats négatifs ?

La difficulté, pour un chercheur, de publier ses résultats négatifs renvoie à la problématique de la restriction de la liberté de publication. Il existe là un réel risque de perte de fiabilité des connaissances publiées, celles-ci ne reflétant plus l’ensemble des données produites par la recherche, mais uniquement celles susceptibles d’être acceptées pour publication. Les pratiques évoquées ci-dessus vont ainsi à l’encontre du principe d’honnêteté développé dans le Code de conduite européen pour l’intégrité en recherche, qui promeut la transparence et l’objectivité de la recherche [5]. Un résultat négatif, surtout s’il est inattendu, mérite donc d’être connu car il peut s’agir des prémices d’un nouveau paradigme.

Un résultat négatif peut également conduire à identifier des traitements (en cours d’essai ou utilisés) qui se révèlent en fait inefficaces ; cette démarche de transparence est d’autant plus importante dans le cas des médicaments qui seront remboursés par l’Assurance maladie, alors qu’ils n’ont aucune utilité. Une méta-analyse, publiée dans le New England Journal of Medicine, a montré que sur 74 essais cliniques portant sur des antidépresseurs enregistrés auprès de la Food and Drug Administration (FDA) américaine, 51 ont été l’objet d’une publication ; 37 rapportaient des résultats positifs, et seuls 3 présentaient des résultats négatifs ou équivoques [6]. Les 11 autres essais avaient donné des résultats initialement négatifs ou douteux, mais, d’après les auteurs de la méta-analyse, ils ont été présentés de façon à être considérés par les revues comme des résultats positifs. Parmi les 23 études qui n’ont pas été publiées, une seule avait donné des résultats positifs, les 22 autres avaient conduit à des résultats négatifs. L’analyse complète des différents essais concluait ainsi à un taux d’essais « positifs » de 51 %, alors que, d’après la littérature publiée, un taux de positivité de 94 % était retrouvé [6]. On voit donc ici tout l’intérêt de présenter des résultats négatifs qui permettent de nuancer l’efficacité supposée d’un traitement.

La publication de résultats négatifs peut également permettre aux différentes équipes de chercheurs étudiant la même thématique de gagner du temps, afin de ne pas répéter les expériences pour examiner une hypothèse qui a déjà été invalidée par certaines équipes, mais qu’elles n’ont pas publiée. Outre la responsabilité envers ses collègues, le chercheur en a également une autre vis-à-vis de la société. Les conclusions de tout travail financé en totalité ou en partie avec des fonds publics devraient pouvoir être accessibles à l’ensemble de la communauté scientifique, afin de limiter des dépenses pour une recherche sans intérêt scientifique.

Quelles solutions proposer pour valoriser et diffuser un résultat négatif ?

Pour le chercheur, sa première démarche est de critiquer sa démarche expérimentale qui a conduit à l’obtention de résultats négatifs, en s’assurant que ceux-ci ne sont pas le fruit d’une méthodologie erronée, en raison d’effectifs (de patients, d’animaux) ou de réplicats (de cellules) trop faibles, de tests statistiques inappropriés par rapport aux variables étudiées, d’une puissance statistique insuffisante ou, même, de réactifs défectueux ou inadaptés. Cette réflexion préliminaire permet ainsi d’identifier les circonstances qui ont produit des résultats négatifs par manque de vigilance et par l’introduction de biais indésirables, en les distinguant de ceux, également négatifs, mais obtenus dans les règles de l’art.

Aujourd’hui, il apparaît ainsi primordial de former et d’informer les étudiants et les chercheurs sur l’intérêt des études produisant de tels résultats négatifs. Cela repose notamment sur la sensibilisation à l’intégrité scientifique, qui doit permettre d’aborder tout projet de recherche, en particulier clinique, sans a priori, c’est-à-dire sans s’attendre à ce que telle ou telle intervention soit plus efficace avant le début de l’étude. Notons ainsi la limite des travaux qui ont été conduits par des soignants-chercheurs qui ont évalué leur propre protocole de prise en charge des patients ou un traitement contre une maladie qu’ils avaient développé. Il aurait été, dans ce cas, nécessaire pour le soignant-chercheur de collaborer avec des pairs extérieurs, garants de l’objectivité de la recherche.

L’évolution, dans les instituts de recherche, des cahiers de laboratoires manuscrits vers un format électronique partagé permet également de disposer d’une véritable mémoire des protocoles utilisés par chaque chercheur d’une unité de recherche, permettant d’identifier les protocoles n’ayant pas abouti [7], mais aussi de faciliter la révélation de fraudes éventuelles.

En ce qui concerne les revues scientifiques, leur ligne éditoriale devrait tendre vers une valorisation des résultats négatifs. Outre les revues, telles que le Journal of trial and error, dédiées à la publication d’études sans résultat positif, il serait important de développer la diffusion de tels résultats dans des sections, ou des numéros spéciaux, de revues de rang A, les revues les mieux notées telles que Science ou Nature. L’importance des résultats négatifs est d’ores et déjà prise en compte dans plusieurs revues médicales à fort facteur d’impact : une analyse des articles originaux publiés en 1988, 1998 et 2008 dans The Lancet, le New England Journal of Medicine et le Journal of American Medical Association a en effet montré que le nombre d’études publiées dans ces revues ayant produit des résultats négatifs a plus que doublé au cours de ces 30 dernières années, passant de 10 % à 22 % [8].

Devant la production scientifique pléthorique actuelle, il est illusoire que toutes les études puissent être publiées. Le choix des études ayant des résultats positifs est donc privilégié, au détriment de celles ayant des résultats négatifs, en raison de problèmes liés à la publication elle-même (limite du nombre d’articles par revue). Les registres en ligne regroupant les essais cliniques (et les recherches concernant les personnes, les recherches génétiques en particulier), tels que ClinicalTrials.gov, devraient être en capacité de recueillir les résultats (la déclaration est quasi obligatoire s’il s’agit de recherche chez l’homme) et de rendre publiques les conclusions de ces travaux qui sont enregistrés mais non publiés.

La science ouverte, qui vise à rendre accessibles les données de la recherche scientifique à tous, en publiant l’intégralité des résultats obtenus dans une recherche, peut permettre une plus large diffusion des résultats, certes négatifs, mais souvent pertinents et informatifs dans le cadre d’une politique de « données ouvertes » !

Liens d’intérêt

L’auteur déclare n’avoir aucun lien d’intérêt concernant les données publiées dans cet article.

Remerciements

Ce travail a été effectué dans le cadre du cursus sur l’intégrité scientifique de l’ED 563 MTCI (Médicament, toxicologie, chimie, imageries). Je remercie l’équipe éthique, déontologie et intégrité scientifique (EPEDIS) de l’UFR des sciences fondamentales et biomédicales de l’université Paris Cité pour son tutorat.

Références

© 2022 médecine/sciences – Inserm