Issue |
Med Sci (Paris)
Volume 38, Number 2, Février 2022
|
|
---|---|---|
Page(s) | 215 - 217 | |
Section | Repères | |
DOI | https://doi.org/10.1051/medsci/2022006 | |
Published online | 18 February 2022 |
Qui veut gagner des points SIGAPS ?
Who wants to be a SIGAPS millionaire?
1
Service de chirurgie cancérologique gynécologique et du sein, hôpital européen Georges-Pompidou, AP-HP, 20 rue Leblanc, 75015 Paris, France
2
Inserm UMR-S1124, Toxicologie-pharmacologie et signalisation cellulaire, 45 rue des Saints-Pères, 75006 Paris, France
3
Université Paris Descartes, 45 rue des Saints-Pères, 75006 Paris, France
Afin de promouvoir la recherche en santé, le ministère des Solidarités et de la Santé a fait appel à un logiciel permettant de noter les médecins en fonction en leur production scientifique : les points SIGAPS (Système d’interrogation, de gestion et d’analyse des publications scientifiques). Ces points (entre 1 et 32 points) sont attribués aux auteurs de publications après la parution de leur article, selon la qualité de la revue dans laquelle ils publient (fondée sur son facteur d’impact) et selon leur rang dans la liste des auteurs. Ces points seront ensuite transformés en une somme d’argent qui sera perçue pendant 4 ans par l’établissement de santé auquel ils sont rattachés (1 point correspondant à 648 euros environ). Mais cette « rémunération à l’acte de recherche » ne pousse-t-elle pas les médecins à publier plus rapidement et surtout à tout prix, quelle que soit la qualité de leur recherche ?
Abstract
In order to promote biomedical research, the French ministry of Solidarity and Health has developed a software that is used to rate medical doctors according to their scientific production: the SIGAPS points (System of Interrogation, Management and Analysis of Scientific Publications). These points (1-32 points) are attributed after the publication of a scientific paper according to the quality of the journal (based on the impact factor) and the doctor’s rank among the authors. These points are then transformed into a sum of money received by the health facility (1 point = approximately 648 euros), 4 years in a row. Does this “fee-for-service” encourage doctors to publish quickly at any price, regardless of the quality of their research?
© 2022 médecine/sciences – Inserm
Article publié sous les conditions définies par la licence Creative Commons Attribution License CC-BY (http://creativecommons.org/licenses/by/4.0), qui autorise sans restrictions l’utilisation, la diffusion, et la reproduction sur quelque support que ce soit, sous réserve de citation correcte de la publication originale.
Vignette (Photo © Inserm - Koulikoff, Frédérique/Pinci, Alexandra).
Comment valoriser la recherche en santé ?
En 2006, le ministre des Solidarités et de la Santé français lançait une réforme des modalités de financement des missions d’enseignement, de recherche, de référence et d’innovation (MERRI) des établissements de santé. Il cherchait ainsi à promouvoir la recherche dans ces établissements. Mais comment les encourager à poursuivre cette activité ? La réponse était apparue, pour le ministère, simple… Il suffit de les rémunérer.
Le logiciel SIGAPS (Système d’interrogation, de gestion et d’analyse des publications scientifiques) a été expérimenté en 1998 puis appliqué en 2002 au centre hospitalier de Lille [1]. Ce logiciel permet de recenser, à partir des bases de données bibliographiques (PubMed et Web of Science), les publications scientifiques qui sont identifiées selon l’affiliation qui y est notifiée. Elles sont ensuite validées par les auteurs, personnels hospitalo-universitaires (HU) ou chercheurs, afin de calculer les points qu’ils ont acquis. Fort de l’expérience réalisée à Lille, le ministère a décidé de généraliser l’utilisation de ce projet SIGAPS à l’ensemble des établissements hospitalo-universitaires comme outil de tarification de la production scientifique. Un établissement sera ainsi rémunéré en fonction des publications scientifiques qui auront été identifiées par SIGAPS, afin de valoriser l’activité de recherche de l’établissement : une « rémunération à l’acte », donc [2].
Comment fonctionne le système SIGAPS ?
Lors de la publication d’un article scientifique, un médecin-chercheur (ou un chercheur) peut prétendre à un certain nombre de points. Celui-ci dépendra de son rang de signature et de la notoriété de la revue dans laquelle il publie. Le rang de publication de l’auteur sera ainsi traduit en points : 4 points s’il est premier ou dernier auteur ; 3 points s’il est second ; 2 points s’il est troisième ou avant-dernier ; et 1 point pour les autres places. Les revues sont regroupées par spécialité (gynécologie, anesthésie, oncologie, etc.) en plusieurs catégories selon leur « qualité », donnée par leur facteur d’impact (impact factor [IF]). Elles sont ainsi classées en rangs : A pour le premier quart ; B pour la première moitié ; C pour les suivants, jusqu’à E. Le rang de la revue sera transformé en un certain nombre de points : 8 points pour les revues classées A ; 6 points pour les revues B ; 4 points pour les revues C ; 3 points pour les revues D ; 2 points pour les revues E. Les revues non classées recevront 1 point.
Le nombre de points obtenu par la revue est ensuite multiplié par le nombre de points donné selon le rang de l’auteur. Par exemple, le Dr X, qui publie en premier auteur (soit 4 points) dans une revue de rang A (soit 8 points) recevra 32 points (4 × 8) (Figure 1). Le service hospitalier se verra attribuer les points « rapportés » et validés par l’auteur ayant obtenu la « meilleure place » dans la publication.
Figure 1. Fonctionnement du système SIGAPS. |
Le point SIGAPS : quelles conséquences ?
L’intérêt de ces fameux points est double : 1) le point « vaut » une certaine somme d’argent et, 2) il influence l’avancement de carrière de l’auteur praticien hospitalo-universitaire.
En 2017, un point SIGAPS valait 648 euros. Cette somme est versée pendant quatre années à l’établissement hébergeant l’auteur de la publication. Notre Dr X, qui a publié en premier auteur dans une revue de rang A rapportera donc à son établissement 20 736 euros (soit 648 × 32), et cela 4 ans de suite.
Ce système de points octroyés à l’établissement, peut, en parallèle, être également instrumentalisé pour gérer la carrière du praticien qui publie. En effet, afin d’accéder aux postes universitaires (HU), un jeune médecin hospitalier doit présenter un certain nombre de points SIGAPS lors de son passage devant les différentes commissions d’évaluation (commissions médicales d’établissement, conseil national des universités, facultés) : un minimum de 200 points est en effet requis pour pouvoir accéder au poste de maître de conférence-praticien hospitalier (MCU-PH) et de 500 points pour un poste de professeur (PU-PH). Le Dr X, avec sa publication dans une très bonne revue et sa bonne place, ajoutera donc 32 points à son score dans SIGAPS.
L’enjeu éthique
Le système SIGAPS a été a priori proposé pour soutenir une recherche scientifique réalisée à l’hôpital et à l’origine de connaissances certifiées. Les praticiens hospitaliers qui exercent une activité de recherche, outre leurs activités clinique et d’enseignement déjà difficiles, pourront ainsi faire valoir cette triple compétence et donc accéder à des postes « prestigieux ».
Ce système d’évaluation présente néanmoins quelques dérives [3]. Les médecins subissent en effet une pression quant à leur évolution de carrière, qui peut les inciter à publier à tout prix afin que leur établissement de tutelle perçoive l’argent correspondant à leur niveau de publication et ainsi, pour eux, accéder aux postes de responsabilité qu’ils convoitent. Cependant, étant donné qu’un auteur en quatrième position dans une excellente revue recevra le même nombre de points qu’un premier auteur dans une revue de faible qualité, identifiée par son facteur d’impact (IF) (soit 8 points : 4 × 2 dans le premier cas ou 8 × 1 dans le second), publier en quantité dans des revues plus accessibles, plus qu’en qualité, pourra lui sembler particulièrement judicieux [4].
Les stratégies de détournement de ce système apparaissent alors simples : effectuer des travaux de faible qualité scientifique, mais facilement et rapidement publiables ; publier dans des revues prédatrices payantes et peu regardantes sur la valeur des recherches ; publier dans les revues de qualité des articles rédigés en très grande partie par des collègues (rang d’auteur moins prestigieux mais facteur d’impact important) ; « saucissonner » son travail afin de produire plus d’articles, mais de moins bonne qualité, etc. Le praticien pourrait même falsifier ses données, afin d’accélérer le processus de publication.
Au-delà de cet enjeu éthique, ce système compétitif d’évaluation tend à diminuer les collaborations entre des équipes de niveaux différents. Les revues payantes ayant souvent un système de publication plus rapide, les établissements de santé les plus « riches » sont ainsi favorisés par rapport aux moins aisés, laissant les petites équipes hors de leurs projets. La méthode de calcul de points utilisée par SIGAPS peut également introduire des biais pour l’évaluation des médecins-chercheurs qui sont connus [5]. Le rang accordé aux signataires d’une publication peut en effet reposer sur une hiérarchie au sein du service hébergeant l’auteur, plus que sur le réel mérite du chercheur. Le système de hiérarchisation des revues selon leur facteur d’impact comporte également des biais, notamment selon les thèmes de recherche et les sujets traités, une publication spécifique de microbiologie ou de biologie fondamentale ayant, pour SIGAPS, un moindre « intérêt » qu’une publication de cancérologie, puisque l’IF de la première sera moindre que celui de la seconde.
Finalement, l’attribution exacte de l’argent octroyé à l’établissement par le système reste floue. En effet, qui, dans l’établissement de santé « récompensé », reçoit l’argent et comment celui-ci est-il redistribué ? C’est l’établissement qui le reçoit, mais c’est ensuite par le biais de négociations internes qu’il reviendra à l’équipe de recherche qui a publié, ou qu’il servira, en fait, à combler un déficit de l’établissement lui-même.
La pression induite sur les médecins-chercheurs est également importante : il leur faut en effet jongler entre leur travail clinique et leur travail universitaire, tout en rapportant, par leur travail et leurs publications de recherche, de l’argent à leur service clinique, afin de pouvoir conduire des projets ambitieux et plus coûteux. Il leur faut donc publier efficacement et rapidement : « publish or perish », dit-on.
Des questions éthiques se posent encore. Parmi les signataires de ces publications éligibles pour SIGAPS, certains auteurs n’en tirent aucun bénéfice (les médecins hospitaliers qui participent aux recherches n’étant pas universitaires). Se pose également le problème de la place dans la publication des auteurs qui ne sont pas HU (MCU, PU et chercheurs statutaires de l’Inserm ou du CNRS) pour lesquels la place dans les auteurs est importante.
Plusieurs questions se posent également : est-il en effet raisonnable de privilégier un travail de recherche de moindre qualité, et donc de moindre utilités médicale, sanitaire et sociale, à cause d’un système d’évaluation ? Jusqu’à quel point un praticien hospitalier, travaillant sur fonds public, pourra-t-il se désintéresser des enjeux collectifs et sociétaux ?
Un vent de révolte se fait donc sentir actuellement et de nombreux ressentiments conduisant à des chartes de déontologie ont été élaborés pour combattre les dérives qui sont observées. Camille Noûs, un pseudonyme fictif ayant publié plus de 200 articles dans 110 journaux, dénonce ce système de course à la publication [6]. En voulant valoriser la recherche, le ministère aurait-il donc promu une recherche de médiocre qualité, en oubliant ce qu’est la recherche et l’implication des médecins-chercheurs ?
Liens d’intérêt
L’auteur déclare n’avoir aucun lien d’intérêt concernant les données publiées dans cet article.
Remerciements
Ce travail a été effectué dans le cadre du cursus sur l’intégrité scientifique de l’École doctorale Médicament, toxicologie, chimie, imageries (MTCI ED 563). Je remercie le Dr Koual, le Pr Coumoul, le Pr Barouki et le Dr Tomkiewicz pour leur aide. Je remercie l’équipe « éthique, déontologie et intégrité scientifique (EPEDIS) » de l’UFR des sciences fondamentales et biomédicales de l’université de Paris pour son tutorat.
Références
- Projet Sigaps : https://www.reseau-chu.org/article/apres-sigaps-voici-sampra-le-nouveau-logiciel-danalyse-bibliometrique-made-in-lille/. [Google Scholar]
- Mancini J, Darmoni S, Chaudet H, et al. Le paradoxe de la « T2A bibliométrique » SIGAPS : un risque d’effet délétère sur la recherche française ?. Presse Medicale 2009 ; 38 : 174–176. [CrossRef] [Google Scholar]
- David Larousserie. « Lancetgate » : publier beaucoup dans des revues scientifiques peut rapporter gros. Le Monde.fr 2020. [Google Scholar]
- Sabourin J-C, Darmoni S. Avec le score SIGAPS : c’est le moment de publier dans les Annales de pathologie !. Ann Pathol 2008 ; 28 : 77–78. [CrossRef] [PubMed] [Google Scholar]
- The Leiden Manifesto for Research Metrics DORA. https://sfdora.org/resource/the-leiden-manifesto-for-research-metrics/. [Google Scholar]
- Camille Noûs. Laboratoire Cogitamus. https://www.cogitamus.fr. [Google Scholar]
Liste des figures
Figure 1. Fonctionnement du système SIGAPS. |
|
Dans le texte |
Current usage metrics show cumulative count of Article Views (full-text article views including HTML views, PDF and ePub downloads, according to the available data) and Abstracts Views on Vision4Press platform.
Data correspond to usage on the plateform after 2015. The current usage metrics is available 48-96 hours after online publication and is updated daily on week days.
Initial download of the metrics may take a while.