L`autosuffisance des dictateurs des facteurs d`impact cache leur

Éditorial
mt 2015 ; 21 (2) : 77-9
L’autosuffisance des
dictateurs des facteurs
d’impact cache leur
ignorance de la bibliométrie
Copyright © 2017 John Libbey Eurotext. Téléchargé par un robot venant de 78.47.27.170 le 08/02/2017.
Hervé Maisonneuve
30 rue Faidherbe, 75011 Paris, France
<[email protected]>
D
doi:10.1684/met.2015.0485
iscuter des facteurs d’impact
(FI) des revues ne laisse jamais
indifférent et donne lieu à des
affrontements parfois violents. Je l’ai
constaté plusieurs fois. Je suis heureux de voir que des institutions ont
engagé une réflexion pour évaluer
leurs indicateurs. Ces indicateurs ont
été conçus pour un objectif, mais
nous devons nous interroger sur les
usages qui en ont été faits.
Le FI des revues a été inventé par
Eugène Garfield à la fin des années
cinquante. Dès 1961, il avait créé un
indicateur de la notoriété des revues
pour les comparer entre elles, pour
guider le choix des abonnements par
les documentalistes, et pour attirer la
publicité pour les revues.
Dans les années 1980, des universitaires ont utilisé le FI comme
critère de substitution afin d’évaluer
la recherche et les carrières, et c’était
une erreur. E. Garfield, qui est en vie
en 2015, a toujours été étonné par
l’usage qui en a été fait pour évaluer
des carrières et des hommes [1].
Le facteur d’impact :
le jeu des revues pour
influencer des
évaluateurs naïfs
Tirés à part : H. Maisonneuve
Par facteur d’impact, nous entendons bien sûr le facteur proposé par
Thomson Reuters (anciennement ISI
pour Institute for Scientific Information), et d’autres compétiteurs basés
uniquement sur les citations (facteur
d’impact sur 5 ans, SCImago, EigenFactor, H-index, etc.).
Pourquoi partir du postulat qu’un
article plus cité serait un indicateur
de la qualité de la revue qui a publié
l’article, et non pas de la qualité de
l’article ? Suggérer ensuite que tous
les articles d’une même revue ont la
même qualité est un non-sens. Réalisons que 0,5 % des articles ont
été cités plus de 100 fois, et que
la moitié ne seraient jamais cités
[1, 2]. Parfois quelques articles font
varier fortement le FI d’une revue !
Comment ne pas être surpris par la
manière très arbitraire du calcul du FI
car numérateur et dénominateur sont
décidés après des cuisines obscures !
Comment ne pas être étonné par les
descriptions des rédacteurs de PLOS
Medicine lors de la fixation du premier FI de cette revue : « Pendant nos
discussions avec Thomson Scientific,
le facteur d’impact de PLoS Medicine
– basé sur les mêmes articles pendant
la même année – a oscillé entre plus
de 11 (. . .) à moins de 3 (. . .). . . »
[3] !
Combien de comités de rédaction
ont comme objectif principal de faire
augmenter leur facteur d’impact :
citez ma revue dans vos articles,
citez, citez. . . Pour les citations dans
ma revue, ne dépassons pas un taux
d’auto-citation que je surveille car je
risque de perdre mon FI ! Des cartels de citations sont régulièrement
identifiés et de 15 à 50 revues perdent
Pour citer cet article : Maisonneuve H. L’autosuffisance des dictateurs des facteurs d’impact cache leur ignorance de la bibliométrie. mt 2015 ; 21 (2) : 77-9
doi:10.1684/met.2015.0485
77
Copyright © 2017 John Libbey Eurotext. Téléchargé par un robot venant de 78.47.27.170 le 08/02/2017.
Éditorial
78
leur FI chaque année. Un cartel de citations définit ces
rédacteurs qui s’entendent : « Tu cites ma revue dans tes
éditoriaux et j’en fais de même » (quitte à citer 50 articles
d’une même revue dans un éditorial).
Nombreux ont été les travaux montrant le mauvais
usage du FI depuis PO. Seglen dans les années 1990
[4]. Depuis cette date, des institutions essayent de lutter
contre l’emploi abusif du FI. Je vous propose pour comprendre ces critiques de vous reporter à des publications
françaises :
L’Académie des Sciences en janvier 2011 : « Quant
au FI qui s’adresse aux revues et non pas aux chercheurs,
il est néanmoins souvent pris en compte pour évaluer la
qualité d’un article. Cette pratique, très utilisée dans certaines disciplines comme la biologie et la médecine, est
dangereuse car les revues les plus prestigieuses, à FI très
élevé, contiennent un pourcentage significatif d’articles de
qualité moyenne, même s’il reste vrai que la publication
d’un article dans ces grandes revues représente un indice
de notoriété, à condition que le chercheur considéré ait
joué un rôle prédominant dans le travail en question » [5].
En mai 2011, répétition avec un rapport sur le statut
hospitalo-universitaire qui suggère de s’éloigner du FI [6].
Félicitons ces éditoriaux de revues qui appellent à
réfléchir sur le FI en proposer d’analyser une maladie sournoise : la manie du FI [7, 8]. Le FI et son usage mettent en
péril nos revues biomédicales françaises car les auteurs ne
veulent publier qu’en anglais.
Ces indicateurs sont : 1) les téléchargements et consultations (html, pdf, xml, à partir du site de la revue et
d’autres archives ; 2) les citations en prenant en compte
des données de ISI Web of Science, Scopus, Cross Ref,
PubMedCentral, Europe PubMed Central, Google Scholar, etc.) ; 3) les commentaires sur les réseaux sociaux :
Nature.comblogs, Wikipedia, Research Blogging, Twitter, Google Blogs, WordPress.com, Facebook, LinkedIn,
ResearchGate. . .) ; 4) les partages et archivages dans Mendeley, CiteULike, Figshare, etc. ; 5) les citations dans
les médias grand public, avec liste des communiqués de
presse,. . . citations dans des vidéos, voire la localisation
géographique des auteurs de tweets ou commentaires, ou
des scores comparant aux autres articles de la même revue.
La plupart des maisons d’édition ont adopté des systèmes pour évaluer l’audience et la notoriété d’un article,
mais un changement de paradigme entre les facteurs
d’impact et les évaluations des articles sera long. . . car
la maîtrise de ces nouveaux indicateurs demande de la
sagesse. Ne va-t-on pas vers les mêmes dérives que celles
des FI, sans prendre en compte le chercheur et son équipe !
Nous sommes dans une course au « hot paper » plutôt qu’à l’originalité, à la qualité, comme l’a montré la
liste des 100 articles 2014 ayant eu la meilleure audience
sur les réseaux sociaux. . . vous aurez de la visibilité en
publiant sur le pénis d’insectes femelles et le vagin de
mâles, la consommation de chocolat des infirmières, ou
celle d’alcool par James Bond. . . pauvre science1 . . .
Les Almetrics ou les Altmetrics
seraient la solution !
DORA : est-ce la solution pour évaluer
la recherche ?
Deux appellations sont en compétition : « Almetrics »
pour Article Level Metrics et « Altmetrics » pour Alternative
metrics.
La technologie nous permet d’évaluer l’audience, la
notoriété d’un article et non plus d’une revue. Les activités
académiques ne se limitent pas à la production d’articles
dans des revues avec une notoriété importante. La communication de la recherche change avec les blogs, les
archives ouvertes, et tous les autres modes de communication électronique. . . Serait-il utile de valoriser d’autres
productions que des articles de recherche ? Les termes
génériques de cette nouvelle ère de l’évaluation sont :
Almetrics avec un excellent rapport de Scholarly Publishing and Academic Resources Coalition [9] ou Altmetrics
avec la publication d’un manifeste [10]. Le « TweetImpact » devrait être éphémère mais de mauvaises surprises
sont possibles. L’impact social ou sociétal n’intéresse personne, alors que l’on devrait s’interroger.
Toute une industrie de ces mesures a été créée ; elle est
basée sur des indicateurs que l’on amalgame pour chaque
article.
La Declaration On Research Assessment (DORA) a été
proposée en décembre 2012 à San Francisco par la Société
américaine de biologie cellulaire et des rédacteurs et éditeurs de revues biomédicales (http://am.ascb.org/dora/).
Au 15 décembre 2014, ce sont 547 organisations et 12 055
individus qui ont signé cette déclaration. De manière
surprenante, et que je n’explique pas, la France est en
seconde position des signataires individuels (8 %) après
les États-Unis (31 %).
Cette déclaration a 18 recommandations : la recommandation 1 est de ne pas utiliser les facteurs d’impact
des revues pour évaluer la qualité des articles, les contributions d’un auteur, ni dans les décisions d’embauche,
de promotion ou de financement. Deux recommandations s’adressent aux organismes de financement de la
recherche, 2 aux institutions, 5 aux maisons d‘édition, 4
aux organismes qui proposent des indicateurs, et 4 aux
chercheurs. Pour les chercheurs, il est fortement recommandé de ne pas citer des revues générales, mais plutôt
1
http://www.altmetric.com/top100/2014/
mt, vol. 21, n◦ 2, mars-avril 2015
Copyright © 2017 John Libbey Eurotext. Téléchargé par un robot venant de 78.47.27.170 le 08/02/2017.
des articles originaux afin de bien rendre la paternité des
observations à ceux qui ont été les premiers à les décrire.
Sur le site de DORA, vous trouverez les informations
détaillées, et un poster à télécharger pour l’afficher dans
votre service ou laboratoire.
Le chemin est encore long, même si des changements
commencent à être observés, et DORA ne suffira pas. Le
chemin est long car les FI ne sont que des épiphénomènes
du malaise de la science. Certains se demandent si la
science n’est pas pourrie et proposent d’en changer les
fondements et les règles [11, 12]. D’autres pensent que
85 % des financements de la recherche sont du gaspillage
et proposent d’améliorer nos pratiques2 . Ces réflexions
vont au-delà de cet éditorial, mais je vous invite à écouter
7 vidéos et lire d’urgence les 50 pages du Lancet consacrées en janvier 2014 à ce thème : « Research : Increasing
value, Reducing Waste »3 .
3. The PLoS Medicine Editors . The impact factor game. It is time to
find a better way to assess the scientific literature. PLOS Medicine
2006 ; 3 : e291. doi: 10.1371/journal.pmed.0030291.
Liens d’intérêts : l’auteur déclare les liens d’intérêts suivants :
Gérant de H2MW, Hervé Maisonneuve Medical Writing, EURL dans
le domaine de la formation et de la rédaction médicale.
8. Casadevall A, Fang FC. Causes for the persistence of impact factor
mania. mBio 5 : e00064-14. doi : 10.1128/mBio.00064-14.
Références
4. Seglen PO. Why the impact factor of journals should not be used
for evaluating research. BMJ 1997 ; 314 : 498-501.
5. Académie des sciences. Du bon usage de la bibliométrie pour
l’évaluation individuelle des chercheurs. Rapport remis le 17 janvier
2011 à Madame la ministre de l’enseignement supérieur et de la
recherche. Consulté le 15 décembre 2014 sur http://www.academiesciences.fr/activite/rapport/avis170111.pdf.
6. Gaillard R. Mission sur l’évolution du statut hospitalouniversitaire. Rapport remis le mardi 3 mai 2011 à Madame
Valérie Pécresse, Ministre de l’enseignement supérieur
et de la recherche. Consulté le 15 décembre 2014 sur
http://www.enseignementsup-recherche.gouv.fr/cid55973/rapportde-raphael-gaillard-sur-le-statut-hospitalo-universitaire.html.
7. Besch S. A propos de l’impact factor : délétère ou utile ? Journal
de Traumatologie du Sport 2014 ; 31 : 69-70.
9. Tananbaum G. Article-level-metrics. A SPARC primer.
2013 April, 14 pages. Consulté le 15 décembre 2014 sur
http://www.sparc.arl.org/sites/default/files/sparc-alm-primer.pdf.
10. Priem J, Groth P, Taraborelli D. The Altmetrics collection. PLOS
ONE 2012 ; 7 : e48753. doi: 10.1371/journal.pone.0048753.
1. Garfield E. The history and meaning of the journal impact factor.
JAMA 2006 ; 295 : 90-3.
11. Casadevall A, Fang FC. Reforming Science : Methodological and
Cultural Reforms. Infection & Immunity 2012 ; 80 : 891-6.
2. Gingras Y. Les dérives de l’évaluation de la recherche. Du bon
usage de la bibliométrie. Editions Raisons d’Agir, 2014, 122 pages.
12. Fang FC, Casadevall A. Reforming Science : Structural Reforms.
Infection & Immunity 2012 ; 80 : 897-901.
2
3
http://researchwaste.net/
http://www.thelancet.com/ series/research
mt, vol. 21, n◦ 2, mars-avril 2015
79