Valorisation d`une publication scientifique

Transcription

Module national d’enseignement Recherche et Innovation en
Imagerie (R2I) des Radiodiagnostics et Imagerie Médicale
Valorisation d’une publication scientifique:
Bibliographies (IF, H, SIGAPS)
P. Devos –DRCI – CHRU de Lille
EA 2694
[email protected]
Plan
• La recherche… et son évaluation
• Origine de la bibliométrie
• Méthodes et indicateurs
• Un exemple en médecine : SIGAPS
• Le financement des CHU
DESC Radiologie 11/03/2010
La recherche … et son évaluation
La recherche… et son évaluation
•
Une problématique qui date des années 50.
•
Nécessité, pour les grands pays industrialisés, d’évaluer leur potentiel
scientifique et technologique.
•
1950 : naissance, au USA, de la National Science Fundation (NSF),
chargée de mesurer le niveau scientifique et technologique.
•
1958 : Création par Eugen Garfield, de l’Institute for Scientific
Information (ISI).
•
1960 : Mise en place de l’Organisation pour la Coopération et le
Développement Économique (OCDE).
La recherche… et son évaluation
•
1973 : Publication par la NSF des « Sciences Indicators »
•
1984 : Publication par l’OCDE des « Sciences and Technology
Indicators »
•
Mise en place des premières études internationales visant à évaluer et
comparer les niveaux scientifiques et technologiques des grand pays
industrialisés.
Naissance de la scientométrie
La scientométrie
Discipline ayant pour objectif d’étudier, à l’aide de méthodes quantitatives,
les processus de création, de diffusion et d’utilisation de la science.
• Généralement utilisée pour une évaluation macroscopique
(pays, région, institution, …)
• Basée sur la mise en place et l’analyse d’indicateurs
Utilisation fréquente de la bibliométrie
Quelques exemples …
•
De nombreuses études et classements
– Classement de Shanghai
– Études OST
– Rapport Even
– …
•
De nombreuses implications en terme de :
– Image de marque
– Attractivité (notamment pour les Universités)
– Financement (exemple des MERRI)
La bibliométrie
La bibliométrie se définit comme l'exploitation statistique des publications.
Cette analyse permet de rendre compte de l'activité des producteurs (chercheur,
laboratoire, institut...) ou des diffuseurs (périodique, éditeur...) de l'information
scientifique, tant d'un point de vue quantitatif que qualitatif.
• Quel niveau d’analyse ?
3 questions importantes
en bibliométrie :
• Quelle base de référence ?
• Quels indicateurs ?
Le niveau d’analyse
• Quel niveau d’analyse ?
–
–
–
–
–
–
International (Europe / Monde)
Européen
National (interCHU)
Équipe
Chercheur
…
• Méthodologie différente selon que l’on compare :
– 2 pays
– 2 institutions
– 2 chercheurs
Choix de la base d’analyse
•
De nombreuses bases disponibles :
–
–
–
–
•
Beaucoup de bases thématiques :
–
–
–
–
•
Science Citation Index
Pubmed
SCOPUS (Elsevier)
…
Médicales
Physiques / Chimie
Sciences de l’Ingénieur
…
Choisir la (ou les) bonnes base(s) !!!
Le Science Citation Index
•
Base éditée et commercialisée par Thomson Scientific
•
Plus de 7000 revues
•
Couvre de nombreux domaines scientifiques
•
Une des plus utilisées dans les études bibliométriques
•
Interface d’interrogation (Web of Science)
•
Coût élevé, accès restreint
•
Peu de revues françaises
Pubmed
•
Une des bases les plus utilisée en Sciences Biomédicales
•
19 millions de références depuis 1965
•
Outils d’extraction automatique disponibles
•
Très complète (MESH, GRANTS, GENE, …)
•
Gratuite
•
Couvre mal certains domaines :
–
technologies médicales
– sciences sociales
De nombreuses autres bases
•
SCOPUS : un des concurrents du SCI
– Nombreuses références
– Bonne couverture des revues françaises
•
INSPEC : Physique / Sciences de l’Ingénieur
•
EMBASE : Sciences biomédicales et Pharmaceutiques
•
PASCAL : Base CNRS
•
…
La validité des données
•
2 modes d’interrogation :
– Par adresse
– Par nom (Interrogation nominative)
•
Problèmes des homonymes : Possibilité d’avoir les mêmes nom et
prénom (ou initiales)
•
Normalisation des adresses : ex Lambret[Adresse]
– Centre Oscar Lambret
– 1, Av O. Lambret (CHRU !!!)
Nécessité de valider les données
(problème récurrent en bibliométrie)
Les indicateurs
• Le nombre total de publications / Part des publications
• Le nombre de citations / Part des citations
• L’Impact Factor de la revue et indices dérivés
• Le facteur h, facteur M, facteur g, …
• …
Le nombre de Publications
•
Un indicateur très simple, facile à collecter … pour un chercheur
•
Plus difficile à collecter pour une équipe ou un établissement
(exhaustivité, doublons, …)
Le nombre de citations
•
Plus difficile à obtenir, car disponible dans des bases comme le SCI ou
SCOPUS (payantes)
•
Dépend de la date de publication de l’article
Le Facteur d’Impact (Impact Factor)
•
Indice de citation d’une revue calculé par l’Institute for Scientific
Information (ISI)
•
Disponible dans le Journal of Citations Report (JCR)
•
Actualisé tous les ans
NB :
IF2008 =
Ex :
IF2008 (Radiology)=
Nombre de citations des articles parus en 2006 et 2007
Nombre d'articles publiés en 2006 et 2007
Nombre de citations de Radiology en 2006 et 2007
4425
=
= 5.996
Nombre d'articles publiés dans Radiology en 2006 et 2007 738
Le Facteur d’Impact
• Très utilisé et … très controversé
• Mesure le rayonnement d’une revue et pas d’un article
• Très variable d’une discipline à l’autre
• Avantage clairement les revues anglo-saxonnes
• Mais un des rares indices qui existe …
Le facteur H
•
•
Basé sur le nombre d’articles ET de citations
Peu d’articles beaucoup cités … et beaucoup d’articles peu cités
Article
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Citations
12
10
10
8
6
5
4
4
4
3
3
2
2
1
1
0
0
0
0
0
14
12
10
8
6
4
2
0
0
5
10
15
20
« A scientist has index h if h of his/her Np papers have at least h citations
each, and the other (Np - h) papers have no more than h citations each. »
JE Hirsch
Quelques références
•
B. Godin, The emergence of S&T indicators: why did governments supplement statistics with
indicators, Research Policy, 2003, 679-691
•
E. Garfield, Fortnightly Review: How can impact factors be improved ?, British Medical Journal, 313
(1996) 411-413.
•
P.O Seglen, Why the impact factor of journals should not be used for evaluating research, British
Medical Journal, 314(1997) 498-502.
•
JE Hirsch, An index to quantify an individual’scientific research output, Physics, 2005
•
R. Costas , M. Bordons, The h-index: Advantages, limitations and its relation with other bibliometric
indicators at the micro level, Journal of Informetrics, In Press, March 2007
•
J. Imperial and A. Rodríguez-Navarro, Usefulness of Hirsch’s h -index to evaluate scientific research in
Spain, Scientometrics, 71(2), 2007, 271:282
•
L. Egghe, Theory and practice of the g-index, Scientometrics, Vol 69 (2006) 131-152
Quelques liens
•
http://www.nsf.gov/statistics/
•
http://www2.pasteur.fr/infosci/biblio/services/metrie/
•
http://www.isinet.com
•
http://www.obs-ost.fr/fr/
•
http://www.garfield.library.upenn.edu/impactfactor.html
•
http://www.springerlink.com/content/1588-2861/
•
http://www.elsevier.com/locate/respol
•
http://www.sigaps.fr
La bibliométrie et les sciences biomédicales :
l’exemple SIGAPS
Les sciences biomédicales
•
Usage courant des techniques de bibliométrie par les grands
organismes pour l’évaluation des chercheurs et équipes :
– l’INSERM : https://www.eva2.inserm.fr/EVA/jsp/Bibliometrie/index.jsp
– Le CNRS : http://www.cnrs.fr/comitenational/accueil.html
•
Enquêtes nationales : enquête réalisée par l’OST par exemple.
•
Ces outils permettent le calcul d’indicateurs d’activité mais ne
permettent pas :
– Les statistiques par service, pôle, discipline, …
– L’analyse des collaborations
– Une politique de recherche au niveau local
Recensement des Publications Scientifiques
•
Publications scientifiques :
– Un des éléments quantifiant la Recherche d’un Établissement, d’une
équipe, ou d’un chercheur.
– Indispensable : justification, évaluation interne/externe, MERRI, ...
•
Recensement difficile en pratique :
– Charge de travail énorme, exhaustivité
– Problème de doublons, de validation
•
Charge de travail des cliniciens ? Doit être MINIMALE
•
Proposition en Novembre 2001, d’un concept permettant la synthèse
automatique des publications.
Système d ’Interrogation, de Gestion et d ’Analyse des Publications Scientifiques
Principe de SIGAPS
Navigateur Web
Analyser
Recenser
Visualiser
Télécharger
SIGAPS
Agréger
Évaluer
0
Hôpital
Pôle
Service
Service
Pôle
Service
+
Impact Factor Categorie Couleur
IF > P90
A
Q3 < IF < P90
B
MED < IF < Q3
C
Q1 < IF < MED
D
IF < Q1
E
Inconnu
NC
A B C D E
Le recensement des publications
Basé sur l’interrogation nominative du serveur Pubmed
• Avantages :
–
–
–
–
–
Une des bases les plus utilisée en Sciences Biomédicales
19 millions de références depuis 1965
Outils d’extraction automatique disponibles
Très complète (MESH, GRANTS, GENE, …)
Gratuite
• Limites :
– Couvre mal certains domaines (technologies, sciences sociales)
Problèmes d’homonymes Æ Nécessité de valider les publications
Procédures de Validation intégrées au logiciel
L’Évaluation des articles
Max
0
P90
Échelle à 6 niveaux basée sur l’Impact Factor
A
•
Problème : l’IF varie fortement d’une discipline à une autre :
– Informatique Médicale, 0.431 à 2.091 (médiane=0.808)
B
– Biologie Cellulaire, 0.25 à 29.2 (médiane=2.188)
Q3
+
Classification statistique, par discipline, en 5 catégories (A à E)
correspondant aux percentiles de l’IF.
•
Revues non recensées par l’ISI (actes de congrès, par exemple),
sont affectées à la catégorie NC.
C
Médiane
Q1
•
D
E
Min
Non Classé par l’ISI
N
C
Avec cette classification, chaque discipline a 10%
de journaux en catégorie A, 15% in B, 25% in C, …
2 Exemples
• BLOOD :
–
–
–
–
Classé par l’ISI dans la discipline MA (HEMATOLOGY)
60 revues dans cette discipline
Calcul des percentiles (Q1=1.29, Q2=2.01, Q3=3.65, P90=5.68)
IF(BLOOD)=10.13 donc classé A
• AMERICAN JOURNAL OF CRITICAL CARE
– Classé par l’ISI dans les disciplines DS (CRITICAL CARE
MEDICINE) et RY (NURSING)
– 49 revues dans les disciplines DS ou RY
– Calcul des percentiles (Q1=0.58, Q2=0.85, Q3=1.28, P90=2.93)
– IF(AJCC)=1.34 donc classé B
Les revues de Radiologie
Discipline ISI : VY (RADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING)
ISSN
1619-7070
0278-0062
0020-9996
0161-5505
1361-8415
1053-8119
0033-8419
0001-2998
0363-9762
1555-4309
0938-7994
1065-9471
0360-3016
1083-3668
0740-3194
0094-2405
1535-3508
1536-1632
0952-3480
0031-9155
0271-5333
0167-8140
1053-4296
Titre
Eur J Nucl Med Mol Imaging
IEEE Trans Med Imaging
Invest Radiol
J Nucl Med
Med Image Anal
Neuroimage
Radiology
Semin Nucl Med
Clin Nucl Med
Contrast Media Mol Imaging
Eur Radiol
Hum Brain Mapp
Int J Radiat Oncol Biol Phys
J Biomed Opt
Magn Reson Med
Med Phys
Mol Imaging
Mol Imaging Biol
NMR Biomed
Phys Med Biol
Radiographics
Radiother Oncol
Semin Radiat Oncol
2001
NC
A
B
A
NC
A
A
B
E
NC
C
A
B
B
A
B
NC
NC
B
C
C
B
C
2002
A
A
B
A
A
A
A
B
E
NC
D
A
B
B
A
B
NC
B
C
B
C
B
C
2003
B
A
C
A
A
A
A
A
E
NC
C
A
B
B
B
B
NC
B
B
B
C
C
B
2004
A
A
C
A
A
A
A
A
C
NC
C
A
B
B
A
B
NC
B
B
B
B
C
C
2005
A
A
B
A
A
A
A
B
C
NC
C
B
B
B
B
B
NC
B
C
B
C
C
B
2006
A
A
B
A
A
A
A
A
C
D
B
B
B
B
B
B
NC
B
B
B
C
B
A
2007
A
A
A
A
A
A
A
A
B
D
B
A
B
B
B
B
NC
B
B
B
C
B
B
2008
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
B
B
B
B
B
Disponible dans SIGAPS (Menu Documentation)
Les niveaux d’Analyse
Les statistiques produites
•
Nombre de publications par an.
•
Place dans les auteurs croisée avec la catégorie.
•
Évolution par année et par catégorie.
•
Proportion d’articles de chaque catégorie.
•
Principales collaborations.
•
Liste des termes MESH recensés.
•
Détail des revues et nombre de publications.
•
Proportions d’articles en français et anglais.
•
Détail par discipline
•
Bibliographie aux normes de Vancouver, triée par année puis par auteur.
Exemple : Analyse d’un chercheur
Exemple : Analyse d’un chercheur
Le score SIGAPS
•
2 composantes :
– La catégorie de la revue (C1)
– La position dans les auteurs (C2)
8 si A
4 si Position =1
6 si B
C1=
4 si C
3 si Position =2 ou Dernier
C2=
3 si D
2 si Position =3
2 si E
1 sinon
1 si NC
Score = C1 * C2
Chaque article a un score qui varie de 1 à 32 points. Par exemple, un article A en 1er auteur a donc un score de
32 (8*4), un article NC en 5ème auteur, 1 points (1*1). Le score d’une équipe est la somme des scores de tous les
articles. Si un article contient plusieurs auteurs , le score retenu pour l’article correspond au maximum des scores
des auteurs, chaque article ne pouvant être comptabilisé qu’une seule fois.
Déploiement national du logiciel
Mission confiée par le Ministre chargé de la Santé en Juin 2006
« mission consistant à assurer la diffusion et l’utilisation du logiciel SIGAPS au sein de
l’ensemble des établissements hospitalo-universitaires, et à permettre la définition d’un
indicateur fiable du niveau de la production scientifique de ces établissements. »
!
Lille
Amiens
!
Rouen
!
Caen
Reims
AP/HP
!
Nancy
!
•
Déploiement sur 29 CHU,
20 CLCC et 27 CHG
•
Mise en place d’un serveur
national
•
Production d’indicateurs
!
Strasbourg
Rennes
Brest
Tours
Angers
!
Nantes
Dijon
Besançon
!
Poitiers
Limoges
Lyon
Clermont F
Grenoble
St Etienne
Bordeaux
Nîmes
!
!
Toulouse
Montpellier
!
Nice
Marseille
Fort- de France
Pointe à Pitre
Au niveau national : État des lieux
• 80 établissements équipés :
–
–
–
–
–
29 Centres Hospitaliers Universitaires
2 Centres Hospitaliers Régionaux
20 Centre de Lutte contre le Cancer
28 Centre Hospitaliers ayant une convention HU
Service de Santé des Armées
• 83 910 publications sur la période 2004-2008
– 17,5% classés A, 18,8% classés B
– IF moyen : 3.03
Bilan quantitatif et qualitatif, sur des données validées, de la
production scientifique réalisée par les établissements hospitaliers.
Le financement MERRI
Le financement : un peu d’histoire
• Financement des Hôpitaux :
– Passage progressif d’une dotation globale à un paiement à l’activité
– Mise en place du PMSI et de la T2A
• Spécificité des CHU : charges d’enseignement et de
recherche
• Abattement de 13% du point ISA
Grande disparité entre les établissements !!!
Le financement : un peu d’histoire
Financement de la recherche :
• Première étape : classification en 2005 des CHU en 3
catégories (Faibles chercheurs, Moyens chercheurs, Forts
chercheurs) avec des abattements différents.
• Deuxième étape : passage, en 2008, à un nouveau modèle
de financement basé sur :
– Un socle fixe visant à couvrir les frais de structure
– Une part modulable basé sur des indicateurs de résultats
– Une part variable (appels d’offre, structure labellisées, …)
La part modulable
• Représente environ 48% des financements MERRI (900 M€)
• Basé sur 4 indicateurs :
–
–
–
–
Publications (SIGAPS) : 57.5%
Enseignement (Nb étudiants) : 29%
Essais cliniques (SIGREC) : 10%
Brevets, valorisation : 3.5%
57.5% de la part modulable (~ 530 M€) basés sur SIGAPS
Et en euros ???
• En 2010, valeur du point : ~ 400€
• 1 article dans Radiology en 1er auteur : 32 points
• Environ 13000€ pour l’établissement
• Pendant 5 ans …
En conclusion …
• Publication = Visibilité !!! (AERES, DHOS, MESR, EPST, …)
– Pour le chercheur
– Pour l’institution
• Publication = Financement
• Attention :
– Au choix de la revue (référencement Pubmed, JCR, …)
– Utiliser, si possible, des adresses normalisées.
Des questions ?

Valorisation d`une publication scientifique

Transcription

Documents pareils

CENTRE D`IMAGERIE MEDICALE « LA MARGUERITE»

dts imagerie medicale et radiologie therapeutique

Le Centre Antoine-Lacassagne Centre de Lutte contre le Cancer de

UFR Médecine - Université de Caen Normandie

Contrôle Qualité en Imagerie Médicale

Mémo Radiologie 2016

Demande d`examen Examen désiré Informations cliniques

Urgences - SRP-IMG

Transit baryté ou à la gastrographine

Pr. Ali FOURATI - La société tunisienne de radiologie