Voir la présentation de Catherine DEHON

Transcription

Voir la présentation de Catherine DEHON
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
1 / 32
9 Octobre 2014
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
Comprendre/critiquer les classements des
institutions d’enseignement supérieur
Catherine Dehon
Université libre de Bruxelles
9 Octobre 2014
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
2 / 32
9 Octobre 2014
AGENDA
1
2
Contexte, impacts et enjeux
Principaux acteurs sur le marché des rankings
ARWU-Shanghai (Academic Ranking of World
Universities)
THE (Times Higher Education World University Ranking)
QS (Quacquarelli Symonds)
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
3
Quelques problèmes méthodologiques
Choix de la normalisation
Comportement différent de publication entre disciplines
Agrégation des variables en un indicateur unique
4
Le classement européen U-Multirank
5
Conclusion
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
3 / 32
9 Octobre 2014
CONTEXTE
• Globalisation des marchés, y compris celui de l’enseignement
• Demande accrue de travailleurs hautement qualifiés
• Croissance de la compétition dans l’enseignement supérieur
⇓
U-Multirank
CONCLUSION
Popularité des “Rankings des universités”
information “simple”, accessible à tous;
permet de faire des comparaisons aisées.
⇓
Comprendre afin de critiquer/améliorer les méthodologies
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
4 / 32
9 Octobre 2014
IMPACTS
Tendances observées dans la littérature :
Utile pour négocier de nouvelle collaboration
Marketing (site web, etc.)
Peu d’impact sur étudiants sur les étudiants de BA
U-Multirank
CONCLUSION
Pouvoirs publiques: certains utilisent ces rankings pour élaborer
des politiques . . .
immigration (Pays-Bas, Danemark)
programmes d’échange (Inde, Brésil)
reconnaissance des diplômes (Russie)
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
5 / 32
9 Octobre 2014
ENJEUX
Universités: choix stratégiques pour “booster” leurs places
dans ces classements . . .
domaines de recherche à encourager
PROBLEMES
METHODOLOGIQUES
personnel académique à engager
U-Multirank
critères d’admission des étudiants
CONCLUSION
Problèmes liés aux rankings :
Choix stratégiques : danger à long terme
Demande des ressources en interne
Donner de l’information à des sociétés privées
Méthodologie criticable
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
6 / 32
9 Octobre 2014
PRINCIPAUX ACTEURS SUR LE MARCHE DES
RANKINGS
Academic Ranking of World Universities (ARWU Shanghai)
Unifs flamandes : 2 dans le top 100, 4 dans le top 400.
Unifs francophones: 2 dans le top 150, 3 dans le top 300.
THES (Times Higher Education World University
Ranking)
Unifs flamandes: 2 dans le top 100, 3 dans le top 200, 4
dans le top 275.
Unifs francophones: 1 dans le top 200, 2 dans le top 225,
3 dans le top 350.
QS Ranking (Quacquarelli Symonds)
Unifs flamandes: 1 dans le top 100, 2 dans le top 150, 4
dans le top 200.
Unifs francophones: 1 dans le top 150, 2 dans le top 200.
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
7 / 32
9 Octobre 2014
RANKING DE SHANGHAI : VARIABLES ET POIDS
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
Alumni (10%): Prix Nobel et de médailles Fields
obtenues par les anciens étudiants;
Award (20%): Prix Nobel et de médailles Fields obtenues
par les chercheurs;
HiCi (20%): Nombre de chercheurs repris dans la liste
des “highly cited researchers” de Thomson (21 domaines);
N&S (20%): Nombre d’articles publiés par des
chercheurs dans “Nature” et dans “Sciences”;
PUB (20%): Nombre d’articles indexés dans “Sciences
Citation Index-expanded” (SCIE) et “Social Science
Citation Index(SSCI);
PCP (10%): Moyenne des 5 scores divisée par le nombre
de chercheurs.
http://www.arwu.org/rank/2014/ranking2014.htm
Comprendre/critiquer les classements des institutions d’enseignement supérieur
8 / 32
Catherine Dehon
9 Octobre 2014
=BB
!"#$"#%&'()$
PRINCIPAUX
ACTEURS
*"+),-#()"&.(/0&1234
EB
CONTEXTE IMPACTS ENJEUX
FB
AGENDA
5"+2&'()$
PROBLEMES
METHODOLOGIQUES
DB
U-Multirank
'()$&6"/4)(70-(&!&82"00+2
'()$&9)34)7"(&!&:((&:#;-#
'()$&<"#)/&==
CONCLUSION
B
CB
'()$&>-((
'()$&9")(?
'()$&:@3A+"(%
B
=BB
CBB
GBB
DBB
Figure: Overall score relative to rank
HBB
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
9 / 32
9 Octobre 2014
Times Higher Education World University Ranking
13 indicateurs regroupés en 5 catégories
30% Enseignement
1
2
3
4
5
Academic reputation survey (15%) ;
staff-to-student ratio (4.5%) ;
ratio PhD to bachelor’s degrees awarded (2.25%);
number of PhD awarded (6%) ;
institutional income / academic staff numbers (2.25%) ;
30% Recherche
Reputational survey (18%) ;
research income (6%) ;
3 research output scaled against staff numbers (6%)) ;
1
2
30% Citations (from WoS) ;
7.5% International Mix
1
2
3
ratio of international to domestic students (2.5%) ;
ratio of international to domestic staff (2.5%) ;
publications with at least 1 international co-author (2.5%))
2.5%: Industry research Income
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
10 / 32
9 Octobre 2014
Classements thématiques du THE dans 6 grands domaines
Arts and Humanities
Clinical, Pre-clinical and Health
Engineering and Technology
Life Sciences
Physical Sciences
Social Sciences.
“Sous-classements”
“World ranking reputation” : indicateur Reputational
survey utilisé dans le ranking des universités (KUL se
classe dans la catégorie 71-80 en 2013-14).
“World international universities” : indicateur
International Mix utilisé dans le ranking des universités
(ULB unique université belge dans le TOP 100 en position
65 en 2013-14).
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
11 / 32
9 Octobre 2014
QS
Il est composé de 6 indicateurs
40% :Academic Reputation (survey) ;
10%: Employer Reputation (survey) ;
20%: Citations per Faculty (Scopus) ;
20%: Student Faculty Ratio ;
5%: Proportion of international students ;
5%: Proportion of international faculty.
Le premier ranking a avoir obtenu le label de qualité du
International Ranking Expert Groupe
Propose aussi des classements par “champ disciplinaire”, par
“disciplines”, par région, des “meilleurs villes étudiantes”, etc.
Comprendre/critiquer les classements des institutions d’enseignement supérieur
12 / 32
Catherine Dehon
9 Octobre 2014
Global AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
2011 2012 2013 Rank Score Rank Score Rank Score ULB 196 172 52,6 168 56,8 UCL 125 127 59,65 138 61,3 KUL 68 69,9 82 69,72 77 73 Ghent 165 148 56,55 122 63,7 VUB 204 189 50,47 172 56,1 Antwerp 197 196 49,49 185 54,2 Table 7 : Evolution des classements et des scores des universités belges dans le ranking QS (2011 à 2013) Academic Reputation Employer Reputation Faculty Student International Faculty International Students Citations per Faculty PROBLEMES
METHODOLOGIQUES
ULB 58,5 58,6 41,5 92,5 96,2 47,9 UCL 75,5 68,5 40 81 66,6 43,3 KUL 93,1 79,6 21,7 74,9 44,3 86,2 Ghent 66,8 60,9 86,9 56,4 29,6 45 VUB 41,4 70,2 96,2 71,3 64,7 31,6 Survey Indices 2013 -­‐ score U-Multirank
CONCLUSION
Antwerp 42,2 46,4 99,5 68,9 53,5 32,3 Table 8 : Scores sur les 6 indicateurs des universités belges dans le ranking QS (2013) Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
13 / 32
9 Octobre 2014
CRITIQUES
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
Approche uni-dimensionnelle ⇒ ignore les spécificités des
universités et les diverses missions qu’elles poursuivent
Production versus efficacité: “Bigger is better”
Le rang est bien moins informatif que le score (pas
toujours disponible)
Données communiquées par les institutions ⇒
interprétation des définitions, comparabilité entre pays
Manque de transparence: non publicité des chiffres ⇒
non-reproductibilité des résultats
Biais en faveur des institutions de langue anglaise
Biais en défaveur des Sciences sociales et “Humanities”
Erreurs de mesures, et pas d’analyse de sensibilité
Sensibilité au choix de la normalisation
Choix arbitraire de la pondération dans la moyenne
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
14 / 32
9 Octobre 2014
QUELQUES PROBLEMES METHODOLOGIQUES
CHOIX DE LA NORMALISATION
La majorité des rankings d’universités tentent de résumer
l’“excellence”, la “qualité”, la “réputation ” en un seul
indicateur
Méthodologie utilisée
Normaliser les variables
Utiliser une moyenne pondérée
Il existe plusieurs stratégies de normalisation, deux sont
fréquemment utilisées
Donner 100 points au plus performant sur chaque critère
(ARWU-Shanghai)
Utiliser un z-score (Times Higher Education Ranking):
Soit l’échantillon {x1 , . . . , xn } → zi = xis−x̄
x
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
15 / 32
9 Octobre 2014
Le choix de la normalisation n’est pas neutre:
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
THES-QS en 2006: basé sur la normalisation “100 points”
THES-QS en 2007: basé sur la normalisation “z-score”
Institution
University College London
University of Hong Kong
King’s College London
Osaka University
London School of Economics
University of Adelaide
University of Geneva
Ranking
2007
9
18
24
46
59
62
105
Ranking
2006
25
33
46
70
17
105
39
Comprendre/critiquer les classements des institutions d’enseignement supérieur
16 / 32
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
9 Octobre 2014
DIFFERENCES ENTRE DISCIPLINES
Les comportements de publication et de citation varient d’une
discipline à l’autre: Narin (1975) a analysé 2250 journaux
Domaine
Ingénierie/technologie
Recherche biomédicale
Psychologie
Biologie
Mathématique
Terre et espace
Physique
Chimie
Médecine clinique
Total
Journaux
421
275
91
294
90
115
123
186
644
2 246
27
33
7
22
7
10
33
42
74
258
Pub
718
231
178
634
254
042
189
265
830
341
⇒ Besoin d’effectuer une normalisation
Réf/Pub
5.84
18.48
9.78
9.92
5.26
12.03
12.55
13.92
14.58
12.87
Cit/Pub
4.87
19.98
8.87
7.83
6.13
11.28
13.99
13.53
13.03
12.42
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
17 / 32
9 Octobre 2014
UN INDICE UNIQUE ? - CASE STUDY: ARWU
QUESTION
Peut-on considérer qu’un seul indicateur composite est capable
de “résumer” l’excellence de la recherche ?
OBJECTIF
Déterminer les facteurs sous-jacents mesurés par les variables
utilisées dans le ranking de Shanghai
METHODE
Analyse en composantes principales robuste. Mise en évidence
de deux facteurs sous-jacents:
•ΦR
1 expliquant 39% de l’information
•ΦR
2 expliquant 29% de l’information
Comprendre/critiquer les classements des institutions d’enseignement supérieur
18 / 32
Catherine Dehon
AGENDA
9 Octobre 2014
CONSEQUENCE:
Sensibilité du ranking de Shanghai par rapport aux poids:
SCOREi = wi ∗(Alumni+Award)+(1−wi )∗(HiCi+N &S+P U B)
où wi = 0, 0.1, . . . , 1
PRINCIPAUX
ACTEURS
Exemple 1: TOP 10
PROBLEMES
METHODOLOGIQUES
30
CONTEXTE IMPACTS ENJEUX
Chicago
U-Multirank
20
Oxford
10
Caltech
Cambridge
Columbia
MIT
Berkeley
Stanford
Harvard
0
CONCLUSION
Princeton
0
.2
.4
.6
.8
1
Comprendre/critiquer les classements des institutions d’enseignement supérieur
19 / 32
Catherine Dehon
9 Octobre 2014
Exemple 2: Quelques universités européennes
CONTEXTE IMPACTS ENJEUX
300
AGENDA
ENS Paris
PRINCIPAUX
ACTEURS
Moscow
200
PROBLEMES
METHODOLOGIQUES
Frankfurt
Liverpool
U-Multirank
CONCLUSION
100
Geneva
0
VU Amsterdam
0
.2
.4
.6
.8
1
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
20 / 32
9 Octobre 2014
U-MULTIRANK
Initié et financé par la Commission européenne (DG Education
et Culture)
phase “test” terminée en 2011
phase d’implémentation depuis début 2013
publication du premier classement début 2014
CONCLUSION
Consortium d’organismes de recherche : CHE, Cheps, CWTS,
INCENTIM, OST, EMFD et FEANI.
500 universités figurent dans le classement, dont 400 en
Europe.
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
21 / 32
9 Octobre 2014
Le projet U-Multirank est basé sur 3 principes clés
une approche multi-dimensionnelle et multi-niveaux
⇒ pas de classement unique mais la réalisation de profiles
de performance au niveau global ainsi que pour certains
domaines
⇒ permet de tenir compte des spécifités des différentes
institutions
axé sur l’utilisateur final
⇒ outil facile à utiliser pour tous (étudiants, académiques,
firmes privées, décideurs politiques, etc)
qui préconise la comparabilité des institutions
⇒ l’utilisateur sélectionne lui-même les critères de
comparaison
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
Le projet comporte 4 niveaux d’analyse:
U-Map
Questionnaire institutionnel
Questionnaires par domaine
Enquête au niveau des étudiants
22 / 32
9 Octobre 2014
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
23 / 32
9 Octobre 2014
Questionnaire institutionnel
General information:
Name and contact
Public/Private and age
University hospitals
Students
Students enrolled
Doctoral students
Internships in local enterprise
International exchange program
Program information
Number of BA and MA degree programs (in french and in
foreign language)
CPD courses offered
Interdisciplinary programs
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
24 / 32
9 Octobre 2014
Graduates
AGENDA
Degrees awarded (total, with regional enterprises,
doctorate degrees, to foreign students)
Average time to degree for BA and MA students
BA, MA, International graduation rates
Graduate employement
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
Staff
Academic staff (total, foreign nationality)
Post doc positions
Doctoral students with foreign nationality
Fte staff working in international/Technology transfer
office
Income
total income, income from teaching, income from research,
income from other activities
Expenditure
Total expenditure, breakdown by costcenter, coverage
Comprendre/critiquer les classements des institutions d’enseignement supérieur
25 / 32
Catherine Dehon
9 Octobre 2014
UniversityYourselection:8universities
Levelofstudy:doctorate
AGENDA
Regions:Belgium,
compareUni
CONTEXTE IMPACTS ENJEUX
25.5.2014
www.umultirank.org
T eaching&Learning
Bachelor
graduation
rate
Masters
graduation
rate
Graduating
ontime
(bachelors)
Graduating
ontime
(masters)
D
C
C
C
C
C
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
S ho wsymbo ls
PRINCIPAUX
ACTEURS
PDFexpo rt
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
CatholicULouvain
BE
C
ULiege
BE
C
UMons
BE
C
FreeUBrussels
BE
D
UAntwerp
BE
VrijeUBrussels
BE
GhentU
BE
CatholicULeuven
A(Verygood)
BE
B(Good)
Latestupdate:May2014
C(Average)
-
D(Belowaverage)
E(Weak)
Dataunavailable
Notapplicable
Comprendre/critiquer les classements des institutions d’enseignement supérieur
26 / 32
Catherine Dehon
9 Octobre 2014
UniversityYourselection:8universities
Levelofstudy:doctorate
AGENDA
Regions:Belgium,
compareUni
Int ernat io nalOrient at io n
CONTEXTE IMPACTS ENJEUX
25.5.2014
www.umultirank.org
S ho wsymbo ls
PRINCIPAUX
ACTEURS
Foreign
language
bachelor
programmes
Foreign
language
master
programmes
Student
mobility
International
academic
staff
International
joint
publications
International
doctorate
degrees
PDFexpo rt
PROBLEMES
METHODOLOGIQUES
ULiege
BE
D
D
A
B
A
A
FreeUBrussels
BE
E
C
A
A
A
A
U-Multirank
CatholicULouvain
BE
E
D
A
A
A
A
CONCLUSION
UMons
BE
E
E
A
A
A
A
UAntwerp
BE
-
-
-
-
VrijeUBrussels
BE
-
-
-
-
GhentU
BE
-
-
-
-
CatholicULeuven
BE
-
-
-
-
A(Verygood)
B(Good)
Latestupdate:May2014
C(Average)
D(Belowaverage)
A
A
A
A
E(Weak)
-
Dataunavailable
Notapplicable
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
27 / 32
9 Octobre 2014
UniversityYourselection:8universities
Levelofstudy:doctorate
AGENDA
Regions:Belgium,
compareUni
Regio nalEngagement
CONTEXTE IMPACTS ENJEUX
25.5.2014
www.umultirank.org
S ho wsymbo ls
PRINCIPAUX
ACTEURS
Bachelor
graduates
working
inthe
region
Master
graduates
working
inthe
region
Student
internships
inthe
region
Regional
joint
publications
Income
from
regional
sources
B
B
A
A
A
PDFexpo rt
PROBLEMES
METHODOLOGIQUES
CatholicULouvain
BE
A
A
FreeUBrussels
BE
E
A
U-Multirank
ULiege
BE
CONCLUSION
UMons
BE
UAntwerp
BE
VrijeUBrussels
BE
GhentU
BE
CatholicULeuven
BE
A(Verygood)
B(Good)
Latestupdate:May2014
-
-
A
C
D
A
A
B
D
A
-
-
-
-
-
-
-
-
-
-
-
-
-
C(Average)
A
A
D
B
D(Belowaverage)
-
E(Weak)
Dataunavailable
Notapplicable
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
28 / 32
9 Octobre 2014
Research and knowledge transfer
AGENDA
Number of peer reviewed academic publications
CONTEXTE IMPACTS ENJEUX
Number of professional publications
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
Number of international networks
Number of international prizes and scholarships won for research
work
Number of collaborative research projects
U-Multirank
CONCLUSION
Number of research projects with regional firms
Number of licence agreements
Number of patents awarded to the institution or its employees
Number of new patent applications filed by your institution
Number of cultural awards and prices won
Art related output
Average annual number of start up established in the last 3 years
Comprendre/critiquer les classements des institutions d’enseignement supérieur
29 / 32
Catherine Dehon
9 Octobre 2014
UniversityYourselection:8universities
Levelofstudy:doctorate
AGENDA
CONTEXTE IMPACTS ENJEUX
Research
25.5.2014
www.umultirank.org
Citation
rate
Research
publications
(absolute
numbers)
Research
publications
(siz enormalised)
S ho wsymbo ls
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
Regions:Belgium,
compareUni
External
research
income
Art
related
output
-
-
A
D
-
-
Topcited
publications
Interdisciplinary
publications
Post-doc
positions
A
C
A
C
A
B
A
C
A
B
B
A
A
C
B
C
B
B
PDFexpo rt
CatholicULeuven
BE
A
A
A
CatholicULouvain
BE
A
A
B
U-Multirank
GhentU
BE
A
A
A
CONCLUSION
FreeUBrussels
BE
A
A
A
A
UMons
BE
B
D
A
A
E
UAntwerp
BE
B
A
A
-
-
-
-
VrijeUBrussels
ULiege
A(Verygood)
BE
B
BE
B
B(Good)
Latestupdate:May2014
B
A
C(Average)
A
A
A
D(Belowaverage)
-
A
E(Weak)
Dataunavailable
-
A
-
-
A
Notapplicable
Comprendre/critiquer les classements des institutions d’enseignement supérieur
30 / 32
Catherine Dehon
9 Octobre 2014
UniversityYourselection:8universities
Levelofstudy:doctorate
AGENDA
Regions:Belgium,
compareUni
Kno wledgeT ransf er
CONTEXTE IMPACTS ENJEUX
25.5.2014
www.umultirank.org
S ho wsymbo ls
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
Copublications
with
industrial
partners
Income
from
private
sources
Patents
awarded
(absolute
numbers)
Patents
awarded
(siz enormalised)
Industry
copatents
Spinoffs
Publications
citedin
patents
Incomefrom
continuous
professional
development
B
B
A
D
D
A
D
A
A
C
PDFexpo rt
UMons
BE
A
CatholicULeuven
BE
A
U-Multirank
VrijeUBrussels
BE
CONCLUSION
GhentU
BE
B
ULiege
BE
B
CatholicULouvain
BE
B
FreeUBrussels
BE
B
UAntwerp
BE
B
A(Verygood)
B(Good)
Latestupdate:May2014
A
-
A
A
D
-
A
A
A
A
C
A
A
A
D
A
A
A
A
A
D
D
A
D
A
A
B
C
A
C
C
B
-
C(Average)
D(Belowaverage)
E(Weak)
-
A
B
Dataunavailable
-
D
-
E
-
Notapplicable
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
PRINCIPAUX
ACTEURS
PROBLEMES
METHODOLOGIQUES
U-Multirank
CONCLUSION
31 / 32
9 Octobre 2014
U-Multirank: Rapports des membres du groupe
“Ranking” du Cref
Clarifier les objectifs de ce classement
Introduire une dimension socio-économique au niveau des
étudiants et de la région
Contextualiser les situations
Définition de l’étudiant (formation continue, doctorant,
...)
Comptage des étudiants doctorants (étudiant ou staff)
Peer-review publications : Scopus, WoS, GS, etc.
Professional publications
Number of international prizes and scholarships wons
Art related output
Les indicateurs utilisés présentent les mêmes limitations et
biais que mentionnés précédemment !
...
Comprendre/critiquer les classements des institutions d’enseignement supérieur
Catherine Dehon
AGENDA
CONTEXTE IMPACTS ENJEUX
32 / 32
9 Octobre 2014
CONCLUSION
PRINCIPAUX
ACTEURS
Avant d’utiliser les résultats d’un classement des
universités, il est nécessaire d’en comprendre les limites et
les biais
PROBLEMES
METHODOLOGIQUES
Mais les rankings contiennent de l’information qui permet
une remise en question des universités
U-Multirank
Continuer la réflexion commune au niveau de la CF
(participation, interprétation, etc.)
CONCLUSION
Communication pédagogique vis-à-vis des médias
Ne pas tomber dans le piège de la marchandisation
Et toujours les utiliser avec prudence car vision partielle du
monde des universités