L`impact des évaluations de l`AERES sur la stratégie des

Transcription

L’impact des évaluations de
l’AERES sur la stratégie
des universités
FutuRIS 2011 - Chapitre 5
R.Barré, C.Raffour
FutuRIS est un centre indépendant d'analyse et de prospective stratégique, étudiant les évolutions du système français et européen de
recherche et d’innovation (SFERI). Il a pour mission d’éclairer la prise de décision, de formuler des recommandations de politique publique et
d’accompagner l'élaboration de stratégies partagées. Pour cela, FutuRIS développe une approche coopérative fondée sur des repères
solidement documentés et sur la concertation entre acteurs et experts issus d’horizons divers, dans une perspective d'intérêt général.
FutuRIS est animé par l’Association nationale de la recherche et de la technologie (ANRT) et est soutenu par une trentaine de contributeurs
publics et privés (ministères, agences, institutions de recherche, entreprises), avec l’appui de l’Académie des sciences et de l’Académie des
technologies.
Contact : [email protected] - 01 55 35 26 64 - www.anrt.asso.fr rubrique FutuRIS
CHAPITRE 5
L’impact des évaluations de l’AERES sur la
stratégie des universités
La création de l’Agence d’évaluation de la recherche et de l’enseignement supérieur
(AERES), inscrite dans la loi d’orientation et de programmation de la recherche d’avril 2006
(article 114-3-1), visait à donner une cohérence et une crédibilité d’ensemble à l’évaluation dans le
champ de l’enseignement supérieur et de la recherche. L’Agence s’est ainsi substituée à une
diversité d’entités mises en place au fil du temps1, en charge chacune d’un segment spécifique du
champ considéré.
Elle a été construite sur les principes :
- d’indépendance : l’AERES est une autorité administrative autonome, dont l’action repose sur
une stricte distinction entre le rôle d’évaluateur et celui d’opérateur, seul décideur ;
- de crédibilité : l’AERES respecte les bonnes pratiques internationales, elle est membre de
l’ENQA (European Association for Quality Assurance in Higher Education) et accréditée par
l’EQAR (European Quality Assurance Register for Higher Education) ;
- de transparence : l’AERES publie sur son site ses méthodes, la liste de ses évaluateurs et le
résultat de toutes ses évaluations.
L’Agence a pour mission d’évaluer les établissements et organismes d’enseignement
supérieur et de recherche, les établissements et les fondations de coopération scientifique ainsi
que l’Agence nationale de recherche (ANR), en tenant compte de l’ensemble de leurs missions et
activités. Elle évalue les activités de recherche des unités de recherche des établissements
mentionnés -soit directement soit avec l’appui des établissements selon des procédures validées
par l’AERES - ainsi que les formations et les diplômes des établissements d’enseignement
supérieur. Elle valide les procédures d’évaluation des personnels des établissements et
organismes et leur mise en œuvre2 et peut participer à l’évaluation d’organismes étrangers ou
internationaux de recherche et d’enseignement supérieur.
En quatre années, l’AERES a effectué un cycle complet de travail : la plupart des
organismes de recherche et la totalité des établissements d’enseignement supérieur, des unités de
recherche des diplômes et des écoles doctorales - ont désormais fait l’objet d’une évaluation3.
Les évaluations de l’AERES4 comportent pour chaque université une évaluation de
l’établissement dans son ensemble, de chacune de ses unités de recherche, de chacun de ses
diplômes (Licence et Master) et de ses écoles doctorales (voir encadrés 1 et 2).
1 L’évaluation des organismes de recherche relevait de la mission du Comité national d’évaluation de la recherche (CNER).
L’évaluation des établissements d’enseignement supérieur était réalisée par le Comité national d’évaluation (CNE) institué en
1984. L’évaluation des formations était prise en charge par la Mission scientifique technique et pédagogique (MSTP).
L’évaluation des unités de recherche étaient le fait de la Mission scientifique technique et pédagogique (MSTP) du ministère
chargé de la Recherche et des organismes auxquels elles étaient associées : Comité national de la recherche scientifique,
Commissions scientifiques spécialisées de l’INSERM, de l’INRA, de l’IRD,
Commissions des EPIC…
2 Le travail présenté ici n’a pas inclus cet aspect dans son champ d’investigation.
3 Soit 246 établissements, 1 556 licences, 1 716 mentions de master, 287 écoles doctorales et 3 055 unités de recherche.
4 Le personnel permanent de l’AERES comprend 70 administratifs et 106 scientifiques ; les évaluations ont mobilisé en outre
3771 scientifiques au niveau des groupes d’experts, dont 19 % d’étrangers.
FUTURIS - L’IMPACT DES EVALUATIONS DE L’AERES SUR LA STRATEGIE DES UNIVERSITES - 2011
2
CHAPITRE 5
Encadré 1. Points sur lesquels porte l’évaluation d’une université, d’une unité de recherche,
d’un diplôme, d’une école doctorale

Université : stratégie en matière de recherche et valorisation, de formation, de vie étudiante, de
relations extérieures/communication, de gouvernance, points forts, points à améliorer et
recommandations ;

Unité de recherche : qualité scientifique et la production, rayonnement, attractivité et intégration
de l’unité de recherche dans son environnement, gouvernance et vie de l’unité, stratégie et projet ;

Licence : projet pédagogique, dispositifs d’aide à la réussite, insertion professionnelle, poursuite
d’études, pilotage de la licence ;

Master : adossement à la recherche, organisation pédagogique du cursus,
professionnalisant des diplômes, modalités de partenariat sur le plan international ;

Ecole doctorale : qualité des unités de recherche, qualité de la valorisation de la recherche,
existence d'une politique scientifique, fonctionnement du conseil scientifique et pédagogique,
qualité du recrutement des doctorants, accueil et suivi des doctorants, politique d'ouverture
nationale et internationale.
aspect
Encadré 2. Processus d’une évaluation d’une université, d’une unité de recherche, d’un
diplôme, d’une école doctorale

Université : autoévaluation fournie par l’établissement ou l’organisme, désignation des experts,
réunion préparatoire (évaluation intégrée), visite sur site, réunion de restitution et rédaction du
rapport d’évaluation, envoi du rapport, réception des observations et mise sur le site ;

Unité de recherche : auto-analyse et projet transmis par l’établissement, l’école ou l’organisme,
désignation des experts, visite sur site, réunion à huis clos des membres du comité et rédaction du
rapport d’évaluation, transmission du rapport aux établissements, écoles et organismes, transmission
des « observations » par les établissements, écoles et organismes à l’AERES, réunion de notation,
transmission des notes et des rapports établissements, écoles et organismes et affichage sur le site
Web ;

Licence et Master: autoévaluation et projet fournis par l’établissement ou l’école, désignation des
experts, réunions préparatoire et de concertation entre experts, rédaction des projets de rapports
"mention" par les experts, rédaction du projet de rapport de l'offre de formation licence ou master
par le président, réunion de restitution, validation ;

Ecole doctorale : autoévaluation et projet fournis par l’établissement ou l’école, désignation des
experts, visite sur site, rédaction du rapport d’évaluation, envoi du rapport, réception des
observations, mise sur le site.
L’objectif de ce chapitre est de présenter les premiers aperçus de l’impact des évaluations
de l’AERES sur les universités et plus précisément sur leur stratégie telle qu’elle est portée par la
présidence de chaque université.
Les analyses ont été réalisées dans le cadre d’un groupe de travail5 de FutuRIS qui s’est
intéressé tant aux effets induits par une modification du comportement des partenaires de
l’université qu’à ceux liés directement à la substance des évaluations, ceci en considérant les
différents champs d’activité de l’université
5 L’étude a été conduite par un groupe de travail coordonné par FutuRIS :
FutuRIS : Rémi Barré, coordinateur du projet, Catherine Raffour - AERES : Michel Cormier, Pierre Glorieux- Experts/acteurs :
Jean-Pierre Finance, Jean-Claude Lehmann, Catherine Paradeise.
Elle s’est appuyée sur un questionnaire adressé aux présidents d’Université ainsi qu’aux principaux partenaires de l’université
(OPR, collectivités territoriales…) et sur des entretiens complémentaires.
3
CHAPITRE 5
Dans la première partie, il est fait état de constats – impacts les plus probables ou déjà
effectifs6- issus de l’enquête et des entretiens avec des présidents d’universités (voir encadré 3) ;
dans la seconde partie, est proposée une mise en perspective, résultant des échanges au sein du
groupe de travail et de l’interaction avec un groupe élargi d’acteurs du système de recherche.
Encadré 3. Questionnaire utilisé
Ce questionnaire est structuré autour de trois questions :
Q1 - Ce qui compte dans l’évaluation de l’AERES : Contenu, Auto-évaluation, Mise en ligne.
Q2 - Impact direct des évaluations de l’AERES sur les champs de responsabilité et d’action de chaque
université : Recherche, Offre de formation, Organisation interne, Mode de gestion, Système
d’information, Actions internationales, Politique de site, Valorisation, Vie étudiante, Communication.
Q3 - Impacts indirect des évaluations de l’AERES via les interactions de l’université avec ses partenaires :
le ministère de l’Enseignement supérieur et de la Recherche, les organismes de recherche, les
chercheurs et enseignants-chercheurs, les composantes de l’université (UFR, unités de recherche,
départements...), les partenaires du site, les étudiants et les entreprises.
Ce questionnaire a été rempli par 16 présidents d’Université et quelques partenaires de l’université ; il a
également été administré dans le cadre de l’audition de plusieurs présidents d’Université. Cet
ensemble ne peut prétendre constituer un échantillon représentatif ; c’est cependant un ensemble
significatif dont on utilise, avec prudence, les enseignements dans ce chapitre. La robustesse des
résultats tient aux croisements des résultats obtenus par les trois angles d’analyse, à savoir l’enquête, les
entretiens et les échanges au sein du groupe de travail – tant restreint qu’élargi.
Les impacts de l’AERES sur les universités : les
constats
Trois observations liminaires
Les évaluations comme documents de référence partagés
Les évaluations de l’AERES ont acquis de facto un statut de référentiel commun entre
l’université7 et ses partenaires. Elles constituent un outil partagé qui facilite, voire rend possibles
les interactions et négociations de l’université avec ses différents interlocuteurs ; et contribuent à
faire exister l’université comme acteur à part entière. Les évaluations de l’AERES, avec leur statut
de document émanant d’un tiers reconnu par l’université et ses partenaires, permettent des
interactions sur une base jugée équilibrée.
Cela est vrai en particulier pour les interactions avec le ministère de l’Enseignement supérieur et
de la Recherche (MESR) et avec le CNRS. Ces évaluations sont un des facteurs de l’émergence des
universités comme acteur stratège.
Cela est vrai également de l’allocation des ressources entre composantes par arbitrages au
sein de l’université : les évaluations constituent un référentiel partagé permettant que ce
processus s’organise sur une base considérée comme légitime – ce qui permet à la présidence
d’une université de se positionner comme garante d’une stratégie d’ensemble. Ceci sera variable
en fonction des situations locales mais, du moins, les évaluations de l’AERES en auront ouvert
concrètement la possibilité.
6 La légitimité des évaluations et leurs impacts en tant que normes d’interaction dépendront aussi de la façon dont les parties
prenantes à tous les niveaux s’en saisiront, effet difficilement mesurable actuellement.
7 Sauf indication contraire, on utilisera le terme « l’université » pour signifier « la présidence de l’université ».
4
CHAPITRE 5
Les évaluations comme initiatrices d’une démarche qualité
Une des caractéristiques essentielles des évaluations de l’AERES est de s’appuyer sur un
travail préalable important « d’auto-évaluation » de la part de l’entité évaluée (université, unité
de recherche, diplôme, école doctorale). Cette auto-évaluation consiste en une analyse descriptive
et en partie quantifiée, complétée par un travail réflexif et synthétique – le tout à partir d’une
grille détaillée fournie par l’AERES (encadré 4). C’est à partir de tels documents que le travail des
comités d’évaluation va s’effectuer et que le programme des visites sur le site va s’élaborer.
Encadré 4. Plan d’un dossier d’auto-évaluation (université, unité de recherche, diplôme,
école doctorale)
Université : stratégie de recherche de l’établissement, stratégie de valorisation, pilotage de l’offre de
formation ; vie étudiante, relations extérieures ; relations internationales, gouvernance ; relations avec le
CHU, affirmation d’une identité de l’établissement au travers d’une politique de communication.
Unité de recherche : pilotage scientifique et activité de recherche (unité et équipes), stratégie,
pilotage et organisation interne de l’unité, politique contractuelle et de valorisation, visibilité et
attractivité, qualité du dossier et évaluation globale (à la charge de l’établissement).
Diplôme de licence et master: projet pédagogique, dispositifs d’aide à la réussite, insertion
professionnelle et poursuite des études, pilotage de la licence.
Ecole doctorale : fiche d’identité, politique et pilotage, bilan des résultats, encadrement des
doctorants, suivi des docteurs, financement des thèses, formations, ouverture et attractivité nationales
et internationales.
Ce travail d’auto-évaluation selon une grille détaillée suivi d’un regard évaluatif externe est au
centre de la démarche qualité en général – et telle que préconisée par le Réseau européen pour le
management de la qualité dans l'enseignement supérieur (ENQA), mandaté par les États
signataires du Processus de Bologne (encadré 5). La démarche qualité est indissociable de
l’évaluation de l’organisation par une agence externe et d’une évaluation de la capacité de cette
organisation à mettre en œuvre les actions permettant de satisfaire aux exigences demandées
(assurance qualité).
Encadré 5. Préconisations européennes pour le management de la qualité dans
l’enseignement supérieur
Les préconisations concernant les démarches d’assurance qualité dans l’enseignement supérieur sont
présentées dans le document « Références et lignes directrices pour le management de la qualité dans
l’espace européen de l'enseignement supérieur »8, signé par la France en 2005.
Ce document indique que « les établissements doivent avoir une politique et des procédures associées
pour le management de la qualité de leurs programmes et de leurs diplômes, du corps enseignant ». Il
prévoit que cette politique et ces procédures fassent l’objet de « démarches (processus) de
management externe de la qualité » ou « évaluation assurance qualité » des établissements, selon des
« procédures qui doivent normalement comprendre :
- une auto-évaluation, ou procédure équivalente, réalisée par l'établissement ou le programme objet
de la démarche de management de la qualité ;
- une évaluation externe par un groupe d'experts, faisant appel, en tant que de besoin, à un ou des
étudiant(s), et des visites sur place décidées par l'agence ;
- la publication d'un rapport, intégrant toutes les décisions, recommandations ou autres résultats
officiels ;
- une procédure de suivi pour évaluer les actions entreprises par l'instance faisant l'objet de la
démarche de management de la qualité au regard des recommandations inscrites dans le rapport. »
8 Standards and Guidelines for Quality Assurance in the European Higher Education Area. Une version en français est
téléchargeable en PDF sur le site de l’ENQA [http://www.enqa.eu/files/ESG%20version%20FRA.pdf]
5
CHAPITRE 5
Ces évaluations assurance qualité doivent être entreprises de manière cyclique par des « agences de
management externe de la qualité » à partir d’un examen par des experts (‘évaluateurs externes’) –
agences qui doivent faire elles-mêmes l’objet d’une accréditation tous les cinq ans (inscription sur le
registre EQAR – European Quality Assurance Register).
Les procédures et méthodes d’évaluation de l’AERES s’inscrivent donc dans ce cadre général de
l’évaluation assurance qualité. Vu du côté des évalués – établissements, unités de recherche,
diplômes, écoles doctorales- les évaluations de l’AERES, du fait de l’exigence d’auto-évaluation,
sont bien initiatrices de la démarche qualité.
Une telle démarche est porteuse de l’affirmation du rôle d’animation centrale de la
présidence de l’université – y compris s’agissant des filières de formation et des unités de
recherche - dans la mesure où la présidence est l’interlocuteur de l’AERES. L’évaluation lui
donne, en outre, des éléments objectivés et légitimes d’action en mettant en évidence des pistes
d’amélioration du fonctionnement général, mais aussi de la recherche et des formations. Au-delà,
ces évaluations contribuent à la construction d’une identité des établissements et participent au
processus d’élaboration de la stratégie de l’établissement.
Les évaluations comme instrument d’un changement de logique
de négociation pour les ressources
Les évaluations de l’AERES constituent une appréciation de la performance, dont
l’expression est synthétisée sous la forme d’une note en quatre niveaux (A+, A, B, C) pour les
unités de recherche et les diplômes. Ceci ouvre la voie à une modification profonde des processus
d’allocation des ressources du MESR vers les universités.
Avant les évaluations de l’AERES, il ne pouvait y avoir qu’un critère explicite pour
l’établissement des allocations de ressources du MESR pour chaque université, à savoir un critère
de volume d’activité (algorithme : nombre d’étudiants ou de chercheurs multiplié par un
coefficient de ressources par personne), modulé par la prise en compte de facteurs spécifiques,
mal définis, donnant lieu à négociation dont les termes étaient nécessairement peu lisibles.
Aujourd’hui, ce contexte est profondément modifié puisque peuvent être introduits :
- un nouveau critère, celui d’une dotation à la performance, calculée, en traduisant les notes (A+,
A, B, C) en coefficients qu’on applique à une assiette de dotation (voir ci-dessous le modèle
Sympa) ;
- et une partie négociée sur des bases explicites et connues de tous, puisqu’il s’agit des évaluations
de l’AERES sur l’université dans son ensemble, ses unités de recherche, diplômes et écoles
doctorales.
Le débat est ainsi ouvert sur la place respective dans les dotations des universités de
l’algorithmique (calculé automatiquement) et du négocié, ainsi que sur le bon dosage entre
récompense de la performance et opportunités offertes pour mieux faire.
Les impacts des évaluations dans le cadre des relations
de l’université avec ses partenaires externes
Vue d’ensemble des résultats de l’enquête et des entretiens conduits auprès des présidents
d’Université :
Les 2/3 des répondants9 sont « d’accord » sur le fait que les orientations stratégiques de leur
université peuvent être « significativement modifiées» du fait d’un changement de politique du
6
CHAPITRE 5
MESR ou du CNRS (vis-à-vis de l’université) lié aux évaluations de l’AERES. Le dernier tiers des
répondants est « plutôt d’accord » avec ce fait. Les répondants estiment en outre que ces
évaluations ont aussi un impact, mais moindre, dans les relations de l’université avec les
partenaires du site (PRES…). Les collectivités territoriales en revanche ne sont pas considérées
comme influencées par les évaluations dans leurs relations avec l’université.
Avec le MESR
Au sein du MESR, le pôle de contractualisation et de financement des établissements de
formation et de recherche a pour mission de mettre en place, avec les universités, les contrats
quadriennaux (aujourd’hui quinquennaux) dont découle le financement qui leur est accordé par
l’Etat – et qui constitue en moyenne 85 % de leurs ressources.
Ces contrats, depuis 1984, sont élaborés dans le cadre d’un « dialogue contractuel » qui
démarre désormais dès la mise à disposition du dossier de l’AERES qui inclut l’évaluation de
l’établissement, de ses unités de recherche, de ses formations et de ses écoles doctorales, ainsi que
les remarques formulées par les différents responsables au vu de ces évaluations. Chaque année
une « vague » de contrats comprenant le quart (aujourd’hui le cinquième) des établissements est
mise en place, le processus durant une année pour chaque vague. Un cycle complet est effectué en
quatre, aujourd’hui cinq ans.
Une douzaine de conseillers scientifiques spécialistes de différentes disciplines de
formation et de recherche sont chargés auprès du directeur de la Direction générale de
l’enseignement supérieur et de l’insertion professionnelle (DGESIP) de structurer et d’animer les
discussions avec les responsables des universités en s’appuyant sur des outils communs produits
par le ministère. Ces outils d’aide à la décision (indicateurs, tableaux de cohérence, cartographies
…) font apparaître des critères d’activité et de « qualité » pour les formations et la recherche,
structurés par université, site et discipline.
Ces documents, largement basés sur les évaluations de l’AERES, constituent un référentiel
partagé et permettent au ministère d’aborder avec chaque université les questions de cohérence
par domaine en quantité et qualité – y compris à l’échelle du site, de l’appui recherche aux
masters et doctorats, de lisibilité globale de l’offre de formation et du respect des six missions
confiées par la LRU (loi liberté et responsabilité des universités de 2007) aux universités. Cette
négociation va en particulier influencer les habilitations pour les formations.
La traduction budgétaire s’effectue depuis 2009 dans le cadre du modèle SYMPA10
(SYstème de répartition des Moyens à la Performance et à l’Activité). Ce modèle (voir tableau 1)
alloue les financements de l’Etat à 80 % sur des critères d’activité et à 20 % sur des critères de
performance, dont 16 % sous forme « calculée » (algorithme identique pour tous les
établissements) et 4 % sous forme « négociée » (appréciée en fonction de la tenue des
engagements et de la qualité des projets).
Le rôle des évaluations de l’AERES est direct pour ce qui concerne le critère de
performance pour la recherche – qui pèse 12 % de la dotation globale moyenne ; le budget
correspondant (B) est en effet calculé comme :
9 Remarque : la base de connaissance, sur laquelle s’appuie ce paragraphe, a été construite par croisement des résultats d’un
questionnaire auquel ont répondu 16 présidents d’Université, d’entretiens approfondis avec trois autres présidents, d’échanges à
l’occasion des cinq réunions du groupe de travail restreint et d’une réunion du groupe élargi. Les résultats essentiels ont une
certaine robustesse mais la prudence dans les interprétations est de rigueur (cf. encadré 3).
10 Quelques ajustements devraient être apportés au modèle « Sympa » dont les principes d’affectation budgétaire n’ont pas
encore été mis en œuvre en 2011.
7
CHAPITRE 5
B = nombre d’enseignants chercheurs publiant x 37 k€11 x coefficient K
Coefficient K = 2, 1 ou 0,5 selon la note A, B ou C de l’unité de recherche des enseignants
chercheurs publiant
Les évaluations de l’AERES ont un impact indirect sur l’université qui va bien au-delà de
la part calculée de la performance en recherche puisque (a) des chiffres importants entrant dans
le calcul d’activité du modèle SYMPA, tels que le nombre d’enseignants-chercheurs publiant (ou
produisant selon la nouvelle terminologie de l’AERES) résultent des travaux effectués dans le
cadre des évaluations, (b) les éléments pris en compte dans la « part négociée » sont élaborés
dans le cadre des évaluations et (c) les évaluations des unités de recherche et des diplômes
contribuent, via la négociation contractuelle, à la labellisation des formations et filières de
formation proposées par l’établissement.
Tableau 1. Le modèle d’allocation budgétaire aux universités - modèle SYMPA (SYstème
de répartition des Moyens à la Performance et à l’Activité)
Activité
Performance
dont part calculée
Indicateurs identiques
pour tous les
établissements
dont part négociée
Total
Enseignement
60%
Nombre d’étudiants
présents aux examens
5%
4%
Valeur ajoutée réussite
Licence
Nombre de diplômés
Master
1%
Passage L1/L2 ; réussite en
L3 ;
part des mentions M à
faible effectif ; taux
d'insertion
65%
Recherche
20%
Nombre d’enseignantschercheurs publiants
15%
Total
80%
20%
12%
Notation des unités
recherche
16%
3%
Ressources issues de la
valorisation
Insertion des docteurs
4%
35%
100%
Source : Modèle d’allocation des moyens dans les universités, MESR, 2009.
S’agissant de ressources financières, il convient d’ajouter le rôle implicite – parfois même
explicite12 – de la notation des unités de recherche, pour l’acception des projets dans le cadre
d’appels à projets. Ce fait difficile à apprécier à ce stade, pourrait avoir des implications
importantes à moyen terme.
Avec les organismes de recherche, en particulier le CNRS
Le CNRS avec son Comité national de la recherche scientifique (CoNRS), ainsi que les
autres organismes de recherche, ont chacun leur propre dispositif propres d’évaluation13, prévu
dans leur statut. Dans le cadre de l’évaluation des unités mixtes de recherche (UMR), ces
dispositifs fournissent aux organismes des données pour leurs décisions d’allocation de
ressources.
11 Ce montant évolue nationalement chaque année.
12 Comme dans le cas de l’appel à proposition Labex (Investissement d’avenir).
13 A noter cependant que les enseignants-chercheurs sont électeurs et éligibles dans le cadre des sections du CoNRS.
8
CHAPITRE 5
Avant l’existence de l’AERES, malgré les évaluations de certaines unités de recherche
universitaires effectuées par le ministère chargé de la recherche14, il y avait dissymétrie dans les
interactions des universités et des organismes de recherche avec les UMR, pourtant le plus
souvent majoritairement constituées d’enseignants-chercheurs.
Les évaluations des unités de recherche par l’AERES sont devenues l’instrument partagé
qui permet aux organismes et aux universités de négocier leurs engagements dans chaque UMR,
ceci dans le cadre de la stratégie explicite de chacun des partenaires. Elles sont ainsi devenues un
élément significatif du processus de décisions concernant l’investissement des universités dans
chaque UMR. Ce point est important pour les universités alors incitées à se doter d’une stratégie
de recherche, et pour les organismes de recherche dont les relations avec les universités se
modifient aussi.
Avec les autres partenaires externes
Les impacts des évaluations dans ce cadre sont moindres que ceux évoqués ci-dessus. Ils
n’en sont pas pour autant sans importance.
- Les partenaires du site : la plupart des universités sont aujourd’hui impliquées dans des
partenariats avec des entités de recherche et d’enseignement supérieur sur une base territoriale –
partenariats qui tendent à s’institutionnaliser dans le cadre des PRES et sont favorisés par le Plan
Campus et les appels à projet des Investissements d’avenir (en particulier Idex – initiatives
d’excellence, à l’échelle de pôles). Les présidents d’Universités interrogés ne mettent pas en avant
de rôle direct des évaluations de l’AERES dans ces négociations, mais chacun les connaît et en
tient compte implicitement. A noter que les PRES vont faire l’objet d’évaluations par l’AERES, ce
qui pourrait faire évoluer leur rôle dans les mouvements et stratégies concernant la structuration
territoriale.
- Les collectivités territoriales : les présidents d’Université interrogés considèrent le plus souvent
que les évaluations de l’AERES n’ont guère d’influence sur leurs relations avec les collectivités
territoriales tant ils ont partie liée comme acteur majeur du développement local. Ceci étant, ils
ont conscience que les collectivités sont intéressées par ces évaluations et les connaissent bien.
Tel est le cas, en particulier, lorsque les collectivités territoriales sont représentées au conseil
d’administration de l’université et participent ainsi à l’évolution ou au soutien de l’université.
- Les entreprises : l’influence des rapports d’évaluation sur les décisions de collaboration des
entreprises est considérée comme faible par les présidents interrogés, la coopération reposant
souvent en premier lieu sur la connaissance et la relation de confiance entre des personnes. Il est
possible que ceci soit davantage vrai pour les PME et que les grandes entreprises adoptent des
comportements assez différents à l’avenir, utilisant les évaluations dans leur recherche de
partenaires à l’échelle mondiale.
LES IMPACTS DES EVALUATIONS DANS LES ARBITRAGES DE
RESSOURCES AU SEIN DES UNIVERSITES
Vue d’ensemble des résultats de l’enquête et des entretiens conduits auprès des présidents
d’Université :
La quasi-totalité des répondants est « d’accord » sur le fait que leurs orientations et actions
stratégiques en matière de recherche et d’offre de formation sont susceptibles d’être
« significativement modifiées» du fait des évaluations de l’AERES. Tel est l’avis des 2/3 des
répondants (le dernier tiers étant « plutôt d’accord ») pour ce qui concerne l’impact sur
l’organisation interne, le mode de gestion et les systèmes d’information.
14 Par les sections de la MSTP (mission scientifique, technique et pédagogique) – qui n’évaluaient pas les UMR.
9
CHAPITRE 5
S’agissant de l’action internationale de la politique de site, de la valorisation, de la vie étudiante et
de la communication, une minorité seulement des répondants (entre 1/5 et 1/3) est « d’accord »
avec l’idée d’un impact fort, la majorité n’étant que « plutôt d’accord » avec cette assertion.
L’impact sur la stratégie de recherche
Ceci renvoie en particulier à l’impact de l’évaluation des unités de recherche.
Les évaluations des unités de recherche par l’AERES sont généralement bien acceptées et
peuvent avoir des impacts importants et directs sur la stratégie de recherche de l’université et ses
décisions concernant les unités de recherche. Elles ont aussi des impacts plus larges pouvant
toucher à la politique de recrutements et à la gestion des ressources humaines.
Le point majeur est que, compte tenu de l’ampleur des enjeux financiers directs et
indirects liés à la notation des unités de recherche (voir ci-dessus), il y a une forte incitation pour
les universités à agir pour que le maximum possible de leurs unités soient classées A (c'est-à-dire
A ou A+). Dans bien des cas, les unités classées C sont rapidement dissoutes et leurs personnels
répartis dans d’autres unités mieux classées. Tel est même le cas parfois des unités classées B.
Une stratégie plus sophistiquée consiste à leur allouer des ressources nouvelles pour un ou deux
ans au vu d’un projet de redressement et à statuer, à l’échéance convenue, sur le devenir de
l’unité, en fonction de ses résultats et perspectives de notation future.
La stratégie de recherche ainsi impulsée peut avoir des impacts plus larges, en particulier
sur la politique de recrutement puisque le critère de performance en termes de publications –
déjà très présent – aura tendance à se renforcer. Il pourra y avoir aussi une attention accrue
portée aux activités de recherche des enseignants-chercheurs, en particulier à leurs charges
d’enseignement et à leurs charges administratives – ceci pouvant conduire à mieux mettre en
évidence le rôle des enseignants (PRAG ou enseignants associés, souvent des professionnels) et le
rôle des BIATOSS, en particulier les ingénieurs.
Ces dynamiques sont cumulatives dans la mesure où, pour leur carrière, les jeunes
enseignants-chercheurs pourraient privilégier le rattachement à une unité de recherche classée
A : ces dernières, indépendamment même de la stratégie de l’université, ont donc des atouts
importants, sans parler de l’effet de la notation sur les financements sur projet, évoqué plus haut.
Les enjeux de la notation des unités de recherche sont tels que, dans certains cas, les
décisions des universités de restructurer leurs unités et de réaménager leur stratégie de recherche
anticipent les évaluations de l’AERES : les impacts des évaluations peuvent aussi avoir lieu avant
les évaluations.
L’impact sur l’offre de formation
Ceci renvoie en particulier à l’impact de l’évaluation des diplômes et des écoles doctorales.
La notation des filières de formation et des diplômes est une des nouveautés apportées
par l’AERES. Cet exercice est moins bien balisé méthodologiquement que l’évaluation des unités
de recherche qui bénéficie de la légitimité de l’évaluation par les pairs scientifiques. En outre, il
n’y a pas d’évaluation des enseignants-chercheurs concernant leur enseignement. On est encore
loin d’une démarche qualité concernant la pédagogie qui comporterait une évaluation des
étudiants sur les enseignements et plus généralement sur leur cursus d’études.
Le travail se fait sur dossier, avec des critères comme l’insertion professionnelle (pourtant
souvent mal renseignée), les taux de succès, la cohérence avec les autres filières de formation ou
l’adossement à la recherche. Ces critères ne sont pas toujours faciles à interpréter et les questions
relatives au contexte local, qui peuvent être importantes et légitimes, sont difficiles à
appréhender. Si on ajoute la disparité de présentation des activités et de rendu des dossiers, il
n’est guère surprenant que les évaluations des filières de formation bénéficient d’une moindre
reconnaissance que celles concernant les unités de recherche.
10
CHAPITRE 5
Ceci étant, l’enjeu est de taille puisqu’il s’agit de l’habilitation des formations, nationale,
délivrée par le MESR dans le cadre du dialogue contractuel. Comme on l’a vu, ce dialogue
contractuel est éclairé par les évaluations de l’AERES et c’est ici que les évaluations des filières de
formation jouent un rôle, même si la notation de l’AERES n’est pas mécaniquement traduite en
décision par le MESR.
Un autre point important est l’impact de la démarche d’auto-évaluation effectuée par les
responsables des diplômes et les équipes pédagogiques – activité novatrice pouvant impliquer des
étudiants.
Au cours d’un contrat, une université peut décider de l’ouverture d’une nouvelle
formation et, au vu d’une évaluation ad-hoc demandée par le MESR à l’AERES, obtenir des
moyens spécifiques (nationaux).
En termes d’impacts, il convient de rappeler que pour les formations comme pour les
unités de recherche, la notation de l’AERES reste visible sur le site de l’Agence et celui de
l’université pendant les quatre (maintenant cinq) années du contrat, sans modification possible
ou retrait.
L’impact sur l’organisation interne, le mode de gestion et les
systèmes d’information
Ceci renvoie en particulier à l’impact de l’évaluation des établissements dans leur
ensemble.
S’agissant de l’évaluation des établissements, l’AERES évalue l’efficacité (la lisibilité) de la
gouvernance, la capacité à mettre en œuvre une démarche qualité et la cohérence globale du
projet eu égard à la situation de l’établissement ; elle ne se prononce ni sur le projet ni sur la
stratégie prévus pour l’avenir. C’est en effet le rôle du dialogue contractuel entre le MESR et
chaque université.
Ceci étant, le rapport d’évaluation concernant les établissements induit souvent des
ajustements qui concernent l’organisation interne, le mode de gestion, l’action internationale, la
valorisation, la vie étudiante et la communication – toutes rubriques dont il traite explicitement.
C’est ici que l’auto-évaluation va jouer un rôle important en renforçant le dialogue interne de
gestion, point essentiel en période de transition vers les RCE (responsabilités et compétences
élargies). Le travail d’auto-évaluation et celui du comité d’évaluation (comité de visite) sont
complémentaires des audits de l’IGAENR effectués pour la mise en place de l’autonomie des
universités, parfois considérés comme plus opérationnels et plus fouillés, mais qui sont
occasionnels et non systématiques.
Les questions de valorisation, de relations internationales, de vie étudiante et de
communication sont des sujets dont l’importance croît incontestablement et qui sont traités dans
les évaluations des établissements par l’AERES. L’impact des évaluations sur ces sujets est pour
l’instant encore difficile à appréhender, et certainement assez variable selon les universités ; l’effet
de « mise sur agenda » induit par l’auto-évaluation ou l’effet d’alerte induit par le rapport
d’évaluation lui-même peut être mis à profit par telle ou telle université pour avancer sur l’un des
sujets.
L’impact des évaluations de l’AERES ne se fait pas encore nettement sentir auprès des
étudiants. Les effets d’attractivité sont néanmoins sensibles dans certains masters et a fortiori
dans les doctorats et l’on s’attend à un impact fort sur les étudiants étrangers. Certaines
universités utilisent les rapports de l’AERES pour communiquer sur leur offre de formation et de
recherche.
Les constats effectués dans cette première partie, sont donc ceux d’une appropriation
réelle des évaluations de l’AERES par les dispositifs de gouvernance et de négociation du SFRI, ce
qui n’empêche pas un certain nombre d’insatisfactions, d’inquiétudes, voire de rejets. C’est cette
mise en contexte plus large qui est l’objet de la seconde partie.
11
CHAPITRE 5
Mise en perspective – questions et pistes
d’évolutions15
Dans cette partie, on aborde des questionnements concernant les usages des évaluations de
l’AERES, leurs modes de réalisation pour ensuite proposer une mise en perspective du rôle de
l’AERES dans le contexte actuel de réforme du SFRI.
Questionnements sur les usages des évaluations de
l’AERES et leurs effets
Le risque de surdétermination de la stratégie des établissements
par les critères d’évaluation
Les évaluations de l’AERES ont des effets puissants : elles modifient rapidement et
fortement un certain nombre de comportements, du fait de leur impact budgétaire et de leur
impact sur ce que les chercheurs considèrent comme leur réputation professionnelle. Etant donné
les enjeux, les critères d’évaluation tendent à devenir en eux-mêmes des objectifs pour les
institutions. Il s’agit là d’un risque classique – et grave – dès lors qu’à l’issue d’un premier cycle
d’évaluation chacun a intégré les règles du jeu et construit une stratégie permettant d’optimiser
les résultats de la seconde évaluation.
Le risque de surdétermination des stratégies par les critères d’évaluation de l’AERES est
important : se donner pour stratégie et pour seul objectif d’avoir de bonnes notes à l’AERES peut
conduire à la négation même de ce qu’est un établissement. Il ne faut pas en effet sous-estimer les
difficultés et le courage nécessaire pour réaffecter les ressources sur des critères autres que ceux
des résultats des évaluations, c'est-à-dire pour ne pas transformer l’établissement en petits
« centres de profits » bénéficiant chacun des crédits décrochés par l’obtention d’une bonne
notation de l’AERES.
Le modèle SYMPA, présenté ci-dessus, dans sa simplicité même, peut inciter à de tels
comportements. Il ne permet pas d’apprécier la diversité des situations - notamment territoriale
et sociale - des universités, et fait l’objet de critiques à ce titre16. Ceci renvoie à la logique même de
la mise en relation « algorithmique » performance – financement.
Pallier ces difficultés passe par une réflexivité sur les incitations sous-jacentes aux
évaluations de l’AERES.
Le risque d’un alignement de la recherche sur des normes
académiques trop standardisées
Le risque de substitution des critères liés au positionnement, aux missions et à la stratégie
(contextualisation) par des critères liés à la notation donnée par l’AERES existent tout
particulièrement pour les unités de recherche. En effet, le manque de temps donne de facto un
poids prépondérant aux publications scientifiques de rang A, travaux de recherche à caractère
générique (condition d’un facteur d’impact élevé), c'est-à-dire, le plus souvent, de type non
finalisé et mono-disciplinaire. C’est là donner des incitations très fortes à un alignement de toutes
15 Cette partie a été rédigée à partir des échanges qui ont eu lieu au sein du groupe de travail ; les opinions exprimées n’engagent
cependant que les auteurs du chapitre.
16 François-Gilles Carpentier (MCF à l’université de Bretagne occidentale), « Analyse du modèle SYMPA », Sauvons l’université,
12 mars 2009, [http://www.sauvonsluniversite.com/spip.php?article2144]
12
CHAPITRE 5
les unités de recherche sur un type de recherche important, essentiel même, mais qui n’est qu’un
type parmi d’autres tout aussi essentiels.
Pour pallier ce risque, un groupe de travail inter-établissement sur l’évaluation de la
recherche finalisée EREFIN17 a explicité les activités et critères correspondant à une variété de
types de recherche. Il a mis en évidence que la richesse du système de recherche est fondée sur la
diversité des unités (diversité des objectifs, diversité des relations avec les différentes
composantes de la société, diversité des processus et des activités, diversité des productions) et
que les méthodes et les critères d’évaluation ont un impact fort sur les activités des unités et leur
stratégie scientifique (d’autant plus si l’évaluation a un effet sur l’attribution de moyens). Le
groupe appelle donc à une évaluation contextualisée, à partir d’une explicitation du
positionnement de l’unité et de ses productions dont découleraient les critères d’évaluation.
Avant chaque évaluation, ce positionnement serait précisé dans un document déclaratif dans le
cadre duquel les unités auraient à définir leur profil de mission, déterminant leur profil
d’évaluation.
Ces risques sont connus des responsables de l’AERES qui s’attachent à améliorer le
processus d’évaluation au cours des vagues successives ; ceci étant, ces problèmes ne dépendent
pas que de l’AERES et résultent aussi de l’usage qui est fait des travaux de l’AERES.
Questionnements sur le mode de réalisation des
évaluations de l’AERES
Le temps de travail collectif des comités parfois trop bref ne
permet pas une contextualisation suffisante des évaluations
Des commentaires font état de visites des comités sur site jugées trop courtes et de temps
d’échanges assez brefs entre membres du comité – d’autant que les experts n’ont pas eu l’occasion
de travailler ensemble au préalable et que, du fait de la méthodologie de l’AERES, chaque comité
travaille en une seule fois. Le risque est celui d’une insuffisante compréhension des contextes et
d’un usage trop important d’indicateurs standard et simplificateurs tels les indicateurs
bibliométriques.
C’est ici que se situe la ligne de clivage entre :
- une évaluation « en substance », par les pairs – qui suppose un réel travail d’échanges sur le
fond et prend nécessairement du temps,
- et une évaluation « assurance qualité », normée ex-ante par la structure du rapport d’autoévaluation et davantage centrée sur les moyens et procédures (démarche qualité) – qui peut être
moins exigeante pour le comité, dont le rôle est davantage le repérage des écarts aux bonnes
pratiques.
Oscillant d’une certaine façon entre les deux registres, les évaluations de l’AERES sont
vulnérables – parfois - à la critique de l’insuffisant temps de travail des pairs.
17 Créé en 2006, les membres actuels en sont : le BRGM, le CEMAGREF, IFREMER, INRA, IRD, CEA, INSERM, INRETS,
LCPC, IRSN, IGN, IFP, AgroParisTech, AgroCampus-Ouest, Supagro-Montpellier, OSR.
13
CHAPITRE 5
La rigueur parfois questionnée du processus conduisant à la mise
en ligne des rapports peut porter préjudice à des entités évaluées
Les rapports étant mis en ligne sur le site de l’AERES, ils sont visibles, pendant quatre
ans, du monde entier : la notion de transparence est poussée à l’extrême, ce qui est à l’honneur de
l’AERES, mais oblige à de grandes précautions en amont. Or des critiques existent sur
l’insuffisante interaction entre l’AERES et les entités évaluées qui ont pu conduire à des erreurs
matérielles liées à des malentendus et pourtant mises en ligne. La réponse également disponible
en ligne des présidents et directeurs ne suffit pas à corriger le tir. Le risque, d’un autre côté, est
que les entités acquièrent un droit de regard sur la substance des évaluations, qui en annulerait la
crédibilité.
Le caractère de facto public des auto-évaluations nuit à leur utilité
Le rapport d’auto-évaluation au niveau de l’établissement n’est pas en ligne mais, étant
diffusé au niveau du conseil d’administration de l’université, il est de facto public. Cette diffusion
des auto-évaluations rend difficile l’exercice qui pour être utile se doit d’être sincère et dégagé de
toute visée tactique ou d’arrière-pensée. On a vu l’importance de l’auto-évaluation pour
l’évolution des établissements et comme fondement d’une démarche qualité ; il est donc
dommageable que son utilité soit mise en question par un problème de respect de confidentialité
– qui n’est certes pas le fait de l’AERES seule – et doit être traité.
Le caractère réducteur de la notation ouvre la voie aux usages
inappropriés des évaluations
Pour les unités de recherche, comme pour les diplômes et les écoles doctorales,
l’évaluation de l’AERES débouche sur l’attribution d’une note (A+, A, B ou C) qui se veut la
synthèse de l’évaluation. La méthode de notation a évolué en quatre ans et la note est aujourd’hui
« multi-critérisée » de manière explicite : elle repose18 sur une notation sur quatre critères19, dont
les référentiels sont explicités comme les échelles de notation. Il s’agit là d’un sujet sensible à
double titre :
le passage du rapport d’évaluation à une note unique, même si elle agrège les résultats de
plusieurs critères présentés au préalable, reste un processus jugé opaque, avec des interrogations
fortes sur l’inter-comparabilité entre vagues d’évaluations , et entre disciplines,
le résumé d’une évaluation en une note a la vertu d’être instantanément compréhensible et
communicable, mais en contrepartie ouvre la voie à des usages réducteurs des évaluations –
notamment en niant la variété des pondérations possibles des critères, qui renvoie à la variété des
formes d’excellences.
Une réflexion est en cours au sein de l’AERES pour le maintien ou non d’une notation et
sur son mode de présentation.
18 La note globale n’est pas la moyenne mathématique des notes partielles (par critère).
19 Pour les licences et masters : pilotage, objectifs et moyens de la réussite, domaines de formation, qualité du diplôme.
Pour les écoles doctorales : qualité de l’adossement scientifique, fonctionnement de l’ED, encadrement, suivi et insertion des
docteurs.
Pour les unités de recherche : qualité scientifique de la production, rayonnement et attractivité, intégration dans
l’environnement, stratégie, gouvernance et vie du laboratoire, appréciation du projet.
14
CHAPITRE 5
Les risques de conflits d’intérêt pour les experts dans certains types
d’évaluation
L’évaluation des unités de recherche nécessite l’intervention de près de 4 000 experts
évaluateurs par cycle ce qui pose le problème des conflits d’intérêt : le nombre d’évaluateurs est
grand par rapport à celui des évalués, rend la probabilité de proximité inappropriée, porteuse de
conflits d’intérêts, réelle. Ce sujet est sensible dans tous les domaines et particulièrement dans le
domaine des Sciences humaines et sociales où les « écoles » au sein des disciplines peuvent
induire des attitudes de rejet ou de connivence préjudiciables aux évaluations. La question de la
composition des comités d’évaluation est un sujet de débat et de préoccupation, et la prise en
compte des conflits d’intérêt devrait faire l’objet d’une attention croissante.
Questionnement sur le positionnement de l’AERES par
rapport aux besoins d’évaluation lies a l’évolution du SFRI
La relation entre types de financement et types d’évaluation
L’évolution à moyen terme des besoins d’évaluation au sein du SFRI dépend de celle des poids
relatifs des quatre principes de financement de base20 des universités par l’Etat. Il est nécessaire
en effet de distinguer quatre principes d’allocation de ressources, complémentaires les uns des
autres, à savoir :
- le financement au volume d’activité (de recherche ou de formation, notamment), mesuré par
des indicateurs de volume21, le financement étant calculé à partir d’un coefficient de dotation par
unité d’activité,
- le financement à la performance constatée (sur le passé), par calcul à partir d’un algorithme où
interviennent les notes d’évaluation de la performance et les volumes d’activités concernés par ces
notes de performance22,
- le financement à l’accréditation, en référence à un cahier des charges et à des bonnes pratiques,
ce qui renvoie à des dispositifs d’évaluation assurance qualité,
- le financement à la pertinence de la stratégie proposée par l’établissement, l’unité de recherche,
la filière de formation ou l’école doctorale pour le prochain contrat quinquennal, qui passe par
l’évaluation stratégique (ex-ante).
Ces quatre principes n’ont pas les mêmes « pré-requis » en termes d’évaluation puisqu’ils
supposent quatre types d’évaluation distincts : l’évaluation d’un volume, l’évaluation de la
performance ex-post, l’évaluation assurance qualité et l’évaluation stratégique ex-ante. Le
principe de financement au volume a été prépondérant, du moins dans les textes, jusqu’à
récemment. La réforme du SFRI, menée à un rythme soutenu depuis le milieu des années 2000,
modifie le financement des universités, d’une part en introduisant une dose sensiblement plus
importante de financement sur projet (s’agissant de la recherche) et d’autre part en modifiant la
logique du financement de base ou récurrent en introduisant à des degrés divers les trois autres
principes de financement.
L’évolution des besoins d’évaluation au sein du SFRI est la conséquence directe de celle des parts
relatives des principes d’allocation des ressources.
20 Par opposition au financement dit sur projet, tel que réalisé par exemple par l’ANR.
21 Avec éventuellement des coefficients correctifs appliqués aux volumes ou à la valeur du point permettant de tenir compte de
situations particulières.
22 Par exemple le nombre de chercheurs dans les unités de recherche ayant obtenu telle ou telle note.
15
CHAPITRE 5
Le positionnement de l’AERES par rapport aux types d’évaluation
La création de l’AERES par la loi sur la recherche de 2006 est l’expression – entre autres – de
l’émergence d’autres principes du financement de base des universités que celui du volume
d’activité, appelant des besoins spécifiques d’évaluation. Il convient de remarquer que dans la loi
de 2006, les missions et résultats attendus de l’AERES n’ont pas été référés explicitement à de
nouveaux dispositifs de financement. Autrement dit, il y a des marges d’initiatives dont il est
intéressant de voir comment elles ont été utilisées.
Quatre ans après, que peut-on dire du positionnement de l’AERES par rapport à ces principes et
dispositifs de financement ?
Il apparaît que l’AERES, schématiquement, se positionne comme suit aujourd’hui :
- les évaluations des unités de recherche pointent très clairement vers la mise en œuvre du
principe du financement à la performance, comme en témoignent l’attribution d’une note en final
de chaque évaluation et la construction d’un algorithme de financement où intervient la dite
note23 : le financement du MESR prend directement en compte la note de l’AERES selon les
règles régies par le modèle SYMPA ;
- les évaluations des établissements – avec le rôle majeur de l’auto-évaluation - ouvrent largement
sur la démarche assurance qualité, à deux restrictions près : (a) l’AERES n’ayant pas de pouvoir
d’accréditation, il ne peut s’agir que d’un travail de contribution ou d’incitation à la démarche24 et
(b) la méthodologie employée n’entre pas strictement dans le cadre classique de la démarche
qualité25, en sorte que le positionnement de l’AERES est plus implicite qu’explicite sur ce type
d’évaluation ;
- les évaluations des diplômes sont de nature plus hybrides, participant un peu des deux logiques
ci-dessus, puisqu’il est question de performance (passages d’un niveau à l’autre, insertion
professionnelle) et de démarche qualité, avec une auto-évaluation très structurée.
Au total, l’AERES a un positionnement double mais ne fait pas d’évaluation stratégique (ex-ante)
qui correspond au financement à la pertinence de la stratégie proposée. Il est important de noter
que la pertinence de la stratégie proposée intervient de manière significative dans le financement
des appels à projet du dispositif Investissement d’avenir, en particulier les Labex (recherche) et
Idex (pôle). Les évaluations auxquelles ces dispositifs ont donné lieu peuvent être qualifiées
d’évaluations stratégiques ex-ante, ce qui pourrait être un signe du besoin ressenti de ce type de
financement et d’évaluation.
L’AERES en perspective : l’hypothèse d’une évolution des besoins
d’évaluation parallèle à celle des logiques de financement
Envisager le devenir de l’AERES, c’est apprécier l’évolution de son positionnement sur les types
d’évaluation – ce qui renvoie aux besoins futurs du SFRI et donc à l’évolution de ses principes de
financement. En ce sens, on peut poser l’hypothèse d’une évolution conjointe entre l’AERES et les
logiques du financement récurrent au sein du SFRI.
En suivant cette hypothèse, et au-delà de l’opération ponctuelle des jurys Labex et Idex , une
question majeure est celle de l’émergence possible d’un financement lié à la pertinence
stratégique; en ce cas, une capacité d’évaluation stratégique s’avèrerait nécessaire, ce qui
supposerait qu’une entité soit capable de réaliser de telles évaluations – serait-ce l’AERES ? - et
23 Par l’auto-évaluation qu’elle exige, l’évaluation des unités de recherche promeut également l’évaluation assurance qualité,
mais ce point n’est pas dominant dans ces évaluations.
24 Dont les prémisses avaient été réalisées par le CNE à la fin de son existence.
25 En particulier, la grille d’auto-évaluation n’associe pas à chaque item un référentiel normatif (bonnes pratiques) duquel il
s’agirait de mesurer l’écart.
16
CHAPITRE 5
que le ministère soit en situation de se saisir de telles évaluations dans le cadre de dialogues
stratégiques.
La seconde question est celle du rôle futur de l’assurance qualité et des procédures d’accréditation
en France – et par conséquent du positionnement de l’AERES par rapport à l’évaluation
assurance qualité – aujourd’hui réelle mais implicite pour les raisons indiquées ci-dessus.
L’AERES, vue de ses partenaires européens, a une légitimité forte sur le sujet26 ; mais comme ce
type d’évaluation n’a pas d’existence formalisée dans le système français de financement des
universités, l’AERES est peu identifiée pour ce type d’évaluation par ses partenaires français.
La troisième question est celle du devenir du financement à la performance, avec le rôle déjà
établi de l’AERES, s’agissant en particulier de la recherche. Cette logique de financement pourrait
s’étendre à la formation et, dans une certaine mesure, aux établissements eux-mêmes, avec alors
une extension des travaux de l’AERES en ce sens.
Dans les deux premiers cas, il y a la double question de l’évolution des dispositifs de financements
des universités et du rôle donné (ou pas) à l’AERES par rapport aux besoins d’évaluation ainsi
générés. Dans le troisième, c’est la question de l’extension (ou pas) de l’activité de l’AERES sur un
type d’évaluation qu’elle réalise déjà pour la recherche.
Conclusion : perspectives et pistes d’évolution pour
l’AERES
L’AERES, en très peu de temps (2007-2011), s’est affirmée aux yeux des acteurs comme
institution crédible, capable d’assumer la fonction évaluation du SFRI en transformation. Elle a
fortement participé à l’émergence des universités comme acteurs stratèges et à l’évolution des
organismes de recherche comme porteurs, notamment dans le cadre des Alliances, de la
programmation. A tous ces titres, l’Agence a été un acteur central du changement durant cette
période.
Cependant, un certain nombre de critiques sur les pratiques de l’AERES et sur les usages de ses
évaluations sont mises en évidence. Ces critiques, nous semble-t-il, peuvent largement être
interprétées comme renvoyant aux limites intrinsèques d’un mandat – d’une pratique ou d’un
usage des travaux de l’AERES - qui tend à positionner l’AERES de manière privilégiée sur
l’évaluation de la performance (calculée) en vue de l’allocation de ressources.
Finalement, il ressort que l’AERES pourrait considérer trois pistes d’évolution :
- dans le cadre de l’évaluation de la performance, développer une réactivité, consistant à modifier
sans délai les indicateurs et critères dès lors qu’ils s’avéreraient porteurs de stratégies purement
adaptatives avec des effets pervers ;
- dans un cadre plus global, réfléchir, avec le MESR et les acteurs du SFRI, aux perspectives
d’évolution des logiques du financement récurrent des universités et aux conséquences en termes
d’évaluation pour la période qui s’ouvre, posant alors la question du rôle de l’AERES dans
différentes hypothèses, en particulier pour les évaluations assurance qualité et évaluations
stratégiques ex-ante ;
- s’agissant des évaluations des établissements, une question majeure se pose avec la mise en
place des regroupements rendus possibles par la LRU et la création des PRES et fortement
impulsés par les opérations Campus et Investissements d’avenir (en particulier Idex) : le contour
pour l’analyse stratégique n’est plus nécessairement celui de l’établissement ; autrement dit, des
ajustements devraient être rapidement faits pour que l’AERES soit en mesure, au cas par cas,
d’ajuster le périmètre de ses évaluations « des établissements » au périmètre pertinent qui, dans
26 Par exemple, l’AERES a obtenu le 20 mai 2011 son inscription au registre européen d’évaluation et d’assurance qualité de
l’enseignement supérieur EQAR (European Network for Quality assurance in Higher Education).
17
CHAPITRE 5
bien des cas, englobera plusieurs établissements et structures de natures diverses (universités,
écoles, PRES, FCS…).
Au-delà du théorème d’existence, brillamment démontré, s’ouvre maintenant une nouvelle phase
pour l’AERES, qui est celle de sa contribution à l’émergence d’une évaluation allant de pair avec le
SFRI renouvelé – fonction évaluation composée d’une variété de types d’évaluation, portés par
des entités elles mêmes variées. Challenge tout aussi important que le premier, et pas plus facile à
relever…
18

L`impact des évaluations de l`AERES sur la stratégie des

Transcription

Documents pareils

Déclaration de Politique Qualité

ENSEIGNEM ENT SUPÉRIEUR Ambassade de France au Canada

formation

Evaluation de la licence professionnelle Assistant juridique

PORTRAIT D` ENSEIGNANT-CHERCHEUR Prénom : Agnès Nom

Présentation perspectives pôle systèmes AERES 14 février 2014

Evaluation de la licence professionnelle Administration des

Evaluation de la licence professionnelle Visiteur médical de

Evaluation de la licence professionnelle Achat et logistique