PEDR : synthèse de la campagne 2014 et propositions de la CP-CNU

PEDR : synthèse de la campagne 2014 et
propositions de la CP-CNU
Cette synthèse se concentre sur les questions formulées lors des réunions tripartites avec le
bureau de la CPU et la DGRH des 12 février et 4 mars 2015.
Elle s’appuie sur l’analyse des recommandations aux candidats publiées par chaque section
sur le site cpcnu.fr, sur les réponses explicites de 17 sections (nos 7, 8, 11, 12, 15, 21, 23, 24,
26, 29, 35, 36, 63, 65, 68, 70, 74) à un questionnaire, et sur divers échanges entre membres
du bureau et du comité consultatif de la CP-CNU.
Les propositions finales résultent des débats et votes pendant l'Assemblée Générale de la
CP-CNU du 9 octobre 2015.
Table des matières
1. La diversité des pratiques évaluatives (entre sections et au sein des sections)........................ 2
2. Le lien entre l’appréciation par critère (P, E, D, R) et le classement final en trois groupes...2
3. Qu’est-ce que l’inversion apparente de classement ?........................................................................... 3
4. Pour une nouvelle utilisation des appréciations A, B et C.................................................................. 4
5. Des critères d’appréciation spécifiques pour les MCF......................................................................... 5
6. Les propositions de la CP-CNU....................................................................................................................... 5
6.A. Un classement en deux groupes principaux.............................................................................................................. 6
6.B. La disparition du 3e groupe contingenté.................................................................................................................... 6
6.C. La détermination du quota pour le 1er groupe........................................................................................................ 7
6.D. La base de calcul du quota pour le 1er groupe : nombre de candidats ou effectif de la section ?........8
1
1 La diversité des pratiques d'évaluation (entre sections et au sein
des sections)
Il existe une très grande diversité dans les pratiques des enseignants-chercheurs de
différentes communautés relevant des sections CNU, voire à l'intérieur d'une même section.
La notion de « publication » est ainsi le plus souvent associée à une publication dans une
revue à comité de lecture. Mais elle peut aussi comprendre des formes alternatives ayant
dans certains cas une plus grande importance : ouvrages scientifiques collectifs, livres
publiés à compte d'auteur, actes de conférence, notes internes destinées à une
collaboration... Par ailleurs, la création massive de nouvelles revues, motivée par la marge
bénéficiaire exceptionnelle de l'édition scientifique, remet encore plus en cause l'idée trop
répandue que la publication d’articles de revue est l'unité de mesure objective de l'activité
de recherche. L'expertise scientifique de dossiers individuels demande donc plus que jamais
un examen qualitatif par des experts de la discipline, qui ne saurait se réduire à des
indicateurs bibliométriques universels, présentés comme « objectifs » , m a i s n e
reconnaissant pas la diversité des supports de l’activité scientifique, et conduisant bien
souvent à des résultats biaisés.
Concernant l'encadrement doctoral, il existe un clivage important entre lettres et SHS d’un
côté, et les sciences dites « dures » de l’autre, dans la prise en compte d'une activité de coencadrement doctoral. Alors que le co-encadrement de doctorat est largement
institutionnalisé dans les disciplines scientifiques, souvent pris en charge par des MCF nonHDR, cette possibilité est jugée impossible dans les lettres et SHS où la détention de l’HDR
est la condition préalable pour tout encadrement.
Face à cette diversité, les sections fournissent des recommandations spécifiques aux
candidats.
2 Le lien entre l’appréciation par critère (P, E, D, R) et le classement
final en trois groupes
Seule une très faible minorité des sections (3 sur les 17 réponses explicites : sections 21, 35
et 74) instituent un lien mécanique entre les appréciations de chacun des 4 critères (P, E, D,
R) et le classement final en 3 groupes (20 %, 30 %, 50%). Certaines ont tenté de le faire,
mais ont dû apporter des corrections (section 12) ou simplement abandonner (section 7).
Plusieurs raisons peuvent être invoquées :
1.
les appréciations par critères étant absolues (et donc indépendantes de la
2
pression particulière exercée par les candidats une année donnée) et non
contingentées, il y a peu de chances qu'elles permettent de dégager un
classement en exactement 20 %, 30 % et 50 % des candidats d'une section.
2.
s'il fallait chiffrer des appréciations comme « de la plus grande qualité » (A)
ou « satisfait pleinement aux critères » (B), celles-ci ne correspondraient pas à
une note précise (p. ex. 17/20 ou 14/20), mais plutôt à un intervalle de notes
(p. ex. entre 17 et 20/20, ou entre 14 et 17/20)
3.
plusieurs sections (sections 63 et 87 par exemple) ont établi un barème précis
permettant une évaluation quantitative fine pour chaque critère (P, E, D ou R).
Les notes correspondantes conduisent aux 4 appréciations d'une part, et au
classement final d'autre part. Mais le lien entre les deux n'est cependant pas
apparent, sans la connaissance de ces notes précises.
Les deux dernières remarques permettent de comprendre ce que l'on pourrait appeler une
« inversion apparente de classement », qui concernait pas moins de 25 % des candidats en
2014.
3 Qu’est-ce que l’inversion apparente de classement ?
Si la majorité des sections donne un poids prépondérant aux deux premiers critères (P, E)
par rapport aux deux derniers (D, R), on ne peut préjuger de l'importance de cette
pondération qui, le plus souvent, n'est pas quantifiable. Sur la base des seules appréciations
par critère, il alors impossible de d'interclasser deux dossiers de la même section qui
auraient reçu des appréciations ABAA et AABA. Mais on pourrait être tenté de croire qu'un
3e dossier, que la même section aurait apprécié AAAA, devrait être meilleur que les deux
précédents. Si ce troisième dossier est classé dans le groupe « 30 % » alors que les deux
précédents sont dans le groupe « 20 % », il y a une sorte d'inversion de classement. Cette
inversion n'est cependant qu'apparente, et peut s'expliquer par un effet d'intervalle : il se
pourrait par exemple que l'appréciation « A » pour la production scientifique du 3 e dossier
traduise en réalité une qualité de publications inférieure à celle des deux premiers dossiers,
que la section aurait voulu apprécier « A+ » sans que cela soit possible. Au final, ce sont 25 %
des dossiers qui sont concernés par une telle inversion apparente de classement, c'est-àdire qu'il existe soit un dossier de la même section qui a un meilleur classement final avec
au moins une appréciation moins bonne (les autres appréciations étant identiques entre les
2 dossiers), soit un dossier moins bien classé avec au moins une appréciation meilleure.
Il est intéressant de remarquer que ce phénomène n'est pas lié à une évaluation qualitative
des dossiers, bien au contraire. En effet, les sections qui procèdent à une évaluation
quantitative fine et objective de chaque critère ont en réalité un pourcentage
3
significativement plus important de dossiers avec une inversion apparente de classement :
65% pour l'une, ou 44 % pour l'autre, au lieu de 25 % pour la moyenne.
En conclusion, les appréciations par critères qui sont demandées aux sections ne sont
souvent utilisées par celles-ci que pour opérer à un premier tri des dossiers. Même à
l'intérieur d'une section, où il existe une hiérarchie indiscutable entre les différentes
appréciations d'un même critère (A>B>C), ces appréciations ne fournissent donc qu'une
information complémentaire au classement en trois groupes opéré par la section. Dans la
plupart des cas, elles ne permettent pas d'expliquer ce classement, et dans 25 % des cas,
une utilisation mécanique des appréciations A, B, C mènerait à un classement différent.
On peut alors s'interroger sur la légitimité de la décision, par un établissement, d'attribuer
des primes sur la seule base d'une comparaison systématique des dossiers à partir des
lettres A, B, C – par exemple, entre les appréciations ABAA d'une section et les appréciations
AAAA d'une autre section. En effet, au problème de la comparaison entre intervalles
mentionné plus haut, s’ajoute le fait que l'intervalle correspondant à « A » pour une section
peut fort bien être différent de l'intervalle « A » pour une autre section. Ceci est
probablement le cas, si on remarque qu'une section attribue l'appréciation « A » pour la
production scientifique à 89 % de ses candidats, alors qu'une autre ne le fait que pour 27 %
de ses candidats.
Taux de succès des candidats de la section
Le diagramme ci-contre montre que Succès des candidats à la PEDR 2014 selon le nombre
d'appréciations "A" attribué, dans chaque section,
ces différences dans la distribution
au critère "Production scientifique"
des appréciations A, B, C ne sont
60%
pas sans effet sur le taux de succès
des candidats de chaque section :
55%
plus une section attribue de « A »,
50%
plus les chances de ses candidats
45%
sont accrues. Une telle situation
peut induire à terme une dérive à la
40%
hausse des pourcentages de « A »
35%
dans toutes les sections.
30%
Ce diagramme représente chaque
25%
section comme un disque, localisé
20%
verticalement par le taux de succès
20% 30% 40% 50% 60% 70% 80% 90% 100%
de ses candidats (rapport entre le
Pourcentage dans la section d'appréciations "A" pour le critère "P"
nombre de primes et le nombre de
candidats de la section) et
horizontalement par le pourcentage des candidats de la section ayant reçu une appréciation
« A, de la plus grande qualité » pour le critère « P, production scientifique ». La surface de
4
chaque disque est proportionnelle au nombre de candidats de la section (qui varie de 3 en
section 77, à 518 en section 27). À l'exception de quelques petites sections, on constate une
corrélation significative entre le pourcentage de « A » et le taux de succès à la PEDR.
4 Pour une nouvelle utilisation des appréciations A, B et C
Étant donné ces disparités entre sections, il semble judicieux d'utiliser les pourcentages
d'appréciations A, B, C dans la section ; ces pourcentages constituent en effet une
information pertinente en l'absence de quotas. Pour comparer les dossiers de sections
différentes, il faudrait alors :

remplacer l'appréciation sur chaque critère par le pourcentage de candidats de la
section ayant obtenu cette appréciation ou une appréciation meilleure,

comparer ces pourcentages (plutôt que les appréciations) et

donner la préférence aux pourcentages les plus bas (plutôt qu'aux meilleures
appréciations)
Les tableaux suivants illustrent la différence introduite par cette nouvelle proposition sur le
classement de deux dossiers de sections différentes, classés dans le 2e groupe en 2014.
Une répartition très différente des appréciations (A, B, C) selon les sections du CNU :
une illustration à partir de deux sections X et Y
Ensemble
de la
section
Production
Encadrement
Diffusion
Responsabilités
A
B
C
A
B
C
A
B
C
A
B
C
Section X
27 %
57 %
15 %
14 %
37 %
48 %
16 %
59 %
24 %
19 %
40 %
41 %
Section Y
89 %
11 %
0%
80 %
18 %
2%
53 %
45 %
2%
72 %
26 %
3%
Remplacement des appréciations (A, B, C) de deux dossiers particuliers par le pourcentage de
dossiers de leur section respective ayant reçu une appréciation supérieur ou égale
Dossiers particuliers
Dossier 1 :
Dossier 2 :
P
E
D
R
appréciations
A
B
A
A
→ % en section X
→ 27 %
→ 51 %
→ 16 %
→ 19 %
appréciations
A
A
A
A
→ % en section Y
→ 89 %
→ 80 %
→ 53%
→ 72 %
Si le dossier 1 (ABAA) semble moins bien classé que l'autre (AAAA) en comparant les
appréciations (A, B, C), il sera mieux classé en comparant les pourcentages : ses
pourcentages, plus petits, le placent en effet dans une sélection plus serrée de candidats.
5
L'utilisation de ces pourcentages par les établissements mettrait un frein à une possible
dérive des sections vers 100 % d'appréciations A, sans pour autant imposer des quotas sur
les appréciations, que la majorité des sections voudraient éviter. Un établissement pourrait
par exemple décider de classer ses dossiers du 2e groupe selon une moyenne pondérée des
pourcentages pour chaque critère P-E-D-R.
Si cette proposition permet de tempérer et de réguler les disparités entre sections, elle ne
résout pas le problème d'intervalle mentionné plus haut. C'est pourquoi il nous semble
souhaitable de limiter le nombre de dossiers pour lesquels la décision d'attribution se fonde
sur ces appréciations.
5 Des critères d’appréciation spécifiques pour les MCF
Selon notre enquête, une majorité de sections modulent leurs exigences selon le corps, et
parfois selon le grade. Pour les MCF, la différence principale réside dans les activités
d'encadrement qui sont reconnues en l'absence d'HDR. Selon les sections, il peut s'agir soit
d'encadrements de stage de Master 2, soit de co-encadrements avec un directeur de thèse
possédant une HDR.
Les critères de reconnaissance de ces activités figurent le plus souvent dans les
recommandations de la section. Ils varient selon les sections en fonctions des pratiques de
la communauté.
6 Les propositions de la CP-CNU
La CP-CNU propose d’établir un système qui repose sur l’identification de deux groupes,
selon une pratique qui n’est pas éloignée de celle qui est en vigueur dans d’autres
procédures comme l'avancement de carrière.
6.A Un classement en deux groupes principaux
Pour les futures campagnes PEDR, la CP-CNU propose que chaque section :
1. Classe les dossiers en 2 groupes principaux :
◦ un 1er groupe (« doit avoir la prime »), contingenté par un quota identique pour
toutes les sections ;
◦ un 2e groupe (« liste de réserve »), non contingenté ;
◦ un éventuel 3e groupe (« non classé »), qui pourrait être utilisé par la section
uniquement dans les cas qu'elle juge pertinents.
6
1. Émette des appréciations (A, B, C) non contingentées, sur chacun des 4 critères P-ED-R, sachant que les statistiques de la section pour le 2e groupe seront publiques et
pourront être utilisées par les établissements (comme détaillé plus haut).
2. Émette une appréciation qualitative (avis écrit) qui, avec les appréciations P-E-D-R,
pourra aider à un interclassement entre candidats du 2e groupe, à condition toutefois
que les établissements en fassent usage.
Après discussion, cette proposition a été plébiscitée à l'Assemblée générale de la CP-CNU
réunie en session plénière le 9 octobre 2015 : 70 pour, 6 contre, 11 abstentions, 3 refus de
vote.
La disparition du contingentement dans le 2e groupe est motivée par la considération
suivante. Si l'attribution d'une prime peut avoir un effet incitatif souhaitable pour l'activité
globale de recherche et d'encadrement, l'effet décourageant d'un refus de prime – et a
fortiori d'un arrêt de prime au bout de 4 ans – existe, et son importance mériterait d'être
évaluée.
6.B La disparition du 3 e groupe contingenté
Le classement dans un 3e groupe (actuellement, « 50% ») est une source supplémentaire
importante de découragement. Il présente un effet profondément stigmatisant et, à ce titre,
exerce de fait un effet contre-productif sur de nombreux enseignants-chercheurs : beaucoup
se sentent dévalorisés, renoncent à formuler une nouvelle demande, et il n'est pas exclus
que cela ait un impact sur leur niveau d’investissement scientifique (souvent déjà très
conséquent). Alors que la PEDR est présentée comme une incitation à développer ou à
poursuivre des activités scientifiques, le 3 e groupe a pour effet de générer un
découragement professionnel pour les candidats qui y sont placés, et qui constituent
actuellement la moitié des candidatures.
Ce classement dans un 3e groupe, dont l'effet est en pratique celui d'une étiquette « ne
devrait surtout pas recevoir la prime », est d'autant plus inutile que cette étiquette ne
correspond bien souvent pas à la réalité. Par exemple, les meilleurs candidats du 3e groupe
méritent presque autant la prime que certains candidats du 2e groupe. Il n'y aurait donc pas
de réel problème si ces derniers ne recevaient pas la prime alors que les premiers la
recevaient, sauf peut-être pour des candidats à l'intérieur du même établissement et dans la
même section. Mais dans ces rares cas, une appréciation qualitative (textuelle) serait aussi
efficace et beaucoup moins stigmatisante qu'une séparation par groupes avec quotas.
6.C La détermination du quota pour le 1 er groupe
Nous avons constaté ci-dessus que :
7
1. Il est souhaitable de supprimer le contingentement du 2e groupe (la « liste de
réserve »). Ce décontingentement a deux avantages :
◦ Il ne lèse en rien le pouvoir d’appréciation des établissements. Au contraire, il
laisse à ces derniers une marge d’appréciation sur une cohorte plus importante
de candidats.
◦ Il ne crée pas d’injustice pour un grand nombre d’enseignants-chercheurs qui ont
toutes les qualités pour être dans un groupe signifiant « mérite la prime », alors
qu’avec le système de quota actuel, ils basculent mécaniquement dans un
3e groupe signifiant « ne mérite pas la prime ». Ceux qui n’obtiendront pas la
prime, tout en étant dans le 2e groupe, seront plus incités à se représenter
2. Les appréciations A, B, C sur les 4 critères P, E, D, R manquent de précision,
puisqu'elles ne permettent pas d'expliquer à elles seules le classement en trois
groupes opéré en 2014 par chaque section ;
3. Ces appréciations ne sont pas directement comparables d'une section à l'autre, en
raison notamment d'une ambiguïté dans la signification accordée à ces
appréciations. Il faut noter que cette ambiguïté est entretenue par la variation
considérable dans les montants attribués par les établissements (de 900€ à 10 000€
annuels versés au bénéficiaire de la PEDR). Cette variation des montants induit une
variation tout aussi importante dans la signification effective de la prime.
En conséquence, la comparaison scientifique opérée par un établissement entre dossiers du
2e groupe appartenant à des sections différentes sera donc imparfaite. À moins que les
établissements ne souhaitent (et puissent) refaire une évaluation fine de ces dossiers, il faut
alors minimiser le nombre de primes attribuées aux dossiers du 2e groupe. Il faut par
conséquent augmenter le quota de dossiers du 1er groupe, jusqu'à une hauteur (p.ex. 40 %
des dossiers) supportable par les établissements ayant les pourcentages de dossiers du
1er groupe les plus élevés. Ces établissements attribueraient la totalité des primes aux
candidats du 1er groupe, et pourraient éviter d'interclasser les dossiers du 2e groupe.
6.D La base de calcul du quota pour le 1 er groupe : nombre de candidats ou
effectif de la section ?
Les quotas actuels sont établis sur la base du nombre de candidats dans chaque section. Si
cette méthode offre l'avantage d'une pression identique, chaque année et dans chaque
section (20 % = ratio établi par rapport au nombre total de candidats qui se présente sur
l’année), on assiste toutefois à de grandes variations dans le nombre de candidats d'une
année sur l'autre (± 30 % dans certaines sections), et donc au nombre de dossiers classés
dans le 1er groupe. En outre, certaines sections semblent entrées dans un cercle vicieux : le
8
faible nombre de candidats limite le nombre de dossiers du 1er groupe, qui à son tour
décourage les candidats, menant à un taux de candidature de plus en plus faible.
La proposition d’établir dans chaque section, comme c'est le cas pour les promotions, le
quota pour le 1er groupe sur l'effectif de la section, indépendamment du nombre de candidats
sur l’année, a été discutée le 9 octobre par l’Assemblée Générale de la CP-CNU.
Par rapport au quota établi sur le nombre de candidatures (situation actuelle), la
proposition de passer au principe d'un quota établi sur les effectifs (nouvelle proposition) a
obtenu la majorité : 54 pour, 25 contre, 4 abstentions, 8 refus de vote.
Dans l'hypothèse où cette proposition serait acceptée, il a ensuite été demandé de voter sur
la proposition d'avoir deux quotas séparés, l'un pour les MCF et l'autre pour les PU, chacun
étant établi sur un pourcentage des effectifs dans chaque corps, plutôt que d'avoir un quota
global, MCF et PU confondus. La proposition de quotas séparés a obtenu une adhésion plus
mitigée : 39 pour, 23 contre, 18 abstentions, 3 refus de vote.
Le résultat de ce dernier vote ne montre pas une majorité solide et définitivement établie
sur cette question, si l’on observe le nombre cumulé de votes contre, d’abstentions et de refus de vote. Il sera sans doute opportun, à l’avenir, de dégager une solution qui réunisse une
large majorité de l’assemblée.
Il faut par conséquent étudier toutes les conséquences à court et à long terme des deux
dernières propositions, qui modifieraient en profondeur la définition de la PEDR et
bouleverseraient la distribution de ses récipiendaires. Dans la proposition de quotas
séparés, par exemple, certaines sections verraient le nombre de primes distribuées aux PU
brutalement divisé par 4, et celui aux MCF multiplié par 4, sans aucune possibilité d'opérer
un transfert si les candidats MCF se révélaient insuffisants en nombre ou en qualité. La
décision d'appliquer l'une ou l'autre de ces propositions demande plus de réflexion et de
travail, ainsi que l'assentiment de la nouvelle CP-CNU qui les mettra en œuvre.
Le 19 octobre 2015
Jean Orloff et Olivier Nay
pour le Bureau de la CP-CNU
9