Université Pierre et Marie Curie – Paris VI

Université Pierre et Marie Curie – Paris VI.
Mémoire en vue de l’obtention
du Diplôme Inter-Universitaire de Pédagogie
Echec des étudiants de Paris 6 à l’ECN.
Valeur prédictive du module 11 et des ECN blancs.
Soutenu le 16 octobre 2008
Par le Docteur Jacques BODDAERT
Rapporteur : Pr André Grimaldi.
RESUME
Introduction
Réussir l’examen classant national (ECN) est l’objectif prioritaire des étudiants en médecine,
mais en 2008, 20 % des étudiants de Paris 6 ont échoué selon les critères de la Faculté.
Repérer à l’avance les étudiants en difficulté pour l’ECN représente un enjeu important pour
Paris 6.
Matériel et méthodes
Analyse détaillée des résultats des étudiants de Paris 6 à l’ECN. Analyse des souhaits des
étudiants (exprimés lors d’une séance ECN blanc) pour définir le succès et l’échec selon les
étudiants, en comparaison des critères de la Faculté (Index d’excellence (premier quartile du
classement) et index d’échec (dernier quartile du classement)). Recherche de corrélation entre
le classement ECN et les résultats du module 11 et des ECN blancs.
Résultats
En 2008, 43 % (126/291) des étudiants de Paris 6 ont exprimé leur souhait avant l’ECN.
Parmi les 291 étudiants qui ont passé l’ECN, 255 ont ensuite fait un choix officiel. Les
étudiants de Paris 6 choisissaient en priorité la médecine générale (n=91), une spécialité
médicale (n=57) ou chirurgicale (n=41), et demeuraient majoritairement sur Paris (52 %,
132/255). Pour la Faculté, le succès concernait 33 % (96/291) des étudiants (vs 65 % (96/148)
selon les étudiants), tandis que l’échec concernait 20 % (58/291) des étudiants (vs 35 %
(52/148) selon les étudiants). Les notes du module 11 et des ECN blancs étaient corrélées au
classement ECN. En utilisant un critère combiné (notes du module 11 et des ECN blancs du
premier trimestre : R2=0,479 ; p<0,001), avoir une note moyenne <10 était associé à une
valeur prédictive positive de 31 % et une valeur prédictive négative de 98 % de se retrouver
dans le dernier quartile, une note <12 de 13 % et 100 % respectivement.
Conclusion
Les critères de succès et d’échec pour les étudiants diffèrent en partie des critères de la
Faculté, et devraient être pris en compte. Les notes du module 11 et des ECN blancs ne
suffisent pas à prédire l’échec des étudiants à l’ECN. Un dépistage prospectif « sur mesure »
durant toute la scolarité des étudiants semble plus adapté.
INTRODUCTION
Le Module 11 se termine par un examen qui sanctionne la fin du deuxième cycle des études
médicales (DCEM), tandis que l’examen classant national (ECN) est celui qui ouvre les
portes du troisième cycle des études médicales, permettant à l’étudiant de choisir la spécialité
et la région dans lesquelles il souhaite se former. La préparation de l’ECN repose sur
l’enseignement facultaire, mais actuellement encore surtout sur les conférences mises en place
en dehors de la Faculté. Actuellement, la faculté Paris 6, comme d’autres, a mis en place en
enseignement spécifique le samedi matin. Les résultats de l’ECN 2008, avec un taux d’échec
de 20 %, soulignent la nécessité de rechercher un moyen de détecter les étudiants en
difficulté, pour leur proposer un soutien adapté.
Dépister les étudiants en difficulté représente donc un enjeu majeur de l’Université Paris 6.
L’objectif de ce travail était d’étudier la capacité de Paris 6 à permettre aux étudiants de
choisir la filière de leur choix (succès), et d’analyser la valeur des enseignements ECN du
samedi matin et du module 11 pour détecter les étudiants en difficulté durant l’année de
DCEM4.
MATERIEL ET METHODES
Devenir des étudiants
Toutes les données utilisées ont concerné les étudiants de Paris 6 passant le concours ECN en
2008. Celles-ci ont compris les notes du module 11 et des ECN du samedi matin fournies par
la Faculté, ainsi que les résultats de l’ECN (http://www.cnci.univ-paris5.fr/) et les affectations
des
étudiants
(https://choixmed.sante.gouv.fr/login.do
puis
http://www.anemf.org/Amphitheatre-de-garnison.html). L’affectation des étudiants a été
analysée, selon leur choix de filière et de CHU.
Interprétation des résultats ECN 2008
Définition de l’échec pour la Faculté
Les critères pour la Faculté étaient définis pour le succès par l’Index d’excellence
(pourcentage d’étudiants classés dans le premier quart du classement à l’ECN (n=1451)) et
pour l’échec par l’Index d’échec (pourcentage d’étudiants classés dans le dernier quart du
classement à l’ECN).
Définition du succès et de l’échec pour l’étudiant
Le succès a été défini par un rang dans les 700 premiers, ouvrant le choix à toutes les
spécialités, et/ou un choix final correspondant au souhait émis. L’échec a été défini comme
l’impossibilité d’accéder à son choix lorsque celui-ci avait été exprimé, ou le choix d’un
redoublement.
Pour recueillir ces informations, le choix des étudiants a été recueilli lors d’une séance ECN
du samedi matin, sur la base du volontariat. Il était demandé aux étudiants de noter sur leur
copie, leur choix privilégié, qu’il concerne une spécialité et/ou une ville.
Ces souhaits ont été comparés aux affectations recueillies sur les sites. Ces différents critères
ont été comparés.
Intérêt du module 11 et des ECN du samedi matin pour détecter les étudiants en
difficulté.
Les résultats des étudiants (succès ou échec) ont été comparés aux données provenant des
notes ECN blancs, ainsi que celles du module 11, afin d’analyser la valeur de ces
enseignements et de leur évaluation pour détecter les étudiants en difficulté. Pour cela, des
régressions logistiques simples ont été réalisées entre le classement ECN :
1. les notes du module 11 ;
2. les notes de l’ECN blanc sur l‘année ;
3. les notes de l’ECN blanc sur le premier trimestre ;
4. un critère combiné associant les notes du module 11 et de la totalité de l’ECN blanc ;
5. un critère combiné associant les notes du module 11 et du premier trimestre de l’ECN
blanc ;
Le choix des notes du premier trimestre pour l’ECN blanc repose sur la nécessité de dépister
les étudiants en difficulté suffisamment tôt pour permettre une intervention, afin de les
soutenir.
Analyse statistique
Les résultats sont exprimés en moyenne ± écart-type [min – max]. La comparaison entre les
résultats ECN et les notes du module 11 et/ou des ECN blancs ont été faites par régressions
logistiques simples. Logiciel Statview.
RESULTATS
Devenir des étudiants
En 2008, 291 étudiants de Paris 6 ont passé l’ECN. Parmi eux, 255 ont fait un choix officiel
concernant la filière (Figure 1) et le CHU (Figure 2), et 36 n’ont pas fait de choix. Près de la
moitié des étudiants restaient sur Paris (52 %, 132/255). Les souhaits de spécialisation au sein
de la filière « Spécialités médicales » sont repris dans la figure 3.
Pour les étudiants qui restaient à Paris, 53 se destinaient à la médecine générale, 27 à une
spécialité médicale (5 internistes, 4 radiologues, 4 oncologues, 3 néphrologues, 3
neurologues, 2 anatomopathologistes, 2 dermatologues, et 1 cardiologue, endocrinologue,
pneumologue et rhumatologue), 19 à une spécialité chirurgicale (4 ORL, 3 orthopédistes, 2
ophtalmologistes, 2 viscéraux, et 1 neurochirurgien, urologue, plasticien, thoracique et
pédiatre), 10 à l’anesthésie réanimation, 8 à la psychiatrie, 6 à la pédiatrie, 4 à la gynécologie,
3 à la santé publique, 1 à la médecine du travail et 1 à la santé publique.
Analyse du succès et de l’échec
En utilisant les critères de la Faculté, le succès concernait 33% des étudiants qui se trouvaient
dans le premier quartile (96 étudiants dans les 1451 premiers), tandis que l’échec concernait
20 % des étudiants (58 étudiants dans les 1451 derniers, dont 6 dont le classement
n’apparaissait pas).
Concernant les critères individuels, 43 % (126/291) des étudiants ont exprimé leur souhait
avant l’épreuve de l’ECN. Certaines réponses n’ont pas été prises en compte (boucher à
Béthune) car ne correspondant pas aux postes mis au choix. Utilisant les critères individuels,
148 résultats étaient exploitables. Parmi ces 148 étudiants, 96 étudiants ont connu un succès
(choix exaucé et classement dans les 700 premiers) soit un taux de 65% (96/148) et 52 un
échec soit un taux de 35 % (52/148).
Discordances entre les critères
Dix étudiants considérés comme un succès pour la Faculté ne pouvaient accéder à leur choix
(17%, 10/59 choix exprimés ou 12%, 10/82 succès pour les étudiants). Quatre étudiants
considérés comme un échec pour la Faculté avaient accès à leur choix (31%, 4/13 choix
exprimés) mais seuls 13 des 58 étudiants ont exprimé leur souhait.
Intérêt du module 11 et des ECN du samedi matin pour repérer les étudiants en
difficulté.
En raison du faible effectif ayant participé au critère individuel d’échec et de succès, les
critères de la Faculté ont été utilisés pour la suite de l’étude. Les étudiants n’ayant participé
aux ECN blancs qu’une fois, ou n’ayant pas participé, ont été exclus de l’analyse. Les
résultats globaux des examens du module 11 et des ECN du samedi matin ont porté sur 181
étudiants (tableau 1).
Module 11
12,2 ± 1,4 [6,3 – 15,6]
R2=0,412 ; p<0,001
ECN blancs, total
10,1 ± 1,5 [5,8 – 13,5]
R2=0,484 ; p<0,001
ECN blancs, trimestre 1
9,3 ± 1,5
[5,2 - 13]
R2=0,395 ; p<0,001
Module 11 + ECN blancs, total
11,1 ± 1,3 [6 – 14,6]
R2=0,521 ; p<0,001
10,8 ± 1,4 [5,7 – 14,3]
R2=0,479 ; p<0,001
Module 11 + ECN blancs, trimestre 1
Tableau 1 : Résultats des examens (notes sur 20) du module 11 et des ECN du samedi matin. Les résultats sont
exprimés en moyenne ± écart-type [min – max].
Toutes les notes étaient corrélées au classement ECN (tableau 1 et figure 4). La répartition des
notes selon le rang le quartile est reprise dans le tableau 2 (Q1, index d’excellence, Q4 index
d’échec, Q2-3 entre les deux).
Notes
Module 11
Notes
Module 11 + ECN blanc T1
Q1
Q2-3
Q4
Q1
Q2-3
Q4
(n=74)
(n=87)
(n=20)
(n=74)
(n=87)
(n=20)
<11
3
21
11
<10
8
30
17
<12
16
50
17
<11
17
63
19
<13
35
72
20
<12
44
85
20
<14
54
86
20
<13
66
87
20
<15
68
87
20
<14
72
87
20
<16
74
87
20
<15
74
87
20
Tableau 2 : Répartition des notes des étudiants pour le module 11 seul et avec le premier trimestre de l’ECN
blanc. Les résultats sont répartis selon les quartiles, et exprimés en nombre d’étudiants.
La valeur prédictive positive (VPP) correspond au risque (exprimé en pourcentage) pour une
note donnée de se retrouver dans le dernier quartile (Index d’échec). Pour les notes du
module 11, une note moyenne <11 était associée à une VPP de 31 % et une valeur prédictive
négative (VPN) de 94 %, une note <13 de 15 % et 100 % respectivement. Pour les notes du
critère combiné, une note <10 était associée à une VPP de 31 %, une VPN de 98 %, une note
<11 à 19 % et 99 % et une note <12 de 13 % et 100 % respectivement.
DISCUSSION
Nos résultats apportent une cartographie instantanée de ce que deviennent les externes formés
à Paris 6 entre 2002 et 2008. Ces résultats confirment que la majorité de nos externes
deviendront médecins généralistes, autant en région parisienne qu’en Province. Surtout, en
tant qu’enseignant, on peut être frappé par l’absence de suivi pour les anciens de Paris 6. En
effet, à l’époque de la réforme des Universités, à l’époque de la reconnaissance de
l’excellence de certaines d’entre elles dont Paris 6, à l’époque où un ministre a même décidé
de remettre au goût du jour la remise de médaille, pour valoriser la qualité des diplômes par
une reconnaissance publique et collégiale, on peut s’étonner de l’anonymat dans lequel
sombrent nos anciens externes une fois « tombés du nid ». Si cette dernière initiative semble
s’inspirer des nombreux modèles universitaires anglo-saxons, qui répondent d’ailleurs à des
cultures différentes, la sensation d’appartenir à une grande université, un certain esprit de
corps, la création d’un esprit « campus » pourrait être une réponse à l’explosion
démographique de nos promotions d’externes, qui vont être confrontés à des études de plus en
plus anonymes.
Concernant les souhaits des étudiants, les critères de la Faculté sont utiles pour se comparer
entre elles, mais sont clairement inadaptés aux étudiants dans la mesure où seuls le rang et les
extrêmes sont pris en compte. En demandant leurs souhaits aux étudiants, nos résultats
apportent des données originales suggérant qu’un bon classement pourrait ne pas être
satisfaisant, quand un mauvais classement pourrait l’être. Cependant, la participation fondée
sur le volontariat en une occasion unique n’a pas été suffisante pour donner une cartographie
réelle des souhaits des étudiants. On peut pour cela évoquer des facteurs liés à la superstition,
au choix non abouti, ou encore l’absence de motivation. Dans la mesure où les ECN blancs
vont devenir obligatoires (avec l’accord des étudiants) à partir de 2009, il pourrait être
proposé aux étudiants, au fil de l’année, de donner leurs souhaits de manière plus
participative, le recueil précédent ne reposant que sur une seule interrogation. Cette
information semble utile dans la mesure où Paris 6, en l’utilisant, pourrait être la première
université à témoigner de son intérêt pour ses étudiants en médecine en parlant de
pourcentage de chances de voir son souhait exaucé.
Si le résultats des module 11 et ECN blancs semblent bien corrélés au classement de l’ECN,
aucun des paramètres étudiés ici ne permet de dépister sur ce simple critère un étudiant en
difficulté. Par contre, avoir une moyenne de 13 au module 11 (VPN 100 %) et de 10 (VPN 98
%), 11 (VPN 99 %) ou 12 (VPN 100 %) au critère combiné (module 11 + ECN blancs du
premier trimestre) garantit de ne pas figurer dans le dernier quartile (index d’échec). Cet index
d’échec est une priorité de Paris 6, et fait déjà l’objet de discussions au sein du Conseil des
Etudes. Bruno Fautrel a mis en évidence des facteurs en 2007 (redoublement, passage direct
P1-D4) qui ne sont pas retrouvés en 2008. La détection de ces étudiants en difficulté doit donc
reposer sur une démarche prospective, tout au long des études de l’étudiant, dans le cadre
d’une collaboration entre les services cliniques et l’université. La reprise d’un tutorat pourrait
avoir un réel intérêt dans ce cadre, mais repose sur la réelle motivation des tuteurs.
Que proposer à des étudiants jugés en difficultés ? L’orientation des enseignements de
DCEM3 vers des dossiers type ECN peut être utile, mais ne doit pas se faire au prix du
sacrifice de la substance des différents enseignements. La mise en place de conférences
comme en DCEM4 pourrait aussi être discutée, et serait déjà en place dans certaines autres
universités. Mais dans la mesure où ce soutien devrait concerner des étudiants en
« difficultés », un encadrement plus individuel (petits groupes) semble plus adapté. Là encore,
il reposera sur la motivation et la disponibilité des enseignants impliqués.
CONCLUSION
Notre étude donne une photographie instantanée du devenir des étudiants de Paris 6 après
l’ECN. L’intérêt porté aux souhaits des étudiants (en complément des critères de la Faculté) et
aux moyens de dépister les étudiants en difficulté mérite de compléter l’étude réalisée, dont la
portée des résultats est limitée par la faible participation des étudiants. Ceci pourrait être
réalisé avec l’obligation pour les étudiants de participer aux ECN blancs.
100
90
80
70
60
50
40
30
20
10
0
94
57
41
16
16
15
8
Med G
Spe
Med
Chir
A-Réa
Psy
Pédia
Gyneco
4
S-Pub
3
Travail
1
Bio
Figure 1 : choix des étudiants provenant de Paris 6 concernant les filières sur 291 étudiants. 36 n’ont pas
exprimé de souhaits. Les résultats sont exprimés en nombre d’étudiants.
LILLE: 23
AMIENS: 3
ROUEN: 6
REIMS: 5
CAEN: 8
NANCY: 6
BREST: 0
RENNES: 3
NANTES: 5
STRASBOURG:
12
PARIS: 132
DIJON: 4
ANGERS: 1
TOURS: 6
POITIERS: 1
LIMOGES: 0
BESANCON: 1
LYON: 5
CLERMONT: 0
ST ETIENNE: 1
GRENOBLE: 2
BORDEAUX: 7
TOULOUSE: 1
MARSEILLE: 9
NICE: 2
MONTPELLIER: 10
Figure 2 : choix des étudiants provenant de Paris 6 concernant les CHU sur 291 étudiants. 36 n’ont pas exprimé
de souhaits. Les résultats sont exprimés en nombre d’étudiants.
12
11
10
8
7
6
6
6
5
4
4
3
3
3
2
2
0
2
1
Med Int
Radio
Cardio
Onco
Pneum o
Nephro Rhum ato
Endoc
Neuro
Anapath Derm ato
Nucl.
Figure 3 : choix des étudiants provenant de Paris 6 concernant leur souhait de spécialisation dans la filière
spécialités médicales sur 291 étudiants. 36 n’ont pas exprimé de souhaits. Les résultats sont exprimés en nombre
d’étudiants.
A
15
14
14
13
13
12
12
11
10
11
10
9
9
8
8
7
7
6
6
-1000
0
1000
2000
3000
ECN
Y = 13,506 - ,001 * X; R^2 = ,412
4000
5000
B
Graphe de régression
15
mod 11+T1
mod 11
Graphe de régression
16
6000
5
-1000
0
1000
2000
3000
ECN
Y = 12,096 - ,001 * X; R^2 = ,479
4000
5000
6000
Figure 4 : Comparaison entre le classement ECN et les différentes notes aux examens : module 11 (A), ou
module 11 + trimestre 1 des ECN blancs (B).