Much Ado About Nothing - Université catholique de Louvain

Redoublement et performance éducative
Analyse de l'impact de la réforme de 2001 en Communauté française de Belgique
Michèle Belot1
Vincent Vandenberghe2
Résumé
Cette communication évalue les effets du redoublement sur la performance des élèves de 15 ans en exploitant la
réforme de 2001 en Communauté française réintroduisant de la possibilité de faire doubler les élèves en fin de
1re secondaire. La réforme constitue une «expérience naturelle», introduisant une source de variation exogène
dans la proportion d'élèves en retard et permettant donc d'identifier un effet causal du régime de redoublement.
Nous utilisons des données PISA mesurant les scores des élèves avant et après la réforme pour en évaluer les
effets. Plus précisément, nous évaluons si la réforme a conduit à retenir dans les années inférieures les élèves les
plus faibles (effet filtre) : ceux qui pourraient, en théorie, pâtir d'une promotion automatique dans l'année
supérieure. L'observation d'un effet filtre constitue la condition minimale pour que le redoublement soit efficace.
Or nous ne parvenons pas à mettre en évidence un tel effet filtre, même en isolant le public au sein duquel il
devrait se manifester le plus nettement. Ce résultat conduit à douter de l'efficacité du redoublement tel qu’il se
pratique en Communauté française de Belgique.
JEL: I20, I28, H52
Mots clefs: Redoublement, performance scolaire, effet filtre
1
Oxford University, Nuffield Centre for Experimental Social Sciences (CESS), Nuffield College
[email protected]
2
Université catholique de Louvain (UCL), Economics School of Louvain (ESL)
[email protected]
2
1. Introduction
Le redoublement fait l’objet d’un débat récurrent et souvent passionné dans nombre de pays développés.
Certains pays privilégient un système de « promotion sociale » qui consiste à faire passer automatiquement les
élèves dans l’année supérieure indépendamment de leurs résultats. D’autres pays pratiquent le redoublement de
façon plus ou moins systématique, avec un passage dans l’année supérieur conditionnel au fait que les résultats
soient supérieurs à un certain seuil. La conséquence de cette diversité de situations est que la part des élèves de
15 ans fréquentant la 4e année du secondaire (soit l’année qu’atteignent les élèves à cet âge s’ils n’ont jamais
redoublé) varie considérablement au sein des pays de l’OCDE et émergents (Figure 1). Des pays/entités comme
les Pays-Bas, l’Autriche, la France et la Communauté française de Belgique ont une proportion d’élèves de 15
ans en 4e secondaire relativement faible. A l’inverse, pratiquement tous les élèves de 15 ans fréquentent cette
année dans des pays comme le Japon, la Suède, la Norvège, ou le Royaume Uni, ce qui suggère l’absence de
redoublement.
3
Figure 1 – Score moyen en math et part des élèves de 15 ans fréquentant l’année de référence a. Année 2006
PISA score moyen
600
TAP
HKG
MAC
AUT
500
FRA
SVK
450
ESP
RUS
PRT
TUR
URY
THA
ISR
MEX
CHL
ARG
400
TUN
KOR
CHE
LIE
NZL JPN
CAN
AUS
DNK
ISL
DEU
SWE
IRL
POL
GBR
HUN
LVA LUX
NOR
LTU
SVN
USA AZE
ITA
HRV
GRC
EST
BFR
FIN
BFL
NLD
CZE
550
COL
BRA
SRB
BGR
ROU
JOR
IDN
MNE
350
0
0.2
0.4
0.6
0.8
1
Part des élèves fréquentant l'année de référence
a) 4e secondaire (grade 10) pour la plupart des pays, 3e secondaire (grade 9) sinon. L’année de référence est définie comme
l’année qui concentre le plus d’élèves de 15 ans ayant pris part à l’enquête PISA de l’OCDE.
ARG : Argentina ; AUS : Australia ; AUT : Austria ; AZE : Azerbaijan ; BFR : French-Speaking Community of Belgium;
BFL: Flemish-Speaking Community of Belgium; BGR : Bulgaria ; BRA : Brazil; CAN : Canada; CHE : Switzerland; CHL :
Chile COL : Colombia CZE : Czech Republic; DEU : Germany; DNK : Denmark; ESP : Spain EST : Estonia; FIN : Finland;
FRA : France; GBR : United Kingdom; GRC : Greece; HKG : Hong Kong-China; HRV : Croatia; HUN : Hungary; IDN :
Indonesia IRL : Ireland; ISL : Iceland; ISR : Israel; ITA : Italy JOR : Jordan; JPN : Japan KGZ : Kyrgyzstan; KOR : Korea
LIE : Liechtenstein LTU : Lithuania LUX : Luxembourg; LVA : Latvia; MAC : Macao-China; MEX : Mexico; MNE :
Montenegro; NLD : Netherlands; NOR : Norway; NZL : New Zealand; POL : Poland; PRT : Portugal QAT : Qatar; ROU :
Romania; RUS : Russian Federation; SRB : Serbia; SVK : Slovak Republic; SVN : Slovenia SWE : Sweden; TAP : Chinese
Taipei; THA : Thailand TUN : Tunisia; TUR : Turkey; URY : Uruguay; USA : United States.
Source: PISA 2006
Les adversaires du redoublement soulignent qu’il s’agit d’une pratique qui engendre un coût d’opportunité
important, tant pour les élèves que pour la société. Il y a aussi le coût direct du redoublement en termes
d’encadrement additionnel au terme d’un programme donné. L’effet premier du redoublement est d’allonger la
durée de la scolarité. De façon générale, les pédagogues considèrent que le redoublement a une efficacité limitée
sur les apprentissages (McCoy and Reynolds, 1999). Ils estiment que le redoublement a un effet négatif sur les
performances académiques, mais aussi l’estime de soi des élèves. Il accroît la criminalité juvénile et le risque de
grossesse chez les adolescentes. Au contraire, les défenseurs mettent en avant les bénéfices du redoublement. Ce
dernier permet une meilleure adéquation entre le contenu du curriculum et le niveau des élèves et leur rythme
d’apprentissage. En doublant, les élèves plus faibles ont la possibilité de ―rester sur les rails‖, en bénéficient de
plus de temps avant de passer au niveau supérieur. Le redoublement — ou plus exactement la menace de
redoublement — peut aussi avoir un effet motivationnel/incitatif sur certains élèves « à risque ».
4
De nombreuses études montrent l’existence d’une corrélation négative entre le redoublement et la performance
scolaire individuelle. Holmes (1989) dans une vaste méta-analyse3, trouve qu’en moyenne les redoublants
obtiennent des résultats inférieurs de l’ordre de 0.19 à 0.31 écart-type à ceux d’élèves semblables progressant
directement vers la classe supérieure. Des résultats similaires figurent dans la méta-analyse de Jimerson (2001).
Plusieurs études mettent également en exergue la relation négative entre redoublement et décrochage scolaire
(ex., Grissom and Shepard, 1989; Roderick, 1994; Jimerson, 1999). Les données PISA 2006 ayant servi à la
confection de la Figure 1 suggèrent plutôt l’absence de corrélation entre redoublement et score moyen des
différents systèmes scolaires ayant pris part à l’enquête.
Mais le problème de la littérature susmentionnée est que redoublement et résultats scolaires sont probablement
déterminés simultanément — au sens où ils sont fonctions d’une variable commune (ex : la motivation,
l’aptitude) non observée et inconnue de l’analyste. Ceci compromet la mise en évidence d’une relation
strictement causale entre redoublement et résultats. Les données PISA de la Figure 1 sont tout aussi
problématiques pour des raisons similaires. Elles ne tiennent pas compte d’importantes variations de niveau de
richesse et de contexte socio-économique selon les pays ; variations qui sont susceptibles d’affecter
simultanément les scores et la fréquence du redoublement.
Il existe quelques études basées sur une approche quasi-expérimentale qui essaient de quantifier les effets
causaux du redoublement. Eide and Showalter (2001) utilisent la variation de l’âge d’entrée dans l’enseignement
maternel selon les Etats des USA pour instrumenter4 le redoublement5. Ces auteurs obtiennent que le
redoublement (essentiellement en tout début de scolarité) peut avoir des effets bénéfiques en termes de moindre
décrochage scolaire6et de salaires plus élevés. Toutefois, les coefficients qui sous-tendent ce résultat ne sont pas
significatifs sur le plan statistique.
Trois études (Jacob and Lefgren (2004, 2009), Roderick and Nagaoka (2005)) étudient les effets de
l’introduction du redoublement dans les écoles primaires et secondaires de Chicago avec la ―high-stakes testing
policy‖ en 1996-97. Ces études exploitent la discontinuité existant entre le score des élèves et la décision de
redoublement. La mise en œuvre de cette politique implique la définition d’un seuil de réussite autour duquel
viennent se situer des élèves aux caractéristiques et aptitudes a priori fort semblables : ceux qui sont juste sous le
seuil (et redoublent) et ceux qui sont juste au-dessus (et ne redoublent pas). La comparaison des progrès de ces
deux groupes sert de base à l’analyse. Jacob and Lefgren (2004) ne trouvent aucune différence de performance
systématique entre les deux groupes. Roderick and Nagaoka (2005) montrent que les élèves qui doublent la 3 e
primaire n’obtiennent pas de meilleurs résultats en lecture deux années plus tard. Ils montrent que les élèves qui
3
Analyse des résultats obtenus par l’ensemble des études traitant une question précise.
4
Générer une variation exogène.
5
L’argument des auteurs est que les élèves les plus jeunes au moment de la rentrée (ceux nés le plus tard dans
l’année) sont plus exposés au risque de redoublement par un simple effet de moindre maturité apparente au tout début de la
scolarité, comparativement aux pairs marginalement plus âgés. L’écart de maturité peut conduire les parents et ou les
enseignants à opter pour le redoublement.
6
Le décrochage scolaire est défini comme le risque d’abandon avant l’obtention du diplôme secondaire.
5
doublent la 6e primaire progressent moins bien au cours des 2 années suivantes. Enfin, Jacob and Lefgren
(2009) trouvent que le redoublement imposé aux élèves du secondaire accroît légèrement le risque de
décrochage scolaire. Manacorda (2008), étudiant le cas de l’Uruguay, utilise aussi l’approche par
discontinuité/seuil. En Uruguay, la règle consiste à faire doubler automatiquement tous les élèves qui
s’absentent plus de 25 jours. Manacorda (2008) compare la performance des élèves se situant juste au-dessus et
au-dessous de ce seuil, et montre que le redoublement entraîne un accroissement important du risque de
décrochage scolaire ainsi que des résultats moindres jusqu’à 4 à 5 années plus tard.
Notre étude examine les effets de moyen terme du redoublement sur les acquis de cohortes d’élèves ayant connu
différents régimes de redoublement. En l’occurrence le changement de régime considéré correspond à une
réforme introduite en 2001 en Communauté française de Belgique qui a modifie la probabilité de redoublement
en début de secondaire, soit à l’âge de 12-13 ans. Et nous étudions les effets de cette réforme en examinant
l’évolution des scores de ces élèves à l’âge de 15 ans. La réforme a consisté à (ré)introduire la possibilité de
faire doubler les élèves à la fin de la 1ère et de la 2e secondaire. Auparavant7, le redoublement n’était pas autorisé
à la fin de la 1re secondaire (pour plus de détails sur la réforme voir la Section 2). Cette réintroduction à partir de
septembre 2001 constitue une « expérience naturelle » permettant d’évaluer certains effets du redoublement.
Les données utilisées proviennent de l’enquête PISA8 de l’OCDE, mesurant les acquis des élèves âgés de 15 ans
à un test standardisé en Math, Science et Lecture. Nous sommes en mesure d’examiner les scores d’un
échantillon représentatif d’une cohorte d’élèves avant la réforme (au moyen des données PISA 2003) et après la
réforme (données PISA 2006), et donc de comparer les résultats d’élèves ayant été confrontés à deux
« régimes » différents. Ceci représente un avantage par rapport à la plupart des études existantes, notamment
lorsqu’il s’agit de tester l’existence d’effets motivationnels associés au redoublement. La plupart des études
mentionnées plus haut comparent en fait des élèves confrontés au même régime en rapportant les performances
d’élèves qui ont doublé à celles de ceux qui ont failli doubler. Si elles permettent de savoir si l’année redoublée
a un effet sur le niveau final de connaissance, elles ne permettent pas d’apprécier les effets
motivationnels/incitatifs du redoublement9.
A contrario, nous ne pouvons évaluer au moyen de PISA l’effet ―final‖ du redoublement. Cette limite tient
principalement au fait que PISA fournit des scores d’élèves de même âge, qui, précisément du fait du
7
Plus exactement entre 1995 et 2001.
8
Programme for International Student Assessment.
9
Roderick and Engel (2001) essaient de surmonter cet obstacle en utilisant une enquête dans laquelle les élèves sont
invités à décrire leur effort de travail préalablement à l’examen conditionnant la réussite de l’année dans de cadre de la
« high-stake policy » de Chicago évoquée plus haut. Les auteurs montrent que la plupart des élèves à risque (sur base de
faibles résultats antérieurs) déclarent accomplir un effort accru dans la perspective de l’examen. Ils déclarent accorder une
plus grande attention au travail en classe, obtenir un niveau de pression et de soutien accru des enseignants, et consacrer plus
de temps à l’étude en dehors des cours. Les auteurs trouvent également que les élèves les plus travailleurs sont ceux qui
obtiennent de meilleurs résultats.
6
redoublement, se trouvent à des stades différents du curriculum/programme de l’enseignement secondaire 10.
Nous ne pouvons donc répondre à la question de savoir si les élèves que l’on a fait redoubler suite à la réforme
de 2001 ont atteint un score final différent des élèves comparables ayant profité du régime de promotion
automatique avant la réforme.
Cependant, les données PISA permettent de tester la condition nécessaire à la justification du redoublement ou
de son renforcement : réussir à retenir dans les années inférieures les élèves les plus faibles. En effet, la
condition pour conclure à l’efficacité de la réforme de 2001 en Communauté française de Belgique est que les
scores des élèves de 15 ans en 4e secondaire11 en 2006 (ayant fait l’expérience d’un régime de redoublement
renforcé) sont meilleurs que ceux des élèves de 15 ans en 4e en 2003 (ayant connu un régime plus laxiste en
début de secondaire). Trois mécanismes peuvent conduire à un tel résultat :
i) un effet ―composition‖: plus de redoublements signifie que davantage d’étudiants d’aptitude faible
sont retenus dans les années inférieures. En d’autres termes, le niveau de la 4 e évalué par PISA monte
au terme d’un effet filtre qui améliore l’aptitude moyenne ;
ii) un effet ―complémentarité‖: avec la réforme de 2001, la présence d’élèves globalement plus aptes en
4e permet de couvrir un programme plus riche ce qui contribue à accroître la qualité des réponses à
PISA. De façon symétrique, avant la réforme de 2001, le public de la 4 e comprend un certain nombre
d’élèves plus faibles, moins à même de tirer profit d’un curriculum exigeant, tirant ce faisant la
moyenne PISA vers le bas et donc — pour faire le lien avec les arguments des défenseurs du
redoublement — sont plus à leur place en 3e ou en 2e avec un programme moins avancé ;
iii) un effet motivation/incitation : l’augmentation du risque de redoublement doit inciter à davantage
d’effort et d’étude, tout particulièrement les élèves proches du seuil de redoublement.
Le résultat principal de ce papier est que nous ne trouvons pas d’indices forts de l’existence de ces trois
mécanismes en analysant l’évaluation des scores en mathématiques, science et lecture des élèves de 4e
secondaire.
Soulignons brièvement trois facettes de notre travail. Premièrement, nous montrons que la réforme de 2001 a
produit un changement faible mais statistiquement significatif de la manière dont les élèves sont répartis entre
années. La réforme de 2001 s’est traduite par une réduction de la probabilité de fréquenter la 4 e secondaire à
l’âge de 15 ans et, de façon symétrique, par une augmentation d’être en 3 e ou 2e secondaire.
Deuxièmement, notre comparaison des scores de 4e avant et après la réforme repose sur la mesure de différence
de différences (DD). Cette stratégie suppose de retenir un (ou plusieurs) pays ―contrôles‖ dans lesquels une
10
Ceux qui n’ont pas doublé sont en 4ème secondaire, les autres sont en 3ème voire en 2ème secondaire.
11
Soit, par définition, les élèves qui n’ont pas connu de sanction de redoublement auparavant
7
réforme comparable à celle de 2001 en Communauté française n’a pas été introduite. Nous en retenons trois. La
Communauté flamande de Belgique (point de comparaison obligé dans le contexte belge). L’ensemble formé
par la France, des Pays-Bas et de l’Autriche (pays où le redoublement est de fréquence comparable à la
Communauté française). Et un troisième comprenant le Royaume-Uni, la Norvège et l’Islande (pays sans
redoublement).
Troisièmement, la comparaison des scores des élèves de 4e ne porte pas seulement sur les évolutions (d’écarts)
de moyennes calculées pour l’ensemble de l’échantillon d’élèves mais aussi sur des sous-ensembles concentrant
des individus a priori les plus concernés par la réforme du redoublement : les élèves élèves à risque proches du
seuil de redoublement .Il s’agit, ce faisant ,de contrer une probable dilution des effets de la réforme par inclusion
d’individus a priori moins affectés.
De manière générale, nous trouvons des résultats semblables au travers des diverses estimations réalisées. Les
(écarts de) scores entre élèves qui fréquentent la 4e secondaire en Communauté française et ceux des pays
contrôles sont stables dans le temps. Ce résultat signifie qu’il n’y a pas d’indication sérieuse de ce que les effets
« composition », « complémentarité » et « motivation » évoqués plus haut ont joué un rôle important suite au
renforcement du redoublement en début de secondaire après 2001 en Communauté française de Belgique.
Autrement dit aussi, il n’y a pas d’évidence que les performances en 4 e étaient nettement plus faibles sous un
régime de promotion plus laxiste tel que pratiqué entre 1995 et 2001. Les élèves a priori plus faibles qui étaient
alors promus en 4e ne tiraient pas le niveau vers le bas et ne paraissent plus ou moins motivés que leurs pairs
après la réforme. Ce résultat reste globalement inchangé lorsque nous considérons le sous-ensemble des élèves
« à risque » de redoublement.
La suite du papier est organisée de la façon suivante. La Section 2 présente la réforme de 2001 en Communauté
française de Belgique et illustre ses effets en termes d’incidence du redoublement, sur base de données
administrative mais aussi des données PISA utilisées par la suite. La Section 3 présente l’analyse par différence
de différences (DD) pour différents groupes-pays contrôle et des catégories d’élèves présentant a priori une
risque de redoublement variable. La Section 4 conclut.
2. La réforme de 2001 en Communauté française de Belgique
Le redoublement est une pratique à la fois ancienne et largement répandue en Communauté française de
Belgique (Figure 1). La décision de redoublement est basée sur l’évaluation par les enseignants de l’aptitude de
l’élève à passer dans l’année supérieure. Il n’existe pas de standard externe, commun à l’ensemble des écoles
définissant un seuil de réussite conditionnant le redoublement/la réussite. Tous les élèves passent des examens
en fin d’année, pour chacun des sujets figurant à leur programme. Et la décision de redoublement est fondée en
très grande partie sur les résultats à ces examens.
8
Les opposants à cette pratique ont réussi, en 1995, à obtenir l’interdiction du redoublement à la fin de la 1 re
secondaire. De 1995 à 2001, les sanctions de redoublement furent, sauf cas exceptionnels (voir infra), bannies
des conseils de classe de 1re secondaire ; une décision qui s’est traduite par une baisse du nombre de cas de
redoublement (Figure 2).
Figure 2 – Fréquence du redoublement en 1re et 2e secondaire selon le régime de redoublement. Années scolaires
1992-93 à 2003-04. Communauté française de Belgique
1re secondaire
2e secondaire
Part des élèves redoublants
14
12
Rétablissemnet
redoublement
en 1 e
Supressiona du redoublement en 1e
10
8
6
4
2
0
92-93
93-94
94-95
95-96
96-97
97-98
98-99
99-00
00-01
01-02
02-03
03-04
a) Le redoublement en fin de 1re peut seulement intervenir sur base d’un accord réciproque des parents et des enseignants.
Source: Ministère de la Communauté française de Belgique
Durant cette période, les sanctions de redoublement pouvaient seulement intervenir en fin de 2 e secondaire. Il
faut aussi souligner que la "non autorisation" de redoublement en fin de 1 re n'est pas compensée par une
fréquence accrue de redoublement en fin de deuxième (Figure 2). Enfin, le redoublement en fin de 1re pouvait
seulement intervenir sur base d’un accord réciproque des parents et des enseignants. Ceci explique la persistance
d’un certain nombre de redoublements en fin de 1re entre 1995 et 2001.
Mais les défenseurs du redoublement réussirent à abolir la décision de 1995. En septembre 2001, décision fut
prise12 de rétablir la possibilité du redoublement en fin de 1 re secondaire pour les élèves ayant des résultats jugés
insuffisants. La réforme de 2001 était qu’après l’année scolaire 2001-02, il redevenait possible de redoubler soit
la 1re secondaire soit la 2e secondaire, mais pas les 2 années successivement.13 Les données administratives de
la Figure 2 montrent que le nombre d’élèves qui redoublent la 1re secondaire augmente logiquement à partir de
l’année 2002-03. Ces mêmes données montrent que le total des redoublants (1 re et 2e secondaires) est plus
12
Décret relatif à l'organisation du premier degré de l'enseignement secondaire D. 19-07-2001 M.B. 23-08-2001
13
Sur le plan formel, le législateur insiste sur le fait que la réforme de 2001 ne consiste pas à forcer les élèves faibles
à ―redoubler‖ leur année, mais plutôt à les orienter en fin de 1 ère vers une année ―complémentaire‖. En pratique cependant, la
mesure revient à imposer à l’élève d’allonger son parcours à concurrence d’une année avant d’accéder à la 2 ème secondaire.
9
important après 2001, ce qui signifie que la réforme à conduit à un accroissement du risque de redoublement au
début du secondaire.
Cette réforme nous permet donc de comparer les résultats d’un système sans pratiquement aucun redoublement
en 1re secondaire avant 2001, à ceux d un système où le phénomène est important. Par la suite, nous exploitons
le calendrier de cette réforme et en étudions les effets (causaux) de moyen terme 14 sur les résultats, et ce à l’aide
des données PISA.
Notons d’emblée que les données PISA confirment la hausse du redoublement à moyen terme. En effet, le
pourcentage d’élèves qui atteignaient la 4e secondaire dans l’enquête 2003 (58.68%) est sensiblement supérieur
à celui enregistré dans l’enquête 2006 (55.32%). Ceci signifie également que moins d’élèves sont « à l’heure »
en 2006, vraisemblablement du fait de redoublements plus nombreux. En bref, ceci tend à donner du crédit à
l’idée que la réforme de 2001 s’apparente bel et bien à un changement de régime dont les effets se sont propagés
au-delà du 1er degré du secondaire.
3. L’analyse par différence de différences
Nous examinons dans cette section les effets de la réforme au moyen des scores PISA. Rappelons que notre
comparaison des scores de 4e secondaire avant/après la réforme constitue la clef de l’identification de la
condition nécessaire à l’efficacité du redoublement: retenir en 3e (ou en 2e) secondaire les élèves les plus faibles,
a priori moins aptes à suivre le programme de 4 e. Il s’agit en l’occurrence de vérifier que les scores de 4 e après
la réforme (PISA 2006) sont significativement supérieurs à ceux enregistrés avant (PISA 2003).
Rappelons aussi que la stratégie d’identification repose sur l’estimation de modèles de différence de différences
(DD). Ces modèles supposent que l’entité qui introduit une réforme (ici la Communauté française) peut
connaître des évolutions simultanées de variables — non connues de l’analyse — qui influencent également le
score des élèves. Une simple comparaison temporelle (avant/après), des scores en Communauté française
risquerait de confondre les effets de ces changements et ceux produits par la réforme. Pour contourner cet
obstacle, ces modèles DD combinent comparaisons dans le temps et dans l’espace. L’identification de l’effet de
la réforme consister à mesurer l’évolution dans le temps de l’écart de scores entre l’entité qui réforme (groupe
traité) et celles qui ne réforment pas (groupe contrôle). Certes, les entités comparées diffèrent en termes de
dimensions non observées susceptibles d’affecter les scores des élèves. Mais il paraît raisonnable de faire
l’hypothèse que cette différence peut rester stable à court terme. Dès lors, si l’écart de score évolue à court
terme, c’est très vraisemblablement du fait de la réforme.
14
Rappelons que PISA mesure les acquis à l’âge de 15 ans. Nous utilisons ces mesures pour évaluer les effets d’une
réforme qui a affecté des élèves âgés de 12 à 13 ans.
10
Formellement, les modèles DD estimés ici correspondent à
Yi,t= θ + ß BFR +  D06 + λ D06  BFR+ X’I,t ξ + εi,t
i = 1,…., N , t = 2003, 2006
où
- Yi,t est le score de l’élève de 4e secondaire i ayant participé à PISA au cours de l’année t et retenu dans
l’analyse ;
- BFR est une variable binaire égale à 1 s’il s’agit d’un élève de la Communauté française de Belgique
et 0 s’il s’agit d’un élève fréquentant l’enseignement du/des pays « contrôle ».
- X’I,t est un vecteur de variables tenant compte du profil socio-économique des parents de l’élève
(l’indice socio-professionnel le plus élevé parmi les deux parents, le niveau de diplôme de la mère et
celui du père);
- D06, égale à 0 si l’observation correspond à l’année 2003 (cohorte avant réforme) et égale à 1 s’il
s’agit de 2006 (cohorte après réforme) ;
- εi,t le terme d’erreur aléatoire;
- N le nombre total d’élèves de l’échantillon PISA utilise pour estimer le modèle.
Et le paramètre λ de la variable BFR *D06 est celui qui capte le changement dans les écarts de score (entre la
Communauté française et le(s) pays contrôle(s)) ; changement imputable à la réforme de 2001.
A propos de groupe contrôle, rappelons que notre stratégie consiste à en retenir plusieurs. Aucun pays (ou
groupe de pays) n’est a priori parfait en tant que contrôle. Afin de garantir un degré maximal de robustesse à nos
résultats, nous en retenons trois différents. Le premier — le plus évident dans le contexte belge — est la
Communauté flamande de Belgique, dont le système d’enseignement reste largement comparable à celui de la
Communauté française, mais où le niveau de redoublement est sensiblement moins important et les grands
paramètres socio-économiques connaissent une dynamique qui diverge de celle de la Communauté française de
Belgique. La Communauté flamande n’a pas modifié les règles de redoublement au début des années 2000. Le
second groupe correspond aux pays qui sont semblables à la Communauté française en termes socioéconomiques mais surtout quant à la fréquence du redoublement. Il s’agit de la France, des Pays-Bas et de
l’Autriche. A notre connaissance, ces pays n’ont pas modifié le régime de redoublement durant la période
considérée ici. Un troisième groupe comprenant le Royaume-Uni, la Norvège et l’Islande correspond à des
systèmes d’enseignement qui ne pratiquent tout simplement pas le redoublement.
Une des originalités du papier est que nous y affinons l’examen du redoublement en restreignant l’analyse DD
aux élèves à plus grand « risque » de redoublement. Dit autrement, nous estimons plausible qu’une réforme
conduisant à intensifier le redoublement comme celle de 2001 n’a pas concerné tous les élèves avec la même
intensité. En particulier, les « bons » élèves ont probablement été peu affectés directement ou indirectement. Les
inclure systématiquement dans l’analyse, comme c’est le cas avec les comparaisons de moyennes des modèles
DD traditionnels, comporte un risque de dilution de l’effet recherché. Rappelons que la réforme s’est traduite
11
par un faible changement de la proportion d’élèves fréquentant la 4 e secondaire (de 58.68% en 2003 à 55.32%
en 2003). Nous proposons dès lors d’estimer un modèle DD au moyen d’un sous-échantillon d’élèves de 4e
concentrant a priori une plus forte proportion d’individus concernés par le redoublement et son changement
d’intensité. Nous l’identifions au moyen du profil socio-économique des parents. Ce dernier est utilisé pour
calculer15 la probabilité d’être en 4e au moyen des données PISA 2006. Le groupe plus « à risque » de
redoublement 16 est défini comme celui dont la probabilité (prédite) d’être en 4e est inférieure à 0.55.17
Les résultats principaux figurent dans les Tableaux 1 et 2. Ceux du Tableau 1 (estimation de DD avec tous les
élèves) suggèrent l’existence de très légers gains oscillant entre 0.9 et 9 points sur l’échelle PISA18 soit
l’existence d’une petite amélioration des scores en 4 e secondaire du fait de la réforme (faible effet filtre positif).
Cependant, à deux exceptions près, les coefficients sont non significatifs sur le plan statistique.
La restriction de l’analyse aux élèves a priori les plus concernés par la réforme (Tableau 2, élèves à risque c.à.d.
ayant une probabilité d’être en 4e secondaire <0.55) va dans le même sens. Les coefficients oscillent entre -9 et
9 points de l’échelle PISA. On notera qu’ils sont mêmes négatifs pour les mathématiques (effet filtre négatif),
mais dans tous les cas non significatifs sur le plan statistique.
Ces résultats combinés (Tableaux 1 et 2) signifient l’absence d’évidence forte que les effets « composition »,
« complémentarité » et « motivation »constitutifs d’un effet filtre positif ont joué un rôle majeur. A contrario,
ceci implique, il n’y a pas d’indication sérieuse de ce que les performances en 4 e étaient plus faibles sous un
régime plus laxiste, de promotion automatique, pratiqué entre 1995 et 2001. Les élèves a priori plus faibles alors
promus en 4e à l’âge de 15 ans ne semblent pas avoir tiré le niveau vers le bas.
15
Au moyen d’un modèle Probit.
16
Exclusivement pour l’analyse DD avec les groupes contrôle 1 et 2, pour des raisons évidentes.
17
Nous vérifions que ce groupe a connu une baisse de fréquentation de la 4e secondaire entre l’avant et l’après
réforme en Communauté française de Belgique, alors qu’elle ne se retrouve pas parmi les pays/entités servant de groupe
contrôle.
18
Moyenne internationale de 500 et écart-type de 100.
12
Tableau 1 : Différence de différences. Tous les élèves de 4e secondaire (coefficients λ et écarts-types)
a)
Groupe de contrôle : Communauté flamande de Belgique
(1)
(2)
Math
Lecture
(3)
Science
(BFR==1)* D06
3.316
(2.937)
3.337
(2.804)
3.963
(2.831)
Observations
R-carré
10681
0.15
10681
0.13
10681
0.15
(2)
Lecture
(3)
Science
b) Groupe de contrôle: France, Pays-Bas et Autriche
(1)
Math
(BFR==1)* D06
1.930
(2.681)
3.291
(2.727)
9.36
(2.82)***
Observations
R-carré
17262
0.15
17262
0.13
17262
0.16
c)
Groupe de contrôle: Royaume-Uni, la Norvège et l’Islande (pays sans redoublement)
(1)
(2)
(3)
Math
Lecture
Science
(BFR==1)* D06
.907
(2.900)
9.043
(3.080)***
3.915
(3.071)
Observations
R-carré
19721
0.14
19720
0.11
19721
0.12
* = significatif au seuil de 10% ; ** =significatif au seuil de 5% ; *** = significatif au seuil de 1% .
Source : PISA 2003 et 2006
13
Tableau 2 - Différence de différences. Elèves de 4e secondaire selon leur probabilité a priori d’atteindre la 4e
secondaire$ (coefficients λ et écarts-types)
a) Group de contrôle: Communauté flamande de Belgique
Math
Lecture
e
Probabilité d’être en 4
secondaire$
[0 – 0.55]= élèves à
risque
]0.55 – 0.70]
]0.70 – 1.00]
-9.13
(7.64)
7.75
(4.34)*
4.84
(4.57)
4.93
(7.52)
4.97
(4.15)
1.67
(4.24)
b) Groupe de contrôle: France, Pays-Bas, Autriche
Math
Lecture
e
Probabilité d’être en 4
secondaire$
[0 – 0.55] = élèves à
risque
]0.55 – 0.70]
]0.70 – 1.00]
-4.76
(6.79)
3.62
(4.00)
.66
(4.37)
3.99
(7.20)
3.79
(4.04)
1.45
(4.14)
Science
6.44
(7.51)
9.77
(4.17)**
-3.82
(4.36)
Science
8.20
(7.21)
12.35
(4.22)***
6.28
(4.46)
b) Groupe de contrôle: Royaume-Uni, la Norvège et l’Islande (pays sans redoublement)
Math
Lecture
Science
e
Probabilité d’être en 4
secondaire$
[0 – 0.55] = élèves à
risque
]0.55 – 0.70]
]0.70 – 1.00]
-5.81
(7.11)
5.28
(4.27)
-2.69
(4.72)
9.17
(7.62)
13.66
(4.54)***
3.83
(4.93)
4.65
(7.63)
12.13
(4.52)***
-1.34
(5.00)
* = significatif au seuil de 10% ; ** =significatif au seuil de 5% ; *** = significatif au seuil de 1% .
$
: Probabilité estimée au moyen d’un modèle Probit dont les coefficients sont estimés ou moyen des données PISA 2006 et
dont les variables dépendantes sont l’indice socio-économique le plus élevé des deux parents, le diplôme de la mère et le
diplôme du père.
Source : PISA 2003 et 2006
14
4. Conclusion
Ce papier exploite la réforme intervenue en 2001 en Communauté française, qui a consisté à (ré)introduire le
redoublement en fin de 1re secondaire, pour évaluer les effets de moyen terme (auprès des élèves de 15 ans) du
redoublement. Cette réforme représente « une expérience naturelle » soit une source de variation exogène de la
probabilité de redoubler. Nous vérifions effectivement que cette réforme a augmenté la fréquence des
redoublements en début de secondaire. Nous vérifions également que cette réforme a réduit la probabilité que
des élèves se trouvent sans retard en 4e secondaire à l’âge de 15 ans.
Pour évaluer les effets de cette variation du redoublement sur les acquis des élèves, nous estimons plusieurs
modèles de différence de différences (DD) au moyen des données PISA 2003 (avant la réforme) et 2006 (après
la réforme). Quoique ces données ne permettent pas d’évaluer les effets du redoublement sur le niveau final des
élèves doublants (au terme de la 4e secondaire en l’occurrence), elles permettent de tester la condition nécessaire
pour que le redoublement soit une pratique pédagogique efficace : identifier les élèves les plus faibles, ceux qui
peinent à assimiler le programme avancé de la 4e secondaire, et forcer leur maintien dans les années inférieures.
C’est ce que nous avons appelés l’effet filtre du redoublement. L’existence de cet effet filtre (ou plus
précisément son renforcement du fait de la réforme) devrait symétriquement entraîner une amélioration du
niveau des élèves de 4e lors des tests PISA. Or c’est précisément ce que notre analyse ne parvient pas à mettre
en évidence. La restriction de l’analyse aux élèves a priori les plus concernés par la réforme confirme et renforce
ce dernier résultat. Nous concluons que, dans l’ensemble, nos résultats font douter de l’efficacité du
redoublement tel qu’il se pratique en Communauté française de Belgique.
Bibliographie
Eide, E.R. and M.H. Schowlater (2001), The Effect of Grade Retention on Educational and Labour Market
Outcomes, Economics of Education Review, 20(6), pp. 563-576.
Grissom, J. and L. Shepard (1989), Repeating and dropping out of school, in L. Shepard and M. Smith (Eds.),
Flunking Grades: Research and policies on Retention, London: The Palmer Press.
Holmes, C. T. (1989), Grade level retention effects: A meta analysis of research studies. In L. A. Shepard & M.
L. Smith (Eds.), Flunking grades: Research and policies on retention (pp. 16-33). London: Falmer.
Jacob, B.A & L. Lefgren, (2004), Remedial Education and Student Achievement: A Regression-Discontinuity
Analysis, Review of Economics and Statistics, LXXXVI(1), pp. 226-244.
Jacob, B.A & L. Lefgren, (2009), The Effect of Grade Retention on High School Completion, forthcoming in
American Economic Journal - Applied Economics.
15
Jimerson, S.R. (1999), On the Failure of Failure, Journal of School Psychology,37(3), pp. 243–272.
Jimerson, S.R. (2001), Meta-analysis of Grade Retention Research: Implications for Practice in the 21st
Century, School Psychology Review 30(3), pp. 420-437
Manacorda, M. (2008), The Cost of Grade Retention, CEP Discussion Papers 0878, Centre for Economic
Performance, LSE.
McCoy, A.R. & A. J. Reynolds (1998), Grade Retention and School Performance: An Extended Investigation,
Institute for Research on Poverty, Discussion Paper no. 1167-98, University of Wisconsin,-Madisson.
Roderick, M. (1994), Grade retention and school dropout: Investigating the association. American Educational
Research Journal, 31, pp. 729–759.
Roderick, M. and M. Engle (2001), The grasshopper and the ant: motivational responses of low-achieving
students to high-stakes testing, Educational Evaluation and Policy Analysis, 23(3), pp. 197-227.
Roderick, M., & Nagaoka, J. (2005). Retention under Chicago’s high-stakes testing program: Helpful, harmful,
or harmless? Educational Evaluation and Policy Analysis, 27(4), pp. 309-340.