Much Ado About Nothing - Université catholique de Louvain
Transcription
Much Ado About Nothing - Université catholique de Louvain
Redoublement et performance éducative Analyse de l'impact de la réforme de 2001 en Communauté française de Belgique Michèle Belot1 Vincent Vandenberghe2 Résumé Cette communication évalue les effets du redoublement sur la performance des élèves de 15 ans en exploitant la réforme de 2001 en Communauté française réintroduisant de la possibilité de faire doubler les élèves en fin de 1re secondaire. La réforme constitue une «expérience naturelle», introduisant une source de variation exogène dans la proportion d'élèves en retard et permettant donc d'identifier un effet causal du régime de redoublement. Nous utilisons des données PISA mesurant les scores des élèves avant et après la réforme pour en évaluer les effets. Plus précisément, nous évaluons si la réforme a conduit à retenir dans les années inférieures les élèves les plus faibles (effet filtre) : ceux qui pourraient, en théorie, pâtir d'une promotion automatique dans l'année supérieure. L'observation d'un effet filtre constitue la condition minimale pour que le redoublement soit efficace. Or nous ne parvenons pas à mettre en évidence un tel effet filtre, même en isolant le public au sein duquel il devrait se manifester le plus nettement. Ce résultat conduit à douter de l'efficacité du redoublement tel qu’il se pratique en Communauté française de Belgique. JEL: I20, I28, H52 Mots clefs: Redoublement, performance scolaire, effet filtre 1 Oxford University, Nuffield Centre for Experimental Social Sciences (CESS), Nuffield College [email protected] 2 Université catholique de Louvain (UCL), Economics School of Louvain (ESL) [email protected] 2 1. Introduction Le redoublement fait l’objet d’un débat récurrent et souvent passionné dans nombre de pays développés. Certains pays privilégient un système de « promotion sociale » qui consiste à faire passer automatiquement les élèves dans l’année supérieure indépendamment de leurs résultats. D’autres pays pratiquent le redoublement de façon plus ou moins systématique, avec un passage dans l’année supérieur conditionnel au fait que les résultats soient supérieurs à un certain seuil. La conséquence de cette diversité de situations est que la part des élèves de 15 ans fréquentant la 4e année du secondaire (soit l’année qu’atteignent les élèves à cet âge s’ils n’ont jamais redoublé) varie considérablement au sein des pays de l’OCDE et émergents (Figure 1). Des pays/entités comme les Pays-Bas, l’Autriche, la France et la Communauté française de Belgique ont une proportion d’élèves de 15 ans en 4e secondaire relativement faible. A l’inverse, pratiquement tous les élèves de 15 ans fréquentent cette année dans des pays comme le Japon, la Suède, la Norvège, ou le Royaume Uni, ce qui suggère l’absence de redoublement. 3 Figure 1 – Score moyen en math et part des élèves de 15 ans fréquentant l’année de référence a. Année 2006 PISA score moyen 600 TAP HKG MAC AUT 500 FRA SVK 450 ESP RUS PRT TUR URY THA ISR MEX CHL ARG 400 TUN KOR CHE LIE NZL JPN CAN AUS DNK ISL DEU SWE IRL POL GBR HUN LVA LUX NOR LTU SVN USA AZE ITA HRV GRC EST BFR FIN BFL NLD CZE 550 COL BRA SRB BGR ROU JOR IDN MNE 350 0 0.2 0.4 0.6 0.8 1 Part des élèves fréquentant l'année de référence a) 4e secondaire (grade 10) pour la plupart des pays, 3e secondaire (grade 9) sinon. L’année de référence est définie comme l’année qui concentre le plus d’élèves de 15 ans ayant pris part à l’enquête PISA de l’OCDE. ARG : Argentina ; AUS : Australia ; AUT : Austria ; AZE : Azerbaijan ; BFR : French-Speaking Community of Belgium; BFL: Flemish-Speaking Community of Belgium; BGR : Bulgaria ; BRA : Brazil; CAN : Canada; CHE : Switzerland; CHL : Chile COL : Colombia CZE : Czech Republic; DEU : Germany; DNK : Denmark; ESP : Spain EST : Estonia; FIN : Finland; FRA : France; GBR : United Kingdom; GRC : Greece; HKG : Hong Kong-China; HRV : Croatia; HUN : Hungary; IDN : Indonesia IRL : Ireland; ISL : Iceland; ISR : Israel; ITA : Italy JOR : Jordan; JPN : Japan KGZ : Kyrgyzstan; KOR : Korea LIE : Liechtenstein LTU : Lithuania LUX : Luxembourg; LVA : Latvia; MAC : Macao-China; MEX : Mexico; MNE : Montenegro; NLD : Netherlands; NOR : Norway; NZL : New Zealand; POL : Poland; PRT : Portugal QAT : Qatar; ROU : Romania; RUS : Russian Federation; SRB : Serbia; SVK : Slovak Republic; SVN : Slovenia SWE : Sweden; TAP : Chinese Taipei; THA : Thailand TUN : Tunisia; TUR : Turkey; URY : Uruguay; USA : United States. Source: PISA 2006 Les adversaires du redoublement soulignent qu’il s’agit d’une pratique qui engendre un coût d’opportunité important, tant pour les élèves que pour la société. Il y a aussi le coût direct du redoublement en termes d’encadrement additionnel au terme d’un programme donné. L’effet premier du redoublement est d’allonger la durée de la scolarité. De façon générale, les pédagogues considèrent que le redoublement a une efficacité limitée sur les apprentissages (McCoy and Reynolds, 1999). Ils estiment que le redoublement a un effet négatif sur les performances académiques, mais aussi l’estime de soi des élèves. Il accroît la criminalité juvénile et le risque de grossesse chez les adolescentes. Au contraire, les défenseurs mettent en avant les bénéfices du redoublement. Ce dernier permet une meilleure adéquation entre le contenu du curriculum et le niveau des élèves et leur rythme d’apprentissage. En doublant, les élèves plus faibles ont la possibilité de ―rester sur les rails‖, en bénéficient de plus de temps avant de passer au niveau supérieur. Le redoublement — ou plus exactement la menace de redoublement — peut aussi avoir un effet motivationnel/incitatif sur certains élèves « à risque ». 4 De nombreuses études montrent l’existence d’une corrélation négative entre le redoublement et la performance scolaire individuelle. Holmes (1989) dans une vaste méta-analyse3, trouve qu’en moyenne les redoublants obtiennent des résultats inférieurs de l’ordre de 0.19 à 0.31 écart-type à ceux d’élèves semblables progressant directement vers la classe supérieure. Des résultats similaires figurent dans la méta-analyse de Jimerson (2001). Plusieurs études mettent également en exergue la relation négative entre redoublement et décrochage scolaire (ex., Grissom and Shepard, 1989; Roderick, 1994; Jimerson, 1999). Les données PISA 2006 ayant servi à la confection de la Figure 1 suggèrent plutôt l’absence de corrélation entre redoublement et score moyen des différents systèmes scolaires ayant pris part à l’enquête. Mais le problème de la littérature susmentionnée est que redoublement et résultats scolaires sont probablement déterminés simultanément — au sens où ils sont fonctions d’une variable commune (ex : la motivation, l’aptitude) non observée et inconnue de l’analyste. Ceci compromet la mise en évidence d’une relation strictement causale entre redoublement et résultats. Les données PISA de la Figure 1 sont tout aussi problématiques pour des raisons similaires. Elles ne tiennent pas compte d’importantes variations de niveau de richesse et de contexte socio-économique selon les pays ; variations qui sont susceptibles d’affecter simultanément les scores et la fréquence du redoublement. Il existe quelques études basées sur une approche quasi-expérimentale qui essaient de quantifier les effets causaux du redoublement. Eide and Showalter (2001) utilisent la variation de l’âge d’entrée dans l’enseignement maternel selon les Etats des USA pour instrumenter4 le redoublement5. Ces auteurs obtiennent que le redoublement (essentiellement en tout début de scolarité) peut avoir des effets bénéfiques en termes de moindre décrochage scolaire6et de salaires plus élevés. Toutefois, les coefficients qui sous-tendent ce résultat ne sont pas significatifs sur le plan statistique. Trois études (Jacob and Lefgren (2004, 2009), Roderick and Nagaoka (2005)) étudient les effets de l’introduction du redoublement dans les écoles primaires et secondaires de Chicago avec la ―high-stakes testing policy‖ en 1996-97. Ces études exploitent la discontinuité existant entre le score des élèves et la décision de redoublement. La mise en œuvre de cette politique implique la définition d’un seuil de réussite autour duquel viennent se situer des élèves aux caractéristiques et aptitudes a priori fort semblables : ceux qui sont juste sous le seuil (et redoublent) et ceux qui sont juste au-dessus (et ne redoublent pas). La comparaison des progrès de ces deux groupes sert de base à l’analyse. Jacob and Lefgren (2004) ne trouvent aucune différence de performance systématique entre les deux groupes. Roderick and Nagaoka (2005) montrent que les élèves qui doublent la 3 e primaire n’obtiennent pas de meilleurs résultats en lecture deux années plus tard. Ils montrent que les élèves qui 3 Analyse des résultats obtenus par l’ensemble des études traitant une question précise. 4 Générer une variation exogène. 5 L’argument des auteurs est que les élèves les plus jeunes au moment de la rentrée (ceux nés le plus tard dans l’année) sont plus exposés au risque de redoublement par un simple effet de moindre maturité apparente au tout début de la scolarité, comparativement aux pairs marginalement plus âgés. L’écart de maturité peut conduire les parents et ou les enseignants à opter pour le redoublement. 6 Le décrochage scolaire est défini comme le risque d’abandon avant l’obtention du diplôme secondaire. 5 doublent la 6e primaire progressent moins bien au cours des 2 années suivantes. Enfin, Jacob and Lefgren (2009) trouvent que le redoublement imposé aux élèves du secondaire accroît légèrement le risque de décrochage scolaire. Manacorda (2008), étudiant le cas de l’Uruguay, utilise aussi l’approche par discontinuité/seuil. En Uruguay, la règle consiste à faire doubler automatiquement tous les élèves qui s’absentent plus de 25 jours. Manacorda (2008) compare la performance des élèves se situant juste au-dessus et au-dessous de ce seuil, et montre que le redoublement entraîne un accroissement important du risque de décrochage scolaire ainsi que des résultats moindres jusqu’à 4 à 5 années plus tard. Notre étude examine les effets de moyen terme du redoublement sur les acquis de cohortes d’élèves ayant connu différents régimes de redoublement. En l’occurrence le changement de régime considéré correspond à une réforme introduite en 2001 en Communauté française de Belgique qui a modifie la probabilité de redoublement en début de secondaire, soit à l’âge de 12-13 ans. Et nous étudions les effets de cette réforme en examinant l’évolution des scores de ces élèves à l’âge de 15 ans. La réforme a consisté à (ré)introduire la possibilité de faire doubler les élèves à la fin de la 1ère et de la 2e secondaire. Auparavant7, le redoublement n’était pas autorisé à la fin de la 1re secondaire (pour plus de détails sur la réforme voir la Section 2). Cette réintroduction à partir de septembre 2001 constitue une « expérience naturelle » permettant d’évaluer certains effets du redoublement. Les données utilisées proviennent de l’enquête PISA8 de l’OCDE, mesurant les acquis des élèves âgés de 15 ans à un test standardisé en Math, Science et Lecture. Nous sommes en mesure d’examiner les scores d’un échantillon représentatif d’une cohorte d’élèves avant la réforme (au moyen des données PISA 2003) et après la réforme (données PISA 2006), et donc de comparer les résultats d’élèves ayant été confrontés à deux « régimes » différents. Ceci représente un avantage par rapport à la plupart des études existantes, notamment lorsqu’il s’agit de tester l’existence d’effets motivationnels associés au redoublement. La plupart des études mentionnées plus haut comparent en fait des élèves confrontés au même régime en rapportant les performances d’élèves qui ont doublé à celles de ceux qui ont failli doubler. Si elles permettent de savoir si l’année redoublée a un effet sur le niveau final de connaissance, elles ne permettent pas d’apprécier les effets motivationnels/incitatifs du redoublement9. A contrario, nous ne pouvons évaluer au moyen de PISA l’effet ―final‖ du redoublement. Cette limite tient principalement au fait que PISA fournit des scores d’élèves de même âge, qui, précisément du fait du 7 Plus exactement entre 1995 et 2001. 8 Programme for International Student Assessment. 9 Roderick and Engel (2001) essaient de surmonter cet obstacle en utilisant une enquête dans laquelle les élèves sont invités à décrire leur effort de travail préalablement à l’examen conditionnant la réussite de l’année dans de cadre de la « high-stake policy » de Chicago évoquée plus haut. Les auteurs montrent que la plupart des élèves à risque (sur base de faibles résultats antérieurs) déclarent accomplir un effort accru dans la perspective de l’examen. Ils déclarent accorder une plus grande attention au travail en classe, obtenir un niveau de pression et de soutien accru des enseignants, et consacrer plus de temps à l’étude en dehors des cours. Les auteurs trouvent également que les élèves les plus travailleurs sont ceux qui obtiennent de meilleurs résultats. 6 redoublement, se trouvent à des stades différents du curriculum/programme de l’enseignement secondaire 10. Nous ne pouvons donc répondre à la question de savoir si les élèves que l’on a fait redoubler suite à la réforme de 2001 ont atteint un score final différent des élèves comparables ayant profité du régime de promotion automatique avant la réforme. Cependant, les données PISA permettent de tester la condition nécessaire à la justification du redoublement ou de son renforcement : réussir à retenir dans les années inférieures les élèves les plus faibles. En effet, la condition pour conclure à l’efficacité de la réforme de 2001 en Communauté française de Belgique est que les scores des élèves de 15 ans en 4e secondaire11 en 2006 (ayant fait l’expérience d’un régime de redoublement renforcé) sont meilleurs que ceux des élèves de 15 ans en 4e en 2003 (ayant connu un régime plus laxiste en début de secondaire). Trois mécanismes peuvent conduire à un tel résultat : i) un effet ―composition‖: plus de redoublements signifie que davantage d’étudiants d’aptitude faible sont retenus dans les années inférieures. En d’autres termes, le niveau de la 4 e évalué par PISA monte au terme d’un effet filtre qui améliore l’aptitude moyenne ; ii) un effet ―complémentarité‖: avec la réforme de 2001, la présence d’élèves globalement plus aptes en 4e permet de couvrir un programme plus riche ce qui contribue à accroître la qualité des réponses à PISA. De façon symétrique, avant la réforme de 2001, le public de la 4 e comprend un certain nombre d’élèves plus faibles, moins à même de tirer profit d’un curriculum exigeant, tirant ce faisant la moyenne PISA vers le bas et donc — pour faire le lien avec les arguments des défenseurs du redoublement — sont plus à leur place en 3e ou en 2e avec un programme moins avancé ; iii) un effet motivation/incitation : l’augmentation du risque de redoublement doit inciter à davantage d’effort et d’étude, tout particulièrement les élèves proches du seuil de redoublement. Le résultat principal de ce papier est que nous ne trouvons pas d’indices forts de l’existence de ces trois mécanismes en analysant l’évaluation des scores en mathématiques, science et lecture des élèves de 4e secondaire. Soulignons brièvement trois facettes de notre travail. Premièrement, nous montrons que la réforme de 2001 a produit un changement faible mais statistiquement significatif de la manière dont les élèves sont répartis entre années. La réforme de 2001 s’est traduite par une réduction de la probabilité de fréquenter la 4 e secondaire à l’âge de 15 ans et, de façon symétrique, par une augmentation d’être en 3 e ou 2e secondaire. Deuxièmement, notre comparaison des scores de 4e avant et après la réforme repose sur la mesure de différence de différences (DD). Cette stratégie suppose de retenir un (ou plusieurs) pays ―contrôles‖ dans lesquels une 10 Ceux qui n’ont pas doublé sont en 4ème secondaire, les autres sont en 3ème voire en 2ème secondaire. 11 Soit, par définition, les élèves qui n’ont pas connu de sanction de redoublement auparavant 7 réforme comparable à celle de 2001 en Communauté française n’a pas été introduite. Nous en retenons trois. La Communauté flamande de Belgique (point de comparaison obligé dans le contexte belge). L’ensemble formé par la France, des Pays-Bas et de l’Autriche (pays où le redoublement est de fréquence comparable à la Communauté française). Et un troisième comprenant le Royaume-Uni, la Norvège et l’Islande (pays sans redoublement). Troisièmement, la comparaison des scores des élèves de 4e ne porte pas seulement sur les évolutions (d’écarts) de moyennes calculées pour l’ensemble de l’échantillon d’élèves mais aussi sur des sous-ensembles concentrant des individus a priori les plus concernés par la réforme du redoublement : les élèves élèves à risque proches du seuil de redoublement .Il s’agit, ce faisant ,de contrer une probable dilution des effets de la réforme par inclusion d’individus a priori moins affectés. De manière générale, nous trouvons des résultats semblables au travers des diverses estimations réalisées. Les (écarts de) scores entre élèves qui fréquentent la 4e secondaire en Communauté française et ceux des pays contrôles sont stables dans le temps. Ce résultat signifie qu’il n’y a pas d’indication sérieuse de ce que les effets « composition », « complémentarité » et « motivation » évoqués plus haut ont joué un rôle important suite au renforcement du redoublement en début de secondaire après 2001 en Communauté française de Belgique. Autrement dit aussi, il n’y a pas d’évidence que les performances en 4 e étaient nettement plus faibles sous un régime de promotion plus laxiste tel que pratiqué entre 1995 et 2001. Les élèves a priori plus faibles qui étaient alors promus en 4e ne tiraient pas le niveau vers le bas et ne paraissent plus ou moins motivés que leurs pairs après la réforme. Ce résultat reste globalement inchangé lorsque nous considérons le sous-ensemble des élèves « à risque » de redoublement. La suite du papier est organisée de la façon suivante. La Section 2 présente la réforme de 2001 en Communauté française de Belgique et illustre ses effets en termes d’incidence du redoublement, sur base de données administrative mais aussi des données PISA utilisées par la suite. La Section 3 présente l’analyse par différence de différences (DD) pour différents groupes-pays contrôle et des catégories d’élèves présentant a priori une risque de redoublement variable. La Section 4 conclut. 2. La réforme de 2001 en Communauté française de Belgique Le redoublement est une pratique à la fois ancienne et largement répandue en Communauté française de Belgique (Figure 1). La décision de redoublement est basée sur l’évaluation par les enseignants de l’aptitude de l’élève à passer dans l’année supérieure. Il n’existe pas de standard externe, commun à l’ensemble des écoles définissant un seuil de réussite conditionnant le redoublement/la réussite. Tous les élèves passent des examens en fin d’année, pour chacun des sujets figurant à leur programme. Et la décision de redoublement est fondée en très grande partie sur les résultats à ces examens. 8 Les opposants à cette pratique ont réussi, en 1995, à obtenir l’interdiction du redoublement à la fin de la 1 re secondaire. De 1995 à 2001, les sanctions de redoublement furent, sauf cas exceptionnels (voir infra), bannies des conseils de classe de 1re secondaire ; une décision qui s’est traduite par une baisse du nombre de cas de redoublement (Figure 2). Figure 2 – Fréquence du redoublement en 1re et 2e secondaire selon le régime de redoublement. Années scolaires 1992-93 à 2003-04. Communauté française de Belgique 1re secondaire 2e secondaire Part des élèves redoublants 14 12 Rétablissemnet redoublement en 1 e Supressiona du redoublement en 1e 10 8 6 4 2 0 92-93 93-94 94-95 95-96 96-97 97-98 98-99 99-00 00-01 01-02 02-03 03-04 a) Le redoublement en fin de 1re peut seulement intervenir sur base d’un accord réciproque des parents et des enseignants. Source: Ministère de la Communauté française de Belgique Durant cette période, les sanctions de redoublement pouvaient seulement intervenir en fin de 2 e secondaire. Il faut aussi souligner que la "non autorisation" de redoublement en fin de 1 re n'est pas compensée par une fréquence accrue de redoublement en fin de deuxième (Figure 2). Enfin, le redoublement en fin de 1re pouvait seulement intervenir sur base d’un accord réciproque des parents et des enseignants. Ceci explique la persistance d’un certain nombre de redoublements en fin de 1re entre 1995 et 2001. Mais les défenseurs du redoublement réussirent à abolir la décision de 1995. En septembre 2001, décision fut prise12 de rétablir la possibilité du redoublement en fin de 1 re secondaire pour les élèves ayant des résultats jugés insuffisants. La réforme de 2001 était qu’après l’année scolaire 2001-02, il redevenait possible de redoubler soit la 1re secondaire soit la 2e secondaire, mais pas les 2 années successivement.13 Les données administratives de la Figure 2 montrent que le nombre d’élèves qui redoublent la 1re secondaire augmente logiquement à partir de l’année 2002-03. Ces mêmes données montrent que le total des redoublants (1 re et 2e secondaires) est plus 12 Décret relatif à l'organisation du premier degré de l'enseignement secondaire D. 19-07-2001 M.B. 23-08-2001 13 Sur le plan formel, le législateur insiste sur le fait que la réforme de 2001 ne consiste pas à forcer les élèves faibles à ―redoubler‖ leur année, mais plutôt à les orienter en fin de 1 ère vers une année ―complémentaire‖. En pratique cependant, la mesure revient à imposer à l’élève d’allonger son parcours à concurrence d’une année avant d’accéder à la 2 ème secondaire. 9 important après 2001, ce qui signifie que la réforme à conduit à un accroissement du risque de redoublement au début du secondaire. Cette réforme nous permet donc de comparer les résultats d’un système sans pratiquement aucun redoublement en 1re secondaire avant 2001, à ceux d un système où le phénomène est important. Par la suite, nous exploitons le calendrier de cette réforme et en étudions les effets (causaux) de moyen terme 14 sur les résultats, et ce à l’aide des données PISA. Notons d’emblée que les données PISA confirment la hausse du redoublement à moyen terme. En effet, le pourcentage d’élèves qui atteignaient la 4e secondaire dans l’enquête 2003 (58.68%) est sensiblement supérieur à celui enregistré dans l’enquête 2006 (55.32%). Ceci signifie également que moins d’élèves sont « à l’heure » en 2006, vraisemblablement du fait de redoublements plus nombreux. En bref, ceci tend à donner du crédit à l’idée que la réforme de 2001 s’apparente bel et bien à un changement de régime dont les effets se sont propagés au-delà du 1er degré du secondaire. 3. L’analyse par différence de différences Nous examinons dans cette section les effets de la réforme au moyen des scores PISA. Rappelons que notre comparaison des scores de 4e secondaire avant/après la réforme constitue la clef de l’identification de la condition nécessaire à l’efficacité du redoublement: retenir en 3e (ou en 2e) secondaire les élèves les plus faibles, a priori moins aptes à suivre le programme de 4 e. Il s’agit en l’occurrence de vérifier que les scores de 4 e après la réforme (PISA 2006) sont significativement supérieurs à ceux enregistrés avant (PISA 2003). Rappelons aussi que la stratégie d’identification repose sur l’estimation de modèles de différence de différences (DD). Ces modèles supposent que l’entité qui introduit une réforme (ici la Communauté française) peut connaître des évolutions simultanées de variables — non connues de l’analyse — qui influencent également le score des élèves. Une simple comparaison temporelle (avant/après), des scores en Communauté française risquerait de confondre les effets de ces changements et ceux produits par la réforme. Pour contourner cet obstacle, ces modèles DD combinent comparaisons dans le temps et dans l’espace. L’identification de l’effet de la réforme consister à mesurer l’évolution dans le temps de l’écart de scores entre l’entité qui réforme (groupe traité) et celles qui ne réforment pas (groupe contrôle). Certes, les entités comparées diffèrent en termes de dimensions non observées susceptibles d’affecter les scores des élèves. Mais il paraît raisonnable de faire l’hypothèse que cette différence peut rester stable à court terme. Dès lors, si l’écart de score évolue à court terme, c’est très vraisemblablement du fait de la réforme. 14 Rappelons que PISA mesure les acquis à l’âge de 15 ans. Nous utilisons ces mesures pour évaluer les effets d’une réforme qui a affecté des élèves âgés de 12 à 13 ans. 10 Formellement, les modèles DD estimés ici correspondent à Yi,t= θ + ß BFR + D06 + λ D06 BFR+ X’I,t ξ + εi,t i = 1,…., N , t = 2003, 2006 où - Yi,t est le score de l’élève de 4e secondaire i ayant participé à PISA au cours de l’année t et retenu dans l’analyse ; - BFR est une variable binaire égale à 1 s’il s’agit d’un élève de la Communauté française de Belgique et 0 s’il s’agit d’un élève fréquentant l’enseignement du/des pays « contrôle ». - X’I,t est un vecteur de variables tenant compte du profil socio-économique des parents de l’élève (l’indice socio-professionnel le plus élevé parmi les deux parents, le niveau de diplôme de la mère et celui du père); - D06, égale à 0 si l’observation correspond à l’année 2003 (cohorte avant réforme) et égale à 1 s’il s’agit de 2006 (cohorte après réforme) ; - εi,t le terme d’erreur aléatoire; - N le nombre total d’élèves de l’échantillon PISA utilise pour estimer le modèle. Et le paramètre λ de la variable BFR *D06 est celui qui capte le changement dans les écarts de score (entre la Communauté française et le(s) pays contrôle(s)) ; changement imputable à la réforme de 2001. A propos de groupe contrôle, rappelons que notre stratégie consiste à en retenir plusieurs. Aucun pays (ou groupe de pays) n’est a priori parfait en tant que contrôle. Afin de garantir un degré maximal de robustesse à nos résultats, nous en retenons trois différents. Le premier — le plus évident dans le contexte belge — est la Communauté flamande de Belgique, dont le système d’enseignement reste largement comparable à celui de la Communauté française, mais où le niveau de redoublement est sensiblement moins important et les grands paramètres socio-économiques connaissent une dynamique qui diverge de celle de la Communauté française de Belgique. La Communauté flamande n’a pas modifié les règles de redoublement au début des années 2000. Le second groupe correspond aux pays qui sont semblables à la Communauté française en termes socioéconomiques mais surtout quant à la fréquence du redoublement. Il s’agit de la France, des Pays-Bas et de l’Autriche. A notre connaissance, ces pays n’ont pas modifié le régime de redoublement durant la période considérée ici. Un troisième groupe comprenant le Royaume-Uni, la Norvège et l’Islande correspond à des systèmes d’enseignement qui ne pratiquent tout simplement pas le redoublement. Une des originalités du papier est que nous y affinons l’examen du redoublement en restreignant l’analyse DD aux élèves à plus grand « risque » de redoublement. Dit autrement, nous estimons plausible qu’une réforme conduisant à intensifier le redoublement comme celle de 2001 n’a pas concerné tous les élèves avec la même intensité. En particulier, les « bons » élèves ont probablement été peu affectés directement ou indirectement. Les inclure systématiquement dans l’analyse, comme c’est le cas avec les comparaisons de moyennes des modèles DD traditionnels, comporte un risque de dilution de l’effet recherché. Rappelons que la réforme s’est traduite 11 par un faible changement de la proportion d’élèves fréquentant la 4 e secondaire (de 58.68% en 2003 à 55.32% en 2003). Nous proposons dès lors d’estimer un modèle DD au moyen d’un sous-échantillon d’élèves de 4e concentrant a priori une plus forte proportion d’individus concernés par le redoublement et son changement d’intensité. Nous l’identifions au moyen du profil socio-économique des parents. Ce dernier est utilisé pour calculer15 la probabilité d’être en 4e au moyen des données PISA 2006. Le groupe plus « à risque » de redoublement 16 est défini comme celui dont la probabilité (prédite) d’être en 4e est inférieure à 0.55.17 Les résultats principaux figurent dans les Tableaux 1 et 2. Ceux du Tableau 1 (estimation de DD avec tous les élèves) suggèrent l’existence de très légers gains oscillant entre 0.9 et 9 points sur l’échelle PISA18 soit l’existence d’une petite amélioration des scores en 4 e secondaire du fait de la réforme (faible effet filtre positif). Cependant, à deux exceptions près, les coefficients sont non significatifs sur le plan statistique. La restriction de l’analyse aux élèves a priori les plus concernés par la réforme (Tableau 2, élèves à risque c.à.d. ayant une probabilité d’être en 4e secondaire <0.55) va dans le même sens. Les coefficients oscillent entre -9 et 9 points de l’échelle PISA. On notera qu’ils sont mêmes négatifs pour les mathématiques (effet filtre négatif), mais dans tous les cas non significatifs sur le plan statistique. Ces résultats combinés (Tableaux 1 et 2) signifient l’absence d’évidence forte que les effets « composition », « complémentarité » et « motivation »constitutifs d’un effet filtre positif ont joué un rôle majeur. A contrario, ceci implique, il n’y a pas d’indication sérieuse de ce que les performances en 4 e étaient plus faibles sous un régime plus laxiste, de promotion automatique, pratiqué entre 1995 et 2001. Les élèves a priori plus faibles alors promus en 4e à l’âge de 15 ans ne semblent pas avoir tiré le niveau vers le bas. 15 Au moyen d’un modèle Probit. 16 Exclusivement pour l’analyse DD avec les groupes contrôle 1 et 2, pour des raisons évidentes. 17 Nous vérifions que ce groupe a connu une baisse de fréquentation de la 4e secondaire entre l’avant et l’après réforme en Communauté française de Belgique, alors qu’elle ne se retrouve pas parmi les pays/entités servant de groupe contrôle. 18 Moyenne internationale de 500 et écart-type de 100. 12 Tableau 1 : Différence de différences. Tous les élèves de 4e secondaire (coefficients λ et écarts-types) a) Groupe de contrôle : Communauté flamande de Belgique (1) (2) Math Lecture (3) Science (BFR==1)* D06 3.316 (2.937) 3.337 (2.804) 3.963 (2.831) Observations R-carré 10681 0.15 10681 0.13 10681 0.15 (2) Lecture (3) Science b) Groupe de contrôle: France, Pays-Bas et Autriche (1) Math (BFR==1)* D06 1.930 (2.681) 3.291 (2.727) 9.36 (2.82)*** Observations R-carré 17262 0.15 17262 0.13 17262 0.16 c) Groupe de contrôle: Royaume-Uni, la Norvège et l’Islande (pays sans redoublement) (1) (2) (3) Math Lecture Science (BFR==1)* D06 .907 (2.900) 9.043 (3.080)*** 3.915 (3.071) Observations R-carré 19721 0.14 19720 0.11 19721 0.12 * = significatif au seuil de 10% ; ** =significatif au seuil de 5% ; *** = significatif au seuil de 1% . Source : PISA 2003 et 2006 13 Tableau 2 - Différence de différences. Elèves de 4e secondaire selon leur probabilité a priori d’atteindre la 4e secondaire$ (coefficients λ et écarts-types) a) Group de contrôle: Communauté flamande de Belgique Math Lecture e Probabilité d’être en 4 secondaire$ [0 – 0.55]= élèves à risque ]0.55 – 0.70] ]0.70 – 1.00] -9.13 (7.64) 7.75 (4.34)* 4.84 (4.57) 4.93 (7.52) 4.97 (4.15) 1.67 (4.24) b) Groupe de contrôle: France, Pays-Bas, Autriche Math Lecture e Probabilité d’être en 4 secondaire$ [0 – 0.55] = élèves à risque ]0.55 – 0.70] ]0.70 – 1.00] -4.76 (6.79) 3.62 (4.00) .66 (4.37) 3.99 (7.20) 3.79 (4.04) 1.45 (4.14) Science 6.44 (7.51) 9.77 (4.17)** -3.82 (4.36) Science 8.20 (7.21) 12.35 (4.22)*** 6.28 (4.46) b) Groupe de contrôle: Royaume-Uni, la Norvège et l’Islande (pays sans redoublement) Math Lecture Science e Probabilité d’être en 4 secondaire$ [0 – 0.55] = élèves à risque ]0.55 – 0.70] ]0.70 – 1.00] -5.81 (7.11) 5.28 (4.27) -2.69 (4.72) 9.17 (7.62) 13.66 (4.54)*** 3.83 (4.93) 4.65 (7.63) 12.13 (4.52)*** -1.34 (5.00) * = significatif au seuil de 10% ; ** =significatif au seuil de 5% ; *** = significatif au seuil de 1% . $ : Probabilité estimée au moyen d’un modèle Probit dont les coefficients sont estimés ou moyen des données PISA 2006 et dont les variables dépendantes sont l’indice socio-économique le plus élevé des deux parents, le diplôme de la mère et le diplôme du père. Source : PISA 2003 et 2006 14 4. Conclusion Ce papier exploite la réforme intervenue en 2001 en Communauté française, qui a consisté à (ré)introduire le redoublement en fin de 1re secondaire, pour évaluer les effets de moyen terme (auprès des élèves de 15 ans) du redoublement. Cette réforme représente « une expérience naturelle » soit une source de variation exogène de la probabilité de redoubler. Nous vérifions effectivement que cette réforme a augmenté la fréquence des redoublements en début de secondaire. Nous vérifions également que cette réforme a réduit la probabilité que des élèves se trouvent sans retard en 4e secondaire à l’âge de 15 ans. Pour évaluer les effets de cette variation du redoublement sur les acquis des élèves, nous estimons plusieurs modèles de différence de différences (DD) au moyen des données PISA 2003 (avant la réforme) et 2006 (après la réforme). Quoique ces données ne permettent pas d’évaluer les effets du redoublement sur le niveau final des élèves doublants (au terme de la 4e secondaire en l’occurrence), elles permettent de tester la condition nécessaire pour que le redoublement soit une pratique pédagogique efficace : identifier les élèves les plus faibles, ceux qui peinent à assimiler le programme avancé de la 4e secondaire, et forcer leur maintien dans les années inférieures. C’est ce que nous avons appelés l’effet filtre du redoublement. L’existence de cet effet filtre (ou plus précisément son renforcement du fait de la réforme) devrait symétriquement entraîner une amélioration du niveau des élèves de 4e lors des tests PISA. Or c’est précisément ce que notre analyse ne parvient pas à mettre en évidence. La restriction de l’analyse aux élèves a priori les plus concernés par la réforme confirme et renforce ce dernier résultat. Nous concluons que, dans l’ensemble, nos résultats font douter de l’efficacité du redoublement tel qu’il se pratique en Communauté française de Belgique. Bibliographie Eide, E.R. and M.H. Schowlater (2001), The Effect of Grade Retention on Educational and Labour Market Outcomes, Economics of Education Review, 20(6), pp. 563-576. Grissom, J. and L. Shepard (1989), Repeating and dropping out of school, in L. Shepard and M. Smith (Eds.), Flunking Grades: Research and policies on Retention, London: The Palmer Press. Holmes, C. T. (1989), Grade level retention effects: A meta analysis of research studies. In L. A. Shepard & M. L. Smith (Eds.), Flunking grades: Research and policies on retention (pp. 16-33). London: Falmer. Jacob, B.A & L. Lefgren, (2004), Remedial Education and Student Achievement: A Regression-Discontinuity Analysis, Review of Economics and Statistics, LXXXVI(1), pp. 226-244. Jacob, B.A & L. Lefgren, (2009), The Effect of Grade Retention on High School Completion, forthcoming in American Economic Journal - Applied Economics. 15 Jimerson, S.R. (1999), On the Failure of Failure, Journal of School Psychology,37(3), pp. 243–272. Jimerson, S.R. (2001), Meta-analysis of Grade Retention Research: Implications for Practice in the 21st Century, School Psychology Review 30(3), pp. 420-437 Manacorda, M. (2008), The Cost of Grade Retention, CEP Discussion Papers 0878, Centre for Economic Performance, LSE. McCoy, A.R. & A. J. Reynolds (1998), Grade Retention and School Performance: An Extended Investigation, Institute for Research on Poverty, Discussion Paper no. 1167-98, University of Wisconsin,-Madisson. Roderick, M. (1994), Grade retention and school dropout: Investigating the association. American Educational Research Journal, 31, pp. 729–759. Roderick, M. and M. Engle (2001), The grasshopper and the ant: motivational responses of low-achieving students to high-stakes testing, Educational Evaluation and Policy Analysis, 23(3), pp. 197-227. Roderick, M., & Nagaoka, J. (2005). Retention under Chicago’s high-stakes testing program: Helpful, harmful, or harmless? Educational Evaluation and Policy Analysis, 27(4), pp. 309-340.