modélisation prédictive du rendement des élèves de l

 MODÉLISATION PRÉDICTIVE DU RENDEMENT DES ÉLÈVES DE L’ONTARIO :
APPROCHE PRATIQUE ET INDIVIDUELLE PERMETTANT DE CIBLER LES
INTERVENTIONS PÉDAGOGIQUES
Serge Boulé Centre canadien de leadership en évaluation [email protected],
Mario Gagnon Ministère de l’éducation de l’Ontario [email protected]
Mots-clés : Modèle prédictif, prédicteur, predictive model, tests à grande échelle, évaluation
Résumé. Les conseils scolaires de l’Ontario sont tenus d’assurer l’amélioration du rendement des
élèves étant sous leur autorité. L’utilisation d’une approche prédictive permet d’anticiper le
rendement aux tests de l’Office de la qualité et de la responsabilité en éducation (OQRE) en fonction
des résultats sur les bulletins scolaires antérieurs des élèves. L’analyse de régression logistique
binaire permet d’établir les probabilités individuelles de réussite. Des équations sont développées
pour chaque test de l’OQRE de chaque niveau (3e, 6e, 9e et 10e), pour chaque filière d’étude
(théorique ou appliquée) et pour chaque sexe. Les résultats de ces analyses sont par la suite discutés
en communauté d’apprentissage professionnel (CAP) afin de déployer des interventions ciblées. Les
CAP favorisent la prise de décision fondée sur des données probantes. Il est considérablement
avantageux et économique de pouvoir anticiper les résultats des élèves à partir d'une source déjà
existante de données comme le bulletin sans avoir à administrer à grande échelle des tests
diagnostiques supplémentaires.
1.
Concepts et écrits
Nous présentons une approche qui utilise les données du bulletin scolaire afin d'estimer la probabilité
qu’a chaque élève d’atteindre la norme préétablie lors de tests à grande échelle. Cette information est
utilisée par le personnel enseignant et la direction de l’école dans le but de déterminer et d’implanter
des mesures de remédiation spécifiquement liées à l’amélioration du rendement des élèves. Cette
approche est développée à la demande d’intervenants du milieu. Il s’agit d’une recherche de type
appliqué.
Les résultats obtenus par les tests à grande échelle du rendement des élèves représentent des
indicateurs clés de la performance d'un système scolaire (Anderson, Rogers, Klinger, Ungerleider,
Glickman & Anderson, 2006). Ces tests vont de concert avec les exigences d’imputabilité accrue
imposées. Étant donné que les conseils scolaires et les écoles sont de plus en plus tenues responsables
du rendement de leurs élèves, la prise de décision fondée sur des données probantes devient essentielle
(Earl & Katz, 2008). Dans ce contexte, la modélisation prédictive constitue une source importante
d’information (Education Commission of the States, 2000). L'approche proposée repose sur les
données disponibles dans les bulletins d’élèves et dans les écoles. L’administration a priori de tests
diagnostiques à grande échelle supplémentaires n’est pas requise.
L’anticipation du rendement des individus n’a rien de nouveau (Binet & Simon, 1904;
von Mayrhauser, 1992; Spearman, 1904a; Yerkes, 1919; Wainer, 2000). Wainer (2000) explique que,
dès 2200 av. J.-C., les Chinois mesurent des performances précises afin de prédire chez les mêmes
individus des performances considérées connexes. Entre 1880 et 1900, F. Galton, J.M. Cattell et autres
chercheurs tentent de prédire, avec peu de succès (Gullickson, 1950), le rendement des étudiants au
collège à partir de nouvelles mesures de l'intelligence. Les contributions de Binet et Simon (1904), de
Spearman (1904), de Terman et Childs (1912) et de Yerkes (1919) aident à établir les fondements et
les rôles de la théorie classique des scores et des analyses statistiques en éducation. Des adaptations du
test de Binet et Simon sont utilisées pour produire le Army Alpha (von Mayrhauser, 1992), puis le
premier Scholastic Aptitude Test (SAT) (Wainer, 2000). Toutes ces initiatives ont pour but d’anticiper
la performance à court et à moyen terme des individus. La modélisation prédictive est encore utilisée
dans de nombreuses institutions post-secondaires afin de prédire le rendement scolaire des candidats
(Amodeo, Marcus, Thornton & Pashley, 2009; Bassiri & Schulz, 2003; Beecher & Fischer, 1999;
Bender & Garner, 2010; Noble, 2000, 2003; Ziomek & Andrews, 1996; Zwick & Sklar, 2005) ou
l’achèvement des programmes d’études (Allen, Robbins & Sawyer, 2010; Beecher & Fischer, 1999;
Boujut & Bruchon-Schweitzer, 2007; Cohn, Cohn, Balch, & Bradley, 2004).
De nombreux facteurs liés au rendement des élèves font l’objet d’études ou sont utilisés à titre de
prédicteurs. Hattie (2009) réalise une importante méta-analyse portant sur le rendement des élèves.
Hattie note cependant que la généralisation de ses résultats est limitée puisqu’ils sont tirés de groupes
anglophones et de pays très développés. Cette étude aide toutefois à identifier des prédicteurs
potentiels. Hattie constate que le rendement antérieur déclaré par l’élève constitue le facteur ayant le
plus d'impact sur le rendement des élèves. Cette observation est corroborée par plusieurs études qui
identifient le rendement antérieur des élèves parmi les meilleurs prédicteurs du rendement ultérieur des
élèves (Bassiri & Schulz, 2003; Beecher & Fischer, 1999; Bender & Garner, 2010; Campbell & Fuqua,
2008; Cohn, Cohn, Balch, & Bradley, 2004; Geiser & Santelices, 2007; Noble, 2000, 2003; Rogers,
Ma, Klinger, Dawber, Hellsten, Nowicki, & Tomkowicz, 2006; Ziomek & Andrews, 1996; Zwick &
Sklar, 2005).
Le rendement antérieur des élèves peut être défini de plusieurs manières et le contexte des études doit
être pris en considération lors de l'interprétation des résultats. Dans leurs modèles prédictifs, diverses
études utilisent la moyenne pondérée cumulative des élèves (MPC) au secondaire (Beecher & Fischer,
1999; Geiser & Santelices, 2007), au collège ou à l’université (Allen et al, 2010, Boujut & BruchonSchweitzer, 2007) ou dans des cours portant sur des sujets précis (Klapp Lekholm & Cliffordson,
2009). L’étude de Bacon et Bean (2006) suggère que l'utilisation d'un nombre maximum de notes
permet d’augmenter la fidélité de la MPC, mais que les notes plus récentes représentent des prédicteurs
plus valides. D'autres études, pour ne mentionner que celles-ci, utilisent des tests d’aptitudes ou des
tests du rendement tels que l'American College Testing Program (ACT) (Bassiri & Schulz, 2003), le
SAT (Cohn et al., 2004), le Law School Admission Test (LSAT) (Amodeo, Marcus, Thornton &
Pashley, 2009), le Graduate Record Examination (GRE) (Feeley, Williams & Wise, 2005) et le
Graduate Management Admission Test (GMAT) (Koys, 2010) dans leurs modèles prédictifs.
Pour leur part, Beecher et Fischer (1999) tentent d’utiliser le nombre de cours pris par l’élève dans les
filières théoriques, esthétiques et pratiques à l'école secondaire afin de prédire le rendement et
l’achèvement de la première année de collège. Finalement, ils ne retiennent pas cette variable dans
leurs modèles prédictifs. Similairement, Hattie (2009) examine l’utilisation des filières à titre de
prédicteurs et constate qu'elles ont peu d'effets sur le rendement.
Certaines études examinent l'impact d’inclure le genre des élèves dans leurs modèles, mais souvent
sans résultats significatifs (Anderson et al., 2006; Beecher & Fischer, 1999). À ce sujet, il est
important de noter que les tests à grande échelle font habituellement l’objet de vérification pour
fonctionnement différentiel selon le genre. D’autre part, lorsque Bender et Garner (2010) étudient les
prédicteurs de la MPC de la première année au collège, ils produisent des modèles prédictifs pour
chaque genre et trouvent suffisamment de différences pour justifier l’utilisation de modèles distincts.
En utilisant un modèle hiérarchique linéaire au niveau de l'élève, de la salle de classe et de l’école,
Rogers et al. (2006) étudient l'impact de près de 150 variables lors de prédictions du rendement dans
les langues et les mathématiques. Ils constatent que les différences entre les filles et les garçons varient
selon les disciplines.
L'impact des variables liées au statut socio-économique (SSE) sur le rendement est également
largement étudié. Dans leurs modèles multi-niveaux, Rogers et al. (2006) identifient que le nombre de
parents au niveau des élèves et la participation des parents au niveau de la classe ont une influence
significative sur le rendement des élèves autant dans les langues qu’en mathématiques. Rogers et al.
constatent que de nombreuses variables liées au SSE de l'école, qui sont utilisées afin d’estimer le SSE
des élèves, ne sont pas incluses dans leurs modèles une fois que le rendement antérieur des élèves est
ajouté. Zwick et Grief Green (2007) étudient l'impact du SSE sur la MPC au secondaire lorsque les
écoles sont regroupées ou analysées individuellement. Zwick et Grief Green suggèrent que ce
regroupement explique l’exclusion des variables SSE dans les modèles prédictifs. Caro, McDonald et
Willms (2009) constatent que l'écart de rendement entre un SSE faible et un SSE élevé demeure stable
entre l’âge de 7 et 11 ans, mais s'élargit à un rythme croissant entre l’âge de 11 à 15 ans.
Les écrits rapportent d'autres prédicteurs potentiels tels que certains facteurs psychosociaux (FPS) qui
sont en l’occurrence le sentiment d'efficacité personnelle, l'intérêt pour l'école, l'anxiété et la
personnalité des étudiants. En utilisant seulement des FPS dans leur modèle prédictif, Boujut et
Bruchon-Schweitzer (2007) constatent qu’une impulsivité faible et une affectivité positive élevée
représentent des prédicteurs de l'achèvement de la première année des étudiants universitaires
européens. Allen, Robbins et Sawyer (2010) constatent que les FPS représentent une valeur ajoutée
aux prédictions de l’achèvement du programme fondées sur les prédicteurs traditionnels. Dans le
contexte des élèves du secondaire au Canada (Anderson et al., 2006) et des étudiants universitaires en
Europe (Boujut & Bruchon-Schweitzer, 2007), une augmentation de l'utilisation du soutien
pédagogique serait liée à une baisse du rendement. Cette relation négative n'est pas clairement
expliquée par ces études.
L'un des principaux FPS étudiés dans de nombreux contextes est l'effet de la motivation des élèves sur
le rendement (Allen et al, 2010; Bender & Garner, 2010; Boujut & Bruchon-Schweitzer, 2007; Hattie,
2009). Dans les cycles de scolarité obligatoire, Klapp Lekholm et Cliffordson (2009) trouvent des
différences significatives entre les notes attribuées par le personnel enseignant aux filles et aux garçons
dans diverses disciplines. Cependant, ces différences seraient fortement atténuées par l’intérêt général
des élèves et leur motivation. Similairement, Bender et Garner (2010) rapportent des différences au
niveau de la motivation des filles et des garçons.
L’approche que nous proposons opte pour l’utilisation de données déjà existantes. Comme Allen et al.
(2010) l’expliquent, l’utilisation de données déjà existantes n’engendre pas de coût additionnel pour
l'institution en matière de tests supplémentaires ou pour les élèves en matière de temps consacré à ces
tests. Par conséquent, ces auteurs suggèrent que la précision et la valeur ajoutées aux prédictions par
les résultats des tests supplémentaires doivent être évaluées en fonction des coûts liés à l’obtention de
ces données et de ces mesures additionnelles. Par ailleurs, comme mentionné précédemment, l'impact
des variables SSE lors de la prédiction du rendement des élèves est limité une fois que le rendement
antérieur des élèves est ajouté au modèle (Rogers et al, 2006).
La comparabilité des notes attribuées dans différentes écoles ou conseils scolaires représente un
problème potentiel lors de l'utilisation de données déjà existantes. Les données provenant des bulletins
scolaires des élèves sont facilement accessibles. Des inquiétudes quant à leur fidélité sont cependant
soulevées (Cizek, 2009; Geiser & Santelices, 2007; Zwick & Grief Green, 2007). Dans le contexte des
tests à grande échelle standardisés, Anderson et al. (2006) trouvent une stabilité étonnante du
rendement des élèves entre les écoles. La synthèse de Hattie (2009) conclut que les facteurs liés à
l’école ont les effets les moins importants. Lors de l'étude de la MPC de 4 années d’étudiants du
premier cycle, Bacon et Bean (2006) observent une fidélité de 0,94. Ces études ne comparent
cependant pas directement les écoles ayant des caractéristiques différentes, que Zwick et Grief Green
exposent comme étant problématiques. À cet effet, Willingham, Pollack et Lewis (2002) et Boulé
(2011; 2012) proposent d’ajuster les notes des bulletins en appliquant une correction qui compense
pour les différences de sévérité dans l’attribution de notes par le personnel enseignant et ramène ainsi
les notes sur une échelle comparable entre les écoles.
2.
Méthode L’approche proposée utilise des données provenant du bulletin scolaire lors de la modélisation
prédictive du rendement des élèves de 3e, 6e, 9e et 10e années aux tests à grande échelle de l’Office de
la qualité et de la responsabilité en éducation (OQRE) qui sont administrés chaque année en Ontario.
Tous les élèves de la province pour les niveaux sélectionnés sont testés, ce qui représente une cohorte
d'environ 160 000 élèves de langue anglaise et 6 000 élèves de langue française par niveau. En
anticipant la probabilité de réussite d'un élève, il est possible de cibler les élèves nécessitant une
attention particulière et de maximiser leurs chances de réussite. L'approche proposée est le résultat des
travaux de recherche de Boulé (2011; 2012) qui ont débuté en 2004-2005. Elle est actuellement
appliquée dans neuf conseils scolaires représentant plus de 50 000 élèves de l'Ontario. Il s'agit d'un
programme de recherche qui applique le cycle d'amélioration continue planifier, faire, vérifier et
ajuster (PFVA) de Shewhart et Deming (Chardonnet & Thibaudon, 2003).
L'approche débute par un volet quantitatif et passe ensuite à la mise en œuvre en alignant la méthode
avec le cadre d’imputabilité d'un conseil scolaire et le soutien apportés à ses écoles. La première
section donne un aperçu général de l'approche. Ensuite, les données sur lesquelles l'approche est
fondée sont passées en revue. Enfin, les méthodes statistiques adoptées dans cette approche afin de
prédire la probabilité de succès sont discutées.
2.1
Description de l'approche
Les étapes associées à cette approche sont nombreuses. La première étape est l’établissement de cibles
de rendement pour les écoles, qui sont des niveaux de rendement réalistes que les écoles tentent
d’atteindre. Ces cibles sont déterminées statistiquement et sont basées sur un nombre de prémisses.
Cette étape coïncide avec la collecte des données du bulletin scolaire des élèves et des résultats
antérieurs obtenus aux tests de l'OQRE. Une fois que ces données sont obtenues, les modèles prédictifs
peuvent être construits. Par la suite, la probabilité de réussite de chaque élève est fournie à leur conseil
scolaire respectif. Les représentants des conseils scolaires analysent ces prédictions avec les directions
d'école. Les écoles peuvent alors cibler certains élèves et discuter des interventions pédagogiques
appropriées lors des réunions de groupes telles que les communautés d'apprentissage professionnelles
telles que suggérées par Dufour, Dufour et Eaker (2008). Les écoles sont encouragées à mettre en
place des réunions et des tableaux de pistage afin d'assurer un suivi continu des élèves ciblés.
2.2
Données Cette approche utilise les notes des bulletins à l’élémentaire et au secondaire, les habiletés
d'apprentissage et les habitudes de travail. Elle s'appuie sur la prémisse qu'il y a corrélation entre les
notes du bulletin et les résultats aux tests de l'OQRE (Ross & Gray, 2008). Ce lien peut être
statistiquement démontré. Une analyse des données provenant de plus de 3 000 écoles élémentaires de
l'Ontario montre un lien étroit entre les données du bulletin et les résultats aux tests de l’OQRE pour
les élèves de 3e année. Dans ce cas, 474 écoles ont des résultats de l'OQRE en dessous de 50 % alors
que seulement 9 écoles élémentaires ont des résultats au bulletin en dessous de 50 %. Pourtant, la
relation entre les deux méthodes d'évaluation est assez forte, avec une valeur R2 de 0,27.
Pour la cohorte de 2010-2011, neuf conseils scolaires participent à cette approche. Cela comprend près
de 200 écoles élémentaires représentant 3 500 élèves de 3e année et 3 400 élèves de 6e année. Au
niveau du secondaire, plus de 50 écoles participent, ce qui comprend 3 400 élèves de 9e année et 3 100
élèves de 10e année.
2.3
Modélisation prédictive
Cette approche utilise la méthode de régression logistique binaire afin de prédire la probabilité de
réussite des élèves aux prochains tests de l’OQRE. Cette méthode est robuste par rapport aux
exigences de conformité aux postulats de l’analyse multi-variée. Elle peut également utiliser des
variables continues, catégorielles ou dichotomiques comme prédicteurs. Ce type d'analyse est
fréquemment utilisé pour anticiper le rendement scolaire (Allen et al, 2010; Amodeo et al, 2009;
Boujut & Bruchon-Schweitzer, 2007; Geiser & Santelices, 2007; Noble, 2000, 2003).
Des modèles de régression logistique distincts sont utilisés pour chaque test de l'OQRE (lecture,
écriture et mathématiques) de 3e et 6e année, pour les garçons et les filles et pour chaque filière pour les
élèves de 9e et 10e année. La tendance historique à l'échelle provinciale, qui montre des différences
notables dans la performance entre les garçons et les filles, justifie l'utilisation de modèles distincts
pour les filles et les garçons. Les tableaux de classification, indiquant le pourcentage de classification
correcte, et la vérification de la qualité de l'ajustement, sont utilisés afin de sélectionner les meilleurs
modèles prédictifs disponibles. Dans l’approche proposée, la règle de parcimonie ne constitue pas un
critère de sélection des modèles. Comme il sera décrit ultérieurement dans le texte, les variables
indépendantes utilisées comme prédicteurs constituent une source d’information additionnelle lors de
la sélection d’interventions pédagogiques de remédiation appropriées.
Les pourcentages de classification correcte pour la cohorte de 2010-2011 sont tous au-dessus de 80 %,
à l’exception des prédictions pour les tests en 9e année qui présentent un pourcentage un peu plus bas.
La moyenne des pourcentages de classification correcte pour l'ensemble des 20 modèles de régression
logistique binaire utilisés est de 82,4 % et certains modèles atteignent des pourcentages dans les 90 %.
Des prédicteurs additionnels sont présentement examinés afin d'atteindre des pourcentages de
classification correcte plus élevés pour les modèles de la 9e année. Une fois que des modèles
satisfaisants sont produits, les équations de régression sont utilisées afin de créer des listes de
prédiction du rendement des élèves lors des prochains tests à grande échelle de l’OQRE.
3.
Résultats Cette section présente d’abord une description du déroulement de cette méthode, avec des exemples
des informations qui sont transmises aux conseils scolaires et à leurs écoles. Par la suite, les résultats
d’une analyse d'impact préliminaire sur des données de la cohorte de 2009-2010 d’un conseil scolaire
précis sont discutés. Bien qu’il soit impossible d’attribuer l’amélioration du rendement des élèves à
une seule stratégie, ces résultats reflètent des changements dans les pratiques de ce conseil scolaire qui
coïncident avec la mise en œuvre de l'approche.
3.1
Cibles
Les résultats des élèves aux tests de l'OQRE de l'année précédente sont utilisés afin de déterminer des
cibles raisonnables de rendement pour les élèves actuels de l’école. Ces cibles sont déterminées
statistiquement en utilisant une équation qui prend en considération les données de chaque école. Cette
équation est basée sur quatre prémisses (1) il est attendu que les écoles font des progrès, et ce,
indépendamment de leurs résultats antérieurs (2) la cible respecte le point de départ de l'école (3) les
écoles évaluent leurs progrès en fonction de leurs propres résultats et de leurs circonstances
particulières (4) les jugements de valeur sont exclus. Ces cibles de rendement prennent la forme du
pourcentage d'élèves qui devraient atteindre ou dépasser la norme provinciale dans chaque école. Ce
pourcentage permet d’estimer le nombre d’élèves qui doivent atteindre la norme provinciale de
manière à ce qu’une école parvienne à sa cible. Cette méthode permet donc d'estimer une cible réaliste,
qui facilite une amélioration progressive. De plus, elle est harmonisée avec les résultats des analyses
prédictives.
3.2
Anticipation du rendement des élèves
En lien avec le concept de prise de décision fondée sur des données probantes par les écoles (Earl &
Katz, 2008; Education Commission of the States, 2000; Kerr, Marsh, Ikemoto, Darilek & Barney,
2006), l'approche actuelle peut être considérée comme une valeur ajoutée aux sources d’informations
disponibles. Avec les outils d'évaluation à leur disposition, les enseignants peuvent généralement
prévoir de manière fiable la performance des élèves dès la mi-octobre. En outre, les analyses des
résultats de l'OQRE des années antérieures peuvent aider à identifier les tendances. Les prévisions
statistiques du rendement des élèves de cette approche peuvent aider les enseignants à prendre des
décisions pédagogiques de remédiation plus éclairées.
D'autres informations peuvent être obtenues grâce à ces analyses. En analysant les données du bulletin,
il est possible de déterminer la probabilité qu'un élève atteigne la norme provinciale sur un test de
l'OQRE. Il est également possible d'identifier les compétences et les habiletés à développer qui sont
fortement corrélées avec cette probabilité de réussite. Si un lien de causalité entre les prédicteurs et le
rendement d'un élève sur les tests de l'OQRE ne peut être établi avec certitude, il est concevable que
des interventions pédagogiques ciblées, fondées sur les prédicteurs identifiés, puissent conduire à un
impact positif sur le rendement des élèves. Par conséquent, agir sur les prédicteurs qui ont
potentiellement un impact, pourrait potentiellement contribuer à améliorer le rendement des élèves.
Pour cette raison, une liste de prédicteurs fait également partie de l'information offerte aux conseils
scolaires.
En lien avec cette approche, les cibles et les prédictions du rendement des élèves sont des éléments
pertinents à prendre en considération lors de l'élaboration d'un cadre d'amélioration du conseil. En
utilisant les données disponibles dans le cadre de la prise de décisions fondées sur des preuves, les
directions et le personnel enseignant peuvent discuter et interpréter les données afin de cibler les élèves
(van Barneveld, 2008). En outre, les données supplémentaires pertinentes concernant les évaluations et
le rendement des élèves ciblés, ainsi que le type de soutien individuel proposé, peuvent être déterminés
et identifiés dans un tableau de pistage. Le tableau de pistage facilite les suivis et permet aux
superviseurs d’obtenir des informations sur les progrès des élèves ciblés lors de chaque visite.
4.
Étude d'impact Cette approche propose une procédure de mise en œuvre qui favorise le travail en équipe et la prise de
décisions fondée sur des preuves. Les analyses préliminaires présentées dans cette section proviennent
d'un conseil scolaire qui met en œuvre le ciblage d’élèves en fonction du rendement anticipé et d'autres
informations disponibles. Les résultats pour la cohorte 2009-2010 affichent une tendance intéressante.
Historiquement, on constate qu'environ 50 % des écoles atteignent ou dépassent leurs objectifs de
rendement. Dans le conseil scolaire étudié, 66 % des écoles atteignent ou dépassent leurs cibles de 3e
année et 62 % atteignent ou dépassent leurs cibles de 6e année, pour un total combiné de 64,6 %.
Les résultats de l'OQRE pour les élèves ciblés sont tout aussi révélateurs. En principe, si les
interventions pédagogiques prévues pour les élèves ciblés n’ont aucun effet, la régression linéaire
devrait donner des résultats similaires pour les groupes d'élèves ciblés et non ciblés. Dans la figure 1,
nous notons une différence entre le coefficient de détermination (R2 = 0,195, p < ,001) des élèves qui
ne sont pas ciblés (n = 106) par rapport au coefficient de détermination (R2 = 0,015, p < ,571) de ceux
qui sont ciblés (n = 24). Nous notons que 19 des 24 élèves ciblés atteignent ou dépassent la norme
provinciale. Les cinq élèves dont les résultats aux tests de l’OQRE ne satisfont pas à la norme
atteignent néanmoins le niveau 2+. Ceci suggère que le personnel de l'école, grâce à leurs interventions
pédagogiques prodiguées aux élèves ciblés, peut possiblement avoir un effet modérateur sur les
prévisions et peut potentiellement aider les élèves ciblés à atteindre des résultats plus élevés que ceux
anticipés. Nous constatons un phénomène similaire avec tous les résultats aux tests de l'OQRE
analysés.
Figure 1 : Différence de scores obtenus par les élèves ciblés et ceux non ciblés
L'approche prédictive permet également d’estimer la probabilité moyenne des élèves d'atteindre la
norme provinciale lors des tests de lecture en 6e année de l'OQRE. Dans le tableau 1, nous notons que
la probabilité moyenne d'obtenir ou de dépasser la norme provinciale chez les élèves ciblés est de
69,1 % par rapport à une probabilité de 86,9 % pour le groupe non ciblé. Après les interventions
pédagogiques des écoles, le score moyen brut des élèves ciblés est de 3,2, ce qui est près de la note
moyenne de 3,6 obtenue par les élèves non ciblés. La différence entre ces deux scores bruts n'est pas
significative (χ2 (1, 130) = 1,68, p < ,20), ce qui suggère que les élèves ciblés qui ont reçu un appui
additionnel réussissent mieux qu’anticipé.
Tableau 1
Test de l’OQRE en lecture en 6e année a
Groupe non ciblé
Groupe ciblé par l'école
Probabilité moyenne
Nombre d'atteinte de la norme
d'élèves (niveau 3)
Score brut moyen
obtenu au test de
l'OQRE
110
86,8 %
3,6
20
69,1 %
3,2
a - 90,4 % de précision chez les filles et 85,2 % chez les garçons
Dans ce cas, le conseil scolaire utilise les données de l'approche prédictive afin de cibler
spécifiquement les élèves avec une faible probabilité d'atteindre les normes provinciales. Les
interventions ciblées semblent avoir un impact positif sur le rendement des élèves ciblés. Dans ce
conseil scolaire, le personnel scolaire (enseignants, directions, superviseurs) est réceptif à la démarche
et intègre des données supplémentaires dans sa prise de décisions. L'engagement du personnel d’un
conseil scolaire, de l'équipe de gestion et du personnel enseignant et de direction semble être une
condition sine qua non pour une mise en œuvre efficace de l'approche.
5.
Conclusion Cette approche est en lien avec le cadre d’efficacité des écoles de la maternelle à la 12e année
recommandé par le ministère de l'Éducation de l'Ontario. Elle permet à chaque école, et par extension,
à chaque conseil scolaire, de procéder à une auto-évaluation dans un contexte de régulation des
pratiques tout en prévoyant des ajustements. Cette approche et sa mise en œuvre s’améliorent au fil des
ans. L'engagement du personnel dans cette démarche progresse. Bien qu’il ne soit pas possible
d'attribuer l’amélioration d’une école à un seul facteur comme l'approche proposée, nous notons que
les résultats annuels aux tests de l’OQRE augmentent avec constance au cours des quatre dernières
années. Comme expliqué précédemment, l'utilisation du cycle PFVA de Shewhart et Deming permet
l’amélioration continue de la recherche et de la mise en œuvre de l'approche.
L'importance de cette recherche provient du fait qu’elle démontre l'applicabilité de la modélisation
prédictive du rendement futur des élèves sur le terrain et la volonté du personnel enseignant et des
superviseurs à utiliser ce type d'approche au niveau des écoles et du conseil lors de la planification de
l’amélioration du rendement des élèves.
6.
Références
Allen, J., Robbins, S. B., & Sawyer, R. L. (2010). Can measuring psychosocial factors promote college
success ? Applied Measurement in Education, 23(1), 1-22.
Amodeo, A., Marcus, L. A., Thornton, A. E., & Pashley, P. J. (2009). Predictive validity of accommodated LSAT
scores for the 2002-2006 entering law school classes. Newtown, PA : Law School Admission Council.
Anderson, J. O., Rogers, W. T., Klinger, D. A., Ungerleider, C., Glickman, V., & Anderson, B. (2006). Student
and school correlates of mathematics achievement : Models of school performance based on pan-canadian
student assessment. Canadian Journal of Education, 29(3), 706-730.
Bacon, D. R., & Bean, B. (2006). GPA in research studies : An invaluable but neglected opportunity. Journal of
Marketing Education, 28(1), 35-42.
Bassiri, D., & Schulz, E. M. (2003). Constructing a universal scale of high school course difficulty. ACT research
report series. No. ACT-RR-2003-04. Iowa City ACT.
Beecher, M., & Fischer, L. (1999). High school courses and scores as predictors of college success. Journal of
College Admission, (163), 4-9.
Bender, D. S., & Garner, J. K. (2010). Using the LASSI to predict first year college achievement : Is a genderspecific approach necessary ? AERA conference, Denver : Colorado.
Binet, A., & Simon, T. (1904). Méthodes nouvelles pour le diagnostic du niveau intellectuel des anormaux.
L'Année Psychologique, 11(1), 191-244.
Boujut, É., & Bruchon-Schweitzer, M. (2007). Rôle de certains facteurs psychosociaux dans la réussite
universitaire d'étudiants de première année. L'orientation scolaire et professionnelle, 32(2), 1-19.
Boulé, S. (2011). Anticipation du rendement des élèves. Monographie no 1 hors série. Ottawa : CFORP.
Boulé, S. (À paraître en 2012). Approche prédictive visant l’amélioration du rendement des élèves : Manuel
technique et statistique. Ottawa : CLÉ.
Campbell, K. C., & Fuqua, D. R. (2008). Factors predictive of student completion in a collegiate honors program.
Journal of College Student Retention : Research, Theory & Practice, 10(2), 129-153.
Caro, D. H., McDonald, J. T., & Willms, D. (2009). Socio-economic status and academic achievement trajectories
from childhood to adolescence. Canadian Journal of Education, 32(3).
Chardonnet, A. & Thibaudon, D. (2003). Le guide du PDCA de Deming : Progrès continu et management. Paris :
Éditions d’Organisation.
Cizek, G. J. (2009). Reliability and validity of information about student achievement : Comparing large-scale and
classroom testing contexts. Theory into Practice, 48(1), 63-71.
Cohn, E., Cohn, S., Balch, D. C., & Bradley, J., Jr. (2004). Determinants of undergraduate GPAs : SAT scores,
high-school GPA and high-school rank. Economics of Education Review, 23(6), 577-586.
Dufour, R., Dufour, R. & Eaker, D. (2008). Revisiting Professional Learning Communities at Work : New Insights
for Improving Schools. Bloomington : Solution-tree.
Earl, L. M., & Katz, S. (2008). Leading schools in a data-rich world. California : Thousand Oaks.
Education Commission of the States. (2000). Informing practices and improving results with data-driven
decisions. ECS Issue Paper, 25.
Feeley, T. H, Williams, V. M., & Wise, T. J. (2005). Testing the Predictive Validity of the GRE Exam on
Communication Graduate Student Success : A Case Study at University at Buffalo. Communication
Quarterly, 53(2), 229-245.
Geiser, S., & Santelices, M. V. (2007). Validity of high-school grades in predicting student success beyond the
freshman year : High-school record vs. standardized assessments as indicators of four-year college outcomes.
Berkeley : Center for Studies in Higher Education.
Gulliksen, H. (1950). Theory of mental assessments. New York : Wiley.
Hattie, J. (2009). Visible learning :A synthesis of over 800 meta-analyses relating to achievement. Routledge :
London, New York.
Kerr, K. A., Marsh, J. A., Ikemoto, G. S., Darilek, H. & Barney, H. (2006). Strategies to promote data use for
instructional improvement : Actions, outcomes, and lessons from three urban districts. American Journal of
Education, 112, 496-520.
Klapp Lekholm, A., & Cliffordson, C. (2009). Effects of student characteristics on grades in compulsory school.
Educational Research & Evaluation, 15(1), 1-23.
Koys, D. (2010). GMAT versus alternatives : Predictive validity evidence from Central Europe and the Middle
East. Journal of Education for Business, 85(3), 180-185.
Noble, J. (2000). Effects of differential prediction in college admissions for traditional and nontraditional-aged
students. Iowa : ACT.
Noble, J. (2003). The effects of using ACT composite score and high school average on college admission
decisions for Racial/Ethical groups. ACT research report series. No. ACT-RR-2003-1).ACT.
Rogers, W. T., Ma, X., Klinger, D. A., Dawber, T., Hellsten, L., Nowicki, D., & Tomkowicz, J. (2006).
Examination of the influence of selected factors on performance on Alberta learning achievement
assessments. Canadian Journal of Education, 29(3), 731-756.
Ross, J. A. & Gray, P. (2008). Alignment of scores on large scale assessments and report card grades. Alberta
Journal of Educational Research, 54(3), 327-341.
Spearman, C. (1904). "General intelligence," objectively determined and measured. The American Journal of
Psychology, 15(2), 201-292.
Terman, L. M., & Childs, H. G. (1912). A tentative revision and extension of the Binet-Simon measuring scale of
intelligence. Journal of Educational Psychology, 3(2), 61-74.
van Barneveld, C. (2008). Using data to improve student achievement. Monographie What Works ? Research into
Practice, 15.
von Mayrhauser, R. T. (1992). The mental testing community and validity : A prehistory. American Psychologist,
47(2), 244-253.
Wainer, H. (2000). Computerized adaptive testing : A primer (2nd Ed.). N.J. : Lawrence Erlbaum Associates.
Willingham, W. W., Pollack, J. M., & Lewis, C. (2002). Grades and assessment scores : Accounting for observed
differences. Journal of Educational Measurement, 39(1), 1-37.
Yerkes, R. M. (1919). Report of the psychology committee of the national research council. Psychological
Review, 26(2), 83-149.
Ziomek, R. L. & Andrews, K. M. (1996). Predicting the college grade point averages of special- tested students
from their ACT assessment scores and high school grades. Iowa : American College Testing Program.
Zwick, R., & Greif Green, J. (2007). New perspectives on the correlation of SAT scores, high school grades, and
socioeconomic factors. Journal of Educational Measurement, 44(1), 23-45.
Zwick, R., & Sklar, J. C. (2005). Predicting college grades and degree completion using high school grades and
SAT scores : The role of student ethnicity and first language. American Educational Research Journal, 42(3),
439-464.