L`évaluation des enseignements en ligne à l`Université d`Auvergne

Les étudiants constituent-ils une
source d’évaluation valide et fiable en
matière de qualité de l’enseignement ?
Nathalie Younès
Maître de conférences, IUFM Université Blaise Pascal
[email protected]
Namur, le 27 avril 2012
Plan de la présentation
1.
2.
3.
4.
Fiabilité du point de vue des étudiants
Biais et/ou variables contextuelles
Critères de qualité
Validité conséquentielle ou interrogation des effets de l’EEE
De la fiabilité du point de vue
des étudiants
1
Des opinions à la recherche
 Opinions répandues chez les enseignants
 Réduire les exigences permet d’obtenir de meilleures EEE
 Les EEE reflètent plus les capacités de communication
de l’enseignant que son efficacité pédagogique
Dr. Fox (Naftulin et al. 1973)
 On comprend plus tard l’intérêt d’un cours mal jugé
pendant sa formation
 Des opinions plutôt contredites par la recherche
 Les enseignants demandant plus de travail sont mieux évalués
 Les capacités de communication seraient un élément favorisant
la motivation des étudiants
 Les EEE sont corrélées avec les appréciations d’observateurs
extérieurs, d’anciens étudiants, des collègues et de l’enseignant
Marsh, 2007
Accord entre les étudiants
Effectif du groupe
Fidélité
Erreur de mesure
standard
10-14
.78
.27
15-34
.87
.21
35-49
.92
.16
50 +
.94
.14
Hoyt & Lee (2002)
EEE et apprentissages des étudiants
 Corrélation positive entre notes attendues et EEE
Université de Washington, Ewing, 2011
EEE et apprentissage des étudiants
Recherches multisections
 Différents enseignants pour différents groupes d’étudiants
affectés au hasard
 Même cours (objectifs, matériel, évaluations, supports…)
 Examen final commun
 EEE collectées avant l’examen final
Corrélations positives entre les EEE et la réussite à
l’examen
 Structure (.55), Interaction (.52), évaluation globale du cours(.49),
apprentissage (.39), intérêt (.15), difficulté (-.04)
Cohen (1981)
Des corrélations positives entre les EEE et :





l’autoévaluation de l’enseignant : .29
l’évaluation effectuée par les responsables : .47 à .62
l’évaluation effectuée par des observateurs : .55 à .77
les anciens diplômés : .40 à .88
commentaires écrits des étudiants : . 84 à .93
Conclusion sur la validité des EEE
 multidimensionnelles, fiables et stables
 dépendent du professeur plutôt que du cours,
 relativement valides et peu affectées par des biais
potentiels
 Mais affectées par un certain nombre de variables
2
Les biais potentiels et/ou
variables contextuelles
Caractéristiques des étudiants
 Impact négligeable de l’âge et du genre
 Impact important de l’intérêt porté à la matière
 Impact important des notes attendues
Caractéristiques des enseignements
 EEE meilleures (généralement) dans des groupes à
effectif restreint : Feldman (1984) ; Hoyt & Lee (2002)
mais également de meilleurs apprentissages : Centra (2009)
 Art, sciences humaines mieux évalués que maths et
sciences : Feldman (1978) ; Braskam & Ory (1994) ; Ewing (2011)
Caractéristiques des enseignants
Impact du genre : Feldman, 1993 ; Centra, 2009
Faibles corrélations liées à l’âge
/expérience d’enseignement
Renaud et Murray (1996) Mc Pherson et al (2009) ; Centra (2009) ;
Marsh et Hocevar (1991)
Léger impact de la « personnalité »
enthousiasme
estime de soi
ordre
Corrélations à .30 : Feldman, 1986 ; Renaud et Murray, 1996
Variables liées à la procédure
d’administration du questionnaire
 Présence de l’enseignant
 EEE nominatives
EEE supérieures
 Taux de réponse inférieur quand réalisées en ligne sans
impact sur leurs orientations : Johnson, 2003
3
La question des critères
de qualité de l’enseignement
Structure dimensionnelle des EEE
SEEQ: Student Evaluation of educational quality Marsh (1982)
32 questions, 9 dimensions (version courte :13 questions)









apprentissages
enthousiasme
organisation
interactions dans le groupe
relation avec l’enseignant
richesse de l’enseignement
évaluation des étudiants
travail personnel
jugement global
Etude factorielle des questionnaires
Abrami & d’Appolonia, 1997
1. Qualités de présentation : 63 % de la variance
Appréciation globale du cours, enthousiasme, clarté, organisation
2. Faciliteur :
Intérêt pour les étudiants, disponibilité, respect, tolérance,
interactions
3. Evaluateur :
Évaluation, feedback, climat

Effet de halo également mis en évidence
Greenwald & Gillmore (1997)
Des critères à spécifier en fonction des
finalités de la formation





Visées
Niveau
Discipline
Méthodes d’enseignement
etc.
Critères de qualité d’un enseignement
universitaire
Expérience de Namur – Romainville (2009)
1. Critères relatifs aux finalités de l’Ens Sup
 Formation par la recherche
 l’enseignement initie les étudiants aux processus de la recherche,
en présentant non seulement des résultats mais aussi les méthodes
qui ont permis de les atteindre, en discutant de manière critique ces
méthodes, voire en plaçant les étudiants dans un processus actif
similaire à celui de la recherche
 le contenu de l’enseignement est en prise directe avec les résultats
les plus récents et les plus valides de la recherche scientifique et les
concepts fondamentaux de la discipline
Limiter les biais par la rédaction du
questionnaire
 Des questions centrées sur les effets de l’enseignement
plutôt que sur le professeur
 Le contrôle de certaines variables contextuelles
4
La validité conséquentielle
ou la question de l’utilité de l’EEE
Utilité déclarée
 Elle donne des informations utiles :
 enseignants, étudiants et responsables
Bernard, Postiaux & Salcin, 2000 ; Cohen, 1981 ; Younès, 2007
 Effets positifs, nuls ou négatifs
 dynamique de formation
 aucun effet apparent
 méfiance, résistance, découragement
Impact sur l’estime de soi des enseignants
 EEE affecte le sentiment de valeur propre :
McKeachie (1979) ; Pelham et Swann, (1989) ; Boice (1992)
 Effets du feedback de performance ?
Comparaison
favorable
Comparaison
défavorable
Estime de soi
élevée
+
0
Estime de soi faible
+
-
Conditions des effets positifs
 Conditions externes et internes
 Au niveau institutionnel :
 Distinguer les visées et les dispositifs administratifs et formatifs
 Soigner la dimension formative
 Information et concertation en amont et en aval :
→ objectifs, critères, outils, calendrier, diffusion des résultats,
utilisation des résultats, ressources pédagogiques
 Effet supérieur si suivie de discussions en groupe sur les
résultats et les perspectives d’amélioration ou des consultations
Marsh, 2007
8 conditions pour un effets positifs des
consultations (Penny et Coe, 2004)
 Engagement actif des enseignants dans un processus
d’apprentissage ;
 utilisation de différentes sources d’information, par
exemple des enregistrements de l’activité ;
 interactions avec les pairs ;
 temps de dialogue suffisant;
 utilisation des autoévaluations par les enseignant;
 feedback de qualité;
 examen des conceptions de l’enseignement ;
 définition d’objectifs d’amélioration.
Conclusion
Les étudiants constituent-ils une source d’évaluation valide
et fiable en matière de qualité de l’enseignement ?