15 Of MICE - i

pratiques
Evaluation des projets européens
OF M.I.C.E. AND MEN
Comment construire, dans le cadre
des projets Socrates et Comenius,
une plate-forme commune d’autoévaluation en fédérant les diverses
cultures nationales de l’évaluation ?
Modern Instruments for a Common
Evaluation répond à cette attente,
comme le montrent les deux articles
suivants : d’abord un exposé du
dispositif recueilli auprès de
Myriam Leroux, puis son application
sur le terrain (article à suivre).
Les projets européens comportent, dans leurs
modalités, l’obligation d’évaluer le travail entrepris et
surtout ses apports et répercussions. Or force est de
constater, à la lecture des dossiers, que les participants
semblent assez démunis lorsqu’il s’agit de mesurer cet
impact et ce d’autant plus que les partenariats en jeu
impliquent des us et coutumes en matière d’évaluation
très divers, selon les pays concernés. Les pratiques
varient en effet lorsqu’il s’agit de jauger les effets d’un
projet européen. Faut-il choisir comme cible les élèves,
les enseignants, l’établissement, le partenariat ?… Quels
critères adopter parmi les compétences disciplinaires
ou en langues étrangères, la motivation des participants,
l’implication de l’établissement, la citoyenneté etc. ?
Aussi a-t-il été décidé de modéliser cette évaluation en
réalisant une grille européenne commune afin d’aider
les collaborateurs à réaliser cette tâche.
Think Tank
Plusieurs principes ont présidé à l’élaboration de
cette plate-forme. Tout en respectant les objectifs des
projets Comenius, il s’est agi de fournir un outil pragmatique qui soit le fruit de la collaboration de représentants de tous les pays européens du programme, sans
entrer en concurrence avec les évaluations nationales
en vigueur dans chacun d’entre eux. Une consultation a donc eu lieu entre les membres des seize agences
nationales constituées, dans chaque pays, de représentants indépendants placés sous la responsabilité des
Académie de Nantes
Nantes 44
Propos recueillis par J. PERRU,
auprès de M. LEROUX, déléguée académique aux relations
internationales et à la coopération
échanger -
80 - avril-juin 2003
pratiques
ministères de l’éducation respectifs et chargés de relayer
le programme Comenius à leur échelle propre. Plusieurs
personnes ont supervisé et coordonné cette action d’envergure internationale, soit Guy Tilkin en Belgique,
Ludo Mateusen et Marjolin Smith aux Pays Bas, Rosetta
Mc Leod en Grande Bretagne, Serban Iosifescu et
Monica Calotta en Roumanie et Myriam Leroux en
France. Ils font office de contacts. S’appuyant notamment sur l’apport théorique de Jaap Van Lakerfeld, chercheur en sciences de l’éducation à l’Université de
Leiden aux Pays Bas, ils ont opté pour un système
d’auto-évaluation visant à améliorer le compte rendu
de projets en en arrêtant les éléments communs décomposés à des fins de simplification. Ainsi est né Model
Instruments for a Common Evaluation, consultable sur
www.mice-t.net.
Fonctionnement
La perspective de l’évaluation formative a été délibérément choisie puisqu’il s’agit de faire en sorte d’améliorer le déroulement d’un projet. D’autre part, le
processus d’auto-évaluation qui accompagne toutes les
phases du projet, de son élaboration à son bilan, vise
à vérifier si les objectifs fixés ont été atteints, à faciliter la prise de décision, y compris les changements en
cours de réalisation, ainsi qu’à améliorer les résultats
escomptés. Fondamentalement, la technique consiste
à recueillir des données, les analyser et les interpréter
pour procéder à la remédiation. Le dispositif mis à
disposition par MICE se présente comme suit. Un
échanger -
tableau recense les diverses catégories susceptibles
d’être évaluées, en termes d’effets du projet européen
sur les élèves, les enseignants, l’établissement et le
partenariat. Ces catégories se trouvent elles-mêmes
subdivisées en plusieurs domaines qui correspondent
à des compétences disciplinaires, sociales, citoyennes,
en management etc. Loin d’être exhaustive, l’évaluation d’un projet doit se limiter à un aspect donné, sélectionné en fonction de la spécificité de celui-ci et des
objectifs prioritaires. Ainsi, si l’on choisit de tester la
motivation des élèves, la grille permet de consulter une
série d’indicateurs de réussite tels que la participation,
l’implication, l’appropriation. Afin de mesurer ceuxci, des instruments d’évaluation sont nécessaires, qui
doivent être élaborés par l’équipe du projet concerné.
Toutefois, afin de faciliter cette tâche de création, des
exemples pratiques sont fournis tels que, dans le cas
retenu, un questionnaire à destination des élèves.
Quels indicateurs,
pour quelle évaluation ?
Evaluer consiste, en effet, à se poser la question
suivante : Comment savoir si ce qui a été fixé comme
but au projet a été atteint ? Fournissant justement un
moyen de mesurer les résultats, un indicateur est un
élément visible, constitué de procédés ou de productions, qui prouve qu’un objectif a été atteint ou qu’un
résultat a été obtenu. Ainsi, si l’on choisit de tester la
motivation des élèves, la grille MICE permet de
consulter une série d’indicateurs de réussite tels que la
81 - avril-juin 2003
pratiques
Quelques instruments d’évaluation
De quoi s’agit-il ?
Qui peut le faire ?
Avantages
Risques et limites
Recommandations
De quoi s’agit-il ?
Qui peut le faire ?
Avantages
Risques et limites
Recommandations
De quoi s’agit-il ?
Qui peut le faire ?
Avantages
Risques et limites
Recommandations
De quoi s’agit-il ?
Qui peut le faire ?
Avantages
Risques et limites
Recommandations
LA METHODE DELPHI
• Les gens sont invités à exposer ce qu’ils pensent être les qualités, les éléments caractéristiques du projet.
• Les déclarations écrites sont ensuite échangées entre les participants de manière à ce que
chacun se déclare en faveur ou en opposition par rapport aux déclarations qu’il a reçues.
• C’est une façon de collecter les opinions et de connaître le nombre d’opinions pour ou contre
les affirmations énoncées.
Les coordonateurs, l’équipe de direction, le enseignants, le(s) responsable(s) d’évaluation etc.
Il s’agit d’une méthode productive au sens où non seulement l’on obtient des déclarations très
variées mais on perçoit aussi l’écho que chacune d’elles reçoit.
Les résultats mis en évidence peuvent être différents de ceux que l’on souhaitait aborder. Il s’agit d’un procédé très ouvert qui peut receler des surprises.
• Groupe(s) – cible(s) : Aucun en particulier, tous les participants peuvent s’impliquer.
• Susciter la production plutôt que la critique de manière à faire émerger les idées.
L’EVALUATION CONTRADICTOIRE
• Le projet fait l’objet d’un débat public avec ses défenseurs et ses opposants.
• Les participants doivent simuler leur rôle et présenter des arguments pour attaquer ou défendre le projet.
• Un jury est également constitué qui rend son verdict à la fin.
Les coordinateurs, l’équipe de direction, les enseignants, le(s) responsable(s) de l’évaluation etc.
Exercice très stimulant qui rend l’évaluation vivante.
La bi-polarisation, crispation sur des points de vue très opposés.
• Groupe(s) – cible(s) : Aucun en particulier, tous les participants peuvent s’impliquer.
• Indiquer clairement au départ l’aspect qui va être débattu de manière à circonscrire la discussion
autour du cœur du projet en évitant les dérives concernant des aspects marginaux.
LA CRITIQUE LITTERAIRE
• Il s’agit d’une procédure d’évaluation externe : un évaluateur extérieur au projet le juge selon
un autre point de vue.
• Il n’y a pas de critères préalables.
• Cette procédure peut venir en addition à d’autres actions d’évaluation.
Un évaluateur externe.
Procédure stimulante qui ouvre l’esprit sur d’autres perspectives.
• La subjectivité excessive.
• L’ignorance ou la négation des objectifs du projet.
• Le risque de ne pas être convaincant si l’évaluateur choisi ne fait pas l’unanimité.
Choisir un critique qui soit bien accepté par tous les participants de manière à ce que son opinion soit bien reçue.
L’ECRITURE DE SCENARIOS
• On propose différents scénarios développant des suites possibles du projet aux participants
qui doivent donner leur avis.
• En procédant ainsi, on évalue non seulement les événements passés mais aussi les choix
pour l’avenir.
Les coordinateurs, l’équipe de direction, les enseignants, le(s) responsable(s) de l’évaluation etc.
• C’est une procédure stimulante et constructive qui rend l’évaluation vivante et active. Elle
invite à se montrer positif.
• Elle donne des indications sur les choix qui peuvent devoir être réalisés.
En présentant d’emblée des scénarios, on met déjà les participants sur des pistes. De ce fait, le
risque de manipulation n’est pas exclu.
Essayer de donner un large éventail de scénarios qui divergent dans la manière de traiter les questions de telle sorte que les participants ne soient pas limités dans leurs choix quant à l’avenir mais
se trouvent, au contraire, stimulés et créatifs.
échanger -
82 - avril-juin 2003
pratiques
Exemples d’indicateurs
Cible de l’évaluation
Evaluer les effets du projet
sur la motivation des élèves
INDICATEURS
• L’élève est plus en demande de travail supplémentaire dans le cadre du projet
• L’élève travaille volontiers davantage
• L’élève est plus attentif en classe
• L’élève prend plus facilement part aux activités extra-scolaires
• L’élève éprouve un sentiment d’“appartenance” face au projet
participation, l’implication, l’appropriation, au moyen
d’une interview ou d’ observations (voir ci-dessus).
Comment rendre visibles ces indicateurs ? Des instruments concrets d’évaluation permettent de faire
remonter à la surface les effets ou résultats obtenus :
questionnaires, interviews, observations, analyses de
documents etc. Certains instruments sont mieux adaptés
pour faire émerger des résultats tangibles, chiffrés, tels
que les questionnaires à échelle graduée. D’autres se
prêtent mieux à la collecte de données plus personnelles
et interprétatives tels que l’interview ou l’observation que l’on peut appliquer, par exemple, à l’évaluation du sentiment d’appartenance de l’élève au projet.
D’autres instruments sont plus novateurs comme la
méthode Delphi, l’évaluation contradictoire, la critique
littéraire ou l’écriture de scénarios (voir ci-contre).
échanger -
Pour une culture de l’évaluation
Model Instruments for a Common Evaluation
est donc le fruit d’une réflexion et d’une collaboration européenne dont l’ambition et les enjeux dépassent
le strict cadre des projets européens. La plate-forme
élaborée constitue une tentative pour établir des
bases communes dans un domaine non négligeable
de l’éducation. Il est en effet relativement récent, en
France tout au moins, de se soucier de l’efficience d’une
action, préoccupation plus ancienne en revanche
dans les pays anglo-saxons de tradition plus pragmatique. Le développement d’une culture de l’évaluation
devrait révéler, et de tels instruments y contribuent largement, d’une part que mesurer ne signifie pas contrôler,
d’autre part que les résultats sont, le plus souvent, globalement positifs. ❏
83 - avril-juin 2003