Principes généraux relatifs à l`Évaluation Externe

Principes généraux
relatifs à
l'Évaluation Externe
Introduction
L’approche Européenne en matière de Quality Assurance comporte deux orientations
fondamentales. La première est interne, et se base sur le principe que la qualité relève de la
responsabilité de chaque Institution. La deuxième est externe, et se base sur le principe que
l'évaluation est organisée et gérée par un organisme externe à l'établissement.
Le statut AVEPRO prévoit que les fonctions de l’Agence en matière d'évaluation interne et externe
des institutions ecclésiastiques sont les suivantes:
•
définir, développer et mettre à jour les procédures d'évaluation interne et externe pour
l'évaluation globale de la qualité, en accord avec les Institutions Universitaires concernées et
en conformité avec les exigences des prescriptions ecclésiastiques, civiles, juridiques et
pratiques à différents niveaux - régional, national et international
•
planifier l'évaluation externe de la qualité dans les Institutions Universitaires individuelles
•
effectuer l'évaluation externe à travers les visites sur place d’experts
•
s’occuper de la rédaction des rapports finaux
•
élaborer et suggérer de possibles améliorations à l’Institution à la fin de l'évaluation externe
•
faciliter la circulation de l'information dans un cadre universitaire
•
sélectionner et former les experts pour les visites sur place
AVEPRO a développé des instruments permettant une approche générale de la Quality Assurance,
en accordant une attention particulière à ceux aptes à aider les Institutions Ecclésiastiques à élaborer
des procédures solides pour l’évaluation interne de la qualité, tels que:
•
Note d'information sur les Universités et Facultés Ecclésiastiques - La nature, le contexte et
les buts de la Quality Assurance (Briefing Note for Ecclesiastical Universities and Faculties
- The Nature, Context and Purpose of Quality Assurance)
•
Quality Assurance Interne - Lignes directrices pour les Universités et Facultés
Ecclésiastiques (Internal Quality Assurance – Guidelines for Ecclesiastical Universities and
Faculties)
•
Notes d'orientation - Le rapport d'auto-évaluation, deux exemples (Notes of Guidance - The
Self-Evaluation Report, Two Examples)
•
Notes d'orientation - Plan d'amélioration de la qualité (Notes of Guidance - Quality
Improvement Plan)
•
Notes d'orientation – Visite du site (Notes of Guidance - Site Visit)
•
Calendrier pour l' évaluation de la qualité (Time Scale for Quality Review)
Le but de ce document est de définir les procédures de l'Agence pour l'évaluation externe des
Institutions Ecclésiastiques de grande dimension. Comme les documents énumérés ci-dessus, ce
document a été créé pour aider à la mise en œuvre des procédures efficaces en conformité avec:
• Standards and Guidelines for Quality Assurance in the Higher Education Area (2009) (ESG)
• The Bologna Declaration
• Graz Declaration: Forward from Berlin – the Role of the Universities (EUA, 2003)
Principes généraux relatifs à l'Évaluation Externe
2
Buts et objectifs
Conformément aux meilleures procédures internationales, AVEPRO vise à:
•
mettre en œuvre un processus d'évaluation externe compatible avec la Part 2 Standards
énoncée dans les ESG
•
soutenir chaque Institution dans la mise en œuvre de procédures internes d'évaluation
•
démontrer que l'Institution réalise un processus d'amélioration en se conformant aux normes
et lignes directrices nationales, européennes et internationales en accord avec le Processus
de Bologne
•
soutenir la planification stratégique et institutionnelle de QA et de valorisation - une
condition essentielle pour le développement et l'entretien d'une culture de la qualité au sein
des Institutions Ecclésiastiques
•
favoriser la disponibilité d’informations cohérentes et actualisées sur l'efficacité du contrôle
de la qualité et des processus de mise en valeur qui opèrent au sein des Institutions
Ecclésiastiques
•
déléguer la responsabilité d'évaluer la qualité globale du système à des personnes externes à
l'Agence, en créant ainsi un climat de plus grande confiance vis-à-vis de la réelle valeur de
l'ensemble de la procédure menée par AVEPRO
Pour atteindre les buts et les objectifs énumérés ci-dessus, le processus d'évaluation externe mené
par AVEPRO visera à:
•
être ouvert, transparent et fondé sur des données probantes
•
renforcer les particularités de chaque Institution en restant flexible et souple
•
être cohérent et à travailler dans un esprit de coopération - en renforçant le processus de QA
déjà initié par chaque Institution
•
communiquer les méthodes d'évaluation clairement afin qu’elles puissent être facilement
comprises par un large éventail des parties externes impliquées, y compris les étudiants
•
soutenir l'industrie dans son engagement pour l'amélioration de la qualité grâce à son
approche de développement
•
identifier, encourager et informer sur les procédures efficaces et les innovations
•
fournir une méthode efficace, également du point de vue économique.
Le processus d'évaluation externe
AVEPRO, en conformité avec les European Standards and Guidelines (ESG) - qui stipulent que
“le contrôle externe de la qualité des Institutions et / ou des programmes doit être effectué à des
intervalles réguliers 1” - va procéder à l’organisation de l'évaluation externe de chaque Institution
Ecclésiastique afin de vérifier le succès et l'efficacité du système interne de la qualité tous les 5 ans.
1
“…external quality assurance of Institutions and/or programmes should be undertaken on a cyclical basis.” (Standards
and Guidelines, 2.4.7 Periodic Reviews, p.21)
Principes généraux relatifs à l'Évaluation Externe
3
La planification des évaluations sera convenue entre AVEPRO et chacune des Institution. Cette
flexibilité est destinée à renforcer le lien entre les processus continus d'évaluation interne et externe
et le processus de planification stratégique. Chaque Institution désignera une personne
spécifiquement chargée de maintenir le contact avec AVEPRO et l'équipe d'évaluation.
À partir du moment où la date d'évaluation sera convenue et publiée, l'Institution participera
directement aux quatre moments présents dans la procédure:
• la production du Rapport d'auto-évaluation2 institutionnelle, réalisé conformément à une
méthodologie préalablement convenue entre AVEPRO et l'Institution
• l’évaluation externe3 effectuée par une visite sur les lieux par un groupe d’experts externes à
l’Institution
• la publication du Rapport d'évaluation4 contenant les résultats de l'évaluation et les
recommandations, le cas échéant
• la procédure de suivi pour examiner et mettre en œuvre les procédures d'amélioration.
Un calendrier indicatif pour le processus d'évaluation est décrit à l'Annexe 1 du présent document
La visite sera effectuée par un panel de quatre experts - Peer Review Group (PRG) - composé d'un
Président, d'un coordinateur (qui agira également à titre de secrétaire) et deux experts
internationaux. Le groupe d’experts comprendra un universitaire d'une Institution d’Enseignement
Supérieur non-ecclésiastique, afin de permettre une analyse comparative des structures et des
procédures utilisées dans le contexte général de l’Enseignement Supérieur Européen.
Le PRG nommé par AVEPRO, en conformité avec les dispositions de l'ESG et les critères
divulgués, sera composé d'experts soigneusement sélectionnés en fonction des capacités et des
compétences spécifiques. AVEPRO sera également responsable de tenir un Registre des experts mis
à jour régulièrement.
Phases de la procédure
Le processus d'évaluation se compose de quatre étapes de base:
Étape 1 - Rapport d'auto-évaluation institutionnelle (RAE)
Le Rapport d'auto-évaluation institutionnelle devrait être d'environ 25 pages (plus les annexes). Le
rapport est essentiellement une évaluation auto-réflexive et critique effectuée par l'Institution, qui
met en évidence jusqu'à quel point la qualité de l'enseignement, la qualité de la recherche, la qualité
de la gestion et la qualité des services sont réellement assurées et améliorées.
2
Self-evaluation Report.
External evaluation – Peer review.
4
Evaluation Report.
3
Principes généraux relatifs à l'Évaluation Externe
4
L'équipe d'évaluation utilisera le RAE comme “document de base” (ou les références des
documents disponibles) comme preuve des efforts fournis par l'Institution en question pour garantir
effectivement la QA et appliquer le processus d'amélioration.
Étant donné la nature variée des diverses Institutions Ecclésiastiques, la structure détaillée
du RAE est de nature variable et sera convenue chaque fois entre AVEPRO et l'Institution en
question. Ces différences sont particulièrement évidentes à la fois sur le plan de la nature des
relations entre les Institutions et les Affiliés, les Annexés et les Incorporés, et au niveau de leur
nombre, qui peut également varier considérablement.
L'Annexe 2 présente un exemple de format générique de RAE.
Les Institutions sont encouragées à utiliser le RAE pour mettre en évidence l'approche qui
caractérise leur gestion de la qualité en faveur de la mission, des objectifs, des priorités et du plan
stratégique institutionnel. Le RAE devrait mettre en relief les relations explicites existant entre
l'assurance de la qualité et les pratiques d'amélioration utilisées ou proposées, la gestion stratégique
institutionnelle et le processus de planification.
Le RAE est une véritable opportunité pour chaque Institution, qui peut ainsi mettre en exergue de
quelle manière les méthodes utilisées pour assurer les processus internes de gestion de la qualité
sont en ligne avec les meilleures pratiques nationales, européennes et internationales, et démontrer
comment l'Institution elle-même évalue l'efficacité:
•
des politiques et des procédures de gestion et d'amélioration de la qualité
•
des résultats de la procédure d'évaluation interne et externe et d'amélioration de la qualité
•
des procédures pour identifier les forces et faiblesses en ce qui concerne l'enseignement,
l'apprentissage, la recherche et les domaines de service, les procédures nécessaires pour
informer sur les décisions et les procédures pour renforcer la culture de la qualité au sein
de l'Institution
•
de l'exactitude, l'exhaustivité et la fiabilité des informations publiées sur les résultats des
évaluations internes, vouées à l'amélioration de la qualité de l'éducation et des
services connexes.
Préparation du RAE
L'Institution doit nommer certains de ses membres pour former un comité de coordination chargé
de préparer le RAE, qui doit être représentatif de l'ensemble du personnel. Le comité doit
comprendre le Recteur, qui jouera un rôle actif dans l'auto-évaluation, et un étudiant, de préférence
un jeune diplômé de l'université et chercheur postuniversitaire qui soit familiarisé avec les
procédures de l'Institution. S’agissant d’ un comité opérationnel, il ne devrait pas être trop étendu.
Le Président du comité est choisi au sein du comité même, il s’agit généralement du Recteur, et il
collabore avec le directeur de la qualité nommé par l'Institution. Le secrétaire, toujours choisi parmi
les membres du comité, est responsable de la rédaction des procès-verbaux des réunions et de la
réorganisation et révision du RAE.
Il est important que tous les membres de l'Institution soient informés en détail sur les progrès
réalisés au sein du processus d'auto-évaluation, en particulier au cours de la phase initiale de
planification. Il est conseillé de tenir une large consultation avec l'ensemble du personnel, qui doit
être encouragé à étudier ces recommandations et à discuter les détails sur le fonctionnement du
Principes généraux relatifs à l'Évaluation Externe
5
processus. Du moment qu’il est impossible de satisfaire toutes les parties prenantes, la volonté de
coopérer devrait être particulièrement développée, dans la mesure du possible. En effet, plus le
processus d'auto-évaluation sera débattu au sein du personnel présent, plus il sera efficace dans la
sensibilisation aux questions de qualité et dans l’encouragement du personnel et des étudiants au
développement et à l'entretien d'une culture de la qualité et d’une attitude de questionnement sur les
procédures de routine.
Certaines des données utiles à la réalisation du RAE sont collectées au moyen de questionnaires
remplis par les étudiants, le personnel, les diplômés, les employés et les autres usagers de
l'Institution. Cependant, dans la rédaction du RAE, le comité de coordination devrait garder à
l'esprit l'importance de fournir une analyse critique de tous les aspects du travail de l'Institution
plutôt que de fournir une simple liste de faits et d'opinions obtenues au moyen de questionnaires. La
formulation de stratégies et de conseils pour améliorer le travail de l'Institution devrait être mise en
exergue, car l'objectif de la procédure est d'améliorer la qualité. La validation externe ultérieure,
conférée par la visite des experts externes, deviendra un élément important des discussions internes
sur le suivi.
Étape 2 – Visite du site
Le Groupe d'experts (PRG) se rendra à l'Institution pour une période de deux à quatre jours et suivra
un programme préalablement convenu entre le Président de la PRG et l'Institution. La visite sera
utilisée par le PRG pour confirmer que les procédures utilisées par l'Institution afin d’assurer
l'efficacité du processus de qualité interne sont en ligne avec les normes et les règlements locaux,
nationaux et européens.
Objectifs
Les objectifs du PRG sont:
• clarifier et vérifier les détails du RAE
• vérifier en quelle mesure sont réellement respectés dans la pratique de la mission les buts et
les objectifs de l'Institution (en tenant compte des ressources disponibles), et fournir des
commentaires sur la pertinence de la mission, des objectifs et du plan stratégique de
l'Institution
• confirmer les points forts, les faiblesses, les opportunités de l’Institution, ainsi que les
risques énumérés dans le RAE et discuter les éventuelles forces et faiblesses perçues par le
PRG, mais non identifié dans le RAE
• vérifier la pertinence de l'environnement de travail
• commenter les recommandations pour l'amélioration proposées dans le RAE
• formuler toute autre recommandation visant l’amélioration, si cela est jugé approprié, mais
en tenant compte des répercussions sur les ressources disponibles.
Fonctions
Le PRG sera chargé de:
• étudier le RAE
Principes généraux relatifs à l'Évaluation Externe
6
• visiter l'Institution
• clarifier et vérifier les détails contenus dans la RAE, et examiner d'autres documents
pertinents
• revoir les activités de l'Institution à la lumière du RAE
• préparer un projet de rapport d'évaluation et présenter les principaux résultats au personnel
et aux étudiants
• rédiger le rapport final d'évaluation et le remettre à l'Institution - dans les 6 semaines qui
suivent la visite.
Lors de la visite du site, le PRG sera en mesure d'évaluer précisément:
• la manière dont l'Institution assure l'évaluation régulière des services de soutien à
l'apprentissage, à l'enseignement, à la recherche et aux entreprises, en les comparant avec les
meilleures pratiques nationales, européennes et internationales
• les informations publiées par l'Institution, concernant les programmes et les bourses offertes
ainsi que les résultats et le suivi résultant du processus de QA interne et externe
• l'approche de l'Institution sur la gestion et la maximisation des résultats de QA interne et
externe et l’amélioration
• les méthodes concrètes par lesquels l'enseignement est estimé, évalué et amélioré
• le rôle des services de soutien à l'amélioration de la qualité de l'enseignement dispensés par
l'Institution
• l'implication systématique des experts externes, des étudiants et des employés dans le
processus d'évaluation interne de la qualité.
Étape 3 - Rapport d'évaluation
Pour des raisons d'équité et de fiabilité, les résultats et les recommandations exprimés par le PRG et
présentés dans le Rapport seront basés sur des preuves mesurables. Le Rapport reconnaît
l'importance de politiques visant à améliorer les capacités institutionnelles comme un élément clé
dans l'assurance de la qualité.
En accord avec la nature formative du processus d'évaluation le PRG exprime ses recommandations
d'une manière positive afin de favoriser l'amélioration de la qualité. Ce type d'approche positive est
en ligne avec l'esprit d'une procédure dans laquelle une philosophie de partenariat et de confiance
peut engendrer une réelle amélioration.
Dans le rapport, le PRG sera responsable de:
• confirmer et commenter les détails contenus dans le RAE
• donner un aperçu de l'état actuel de l'Institution
• rédiger un bref commentaire sur chacun des aspects des activités de l'Institution
• reconnaître les succès et la qualité lorsque ceux-ci sont présents
Principes généraux relatifs à l'Évaluation Externe
7
• mettre clairement en exergue toute carence ou insuffisance dans la gestion et l'exploitation
qui puisse être supprimée ou améliorée
• identifier les limitations des ressources critiques (le cas échéant) qui entravent l'amélioration
• commenter tous les plans d'amélioration inclus dans le RAE de l'Institution
• mettre l'accent sur les recommandations d'amélioration jugées appropriées par le groupe.
Le groupe PRG remettra un compte-rendu sur l'efficacité des procédures de QA au sein de
l'Institution et sur la mise en œuvre des conclusions résultant de l'application de ces procédures,
dans le cadre général de la planification stratégique et de décision de l'Institution. Ces éléments clés
devront être placés dans le contexte de référence afin de permettre au PRG de fournir des
commentaires sur les obstacles Institutionnels et les facteurs de succès pour une gestion efficace de
la qualité interne dans les domaines de l'enseignement, de l'apprentissage, de la gouvernance, de la
gestion, de la gestion économique et de la planification stratégique.
Le Rapport - élaboré par le Coordinateur et signé par le Président après consultation des autres
membres du PRG - sera transmis à AVEPRO dans un délai de cinq semaines après la fin de la visite
de l’Institution par le Président du PRG.
AVEPRO sera chargée de transmettre le Rapport au Recteur de l'Institution, qui aura cinq semaines
pour réagir quant à l'exactitude des faits et, le cas échéant, pour d’envoyer une réponse
institutionnelle de 1-2 pages qui sera publiée en annexe au Rapport d'évaluation.
L'évaluation sera considérée comme terminée lorsque le Rapport d'évaluation sera estimé par le
Comité Scientifique de AVEPRO, une fois établi que le processus d'évaluation a été mené en
conformité avec les critères officiels.
Une fois l'évaluation terminée, le Rapport d'évaluation sera publié sur le site de AVEPRO.
Étape 4 - Suivi Institutionnel
Douze mois après la visite du site, l'Institution devra fournir un Rapport de suivi contenant le plan
institutionnel d’amélioration de la qualité. Le Rapport devra fournir un avis sur la manière dont les
conclusions et recommandations de l'évaluation ont été discutées et intégrées dans la structure des
frais de l'Institution et des unités académiques, ainsi que d'un commentaire sur la façon dont
l'Institution est en train de faire face aux résultats de l'évaluation.
Le Rapport doit identifier la gamme des développements stratégiques et logistiques et des décisions
qui ont eu lieu au sein de l'Institution à la suite de la publication du Rapport d'évaluation, et doit
tenir compte de toutes les principales conclusions et recommandations formulées par les
évaluateurs.
Le Rapport de suivi sera publié sur le site de AVEPRO.
Les lignes directrices seront disponibles pour la préparation du plan d'amélioration de la qualité, et
pour le suivi des progrès réalisés dans sa mise en œuvre.
Principes généraux relatifs à l'Évaluation Externe
8
AVEPRO analysera régulièrement les Rapports d'évaluation comme base pour le développement de
ses activités d'amélioration de la qualité (publications, séminaires, ateliers, etc. ) dans tout les
secteurs.
L’on rappelle que dans les ESG est mis en évidence que la “QA n'est pas basée sur les épreuves
individuelles de contrôle externe: la QA doit être un effort continu pour faire un meilleur travail. La
QA externe ne prend pas fin avec la publication du Rapport d'évaluation mais devrait inclure une
procédure de suivi structurée afin d’assurer que les recommandations soient adressées de façon
adéquate et que tout plan d'action soit développé et amélioré. Cela peut impliquer des futures
réunions avec des représentants de niveau institutionnel ou de programme. L'objectif est de faire en
sorte que les domaines d'amélioration identifiés soient traités rapidement et qu'une amélioration
supplémentaire soit encouragée5” (Standards and Guidelines, 2.4.6 Follow-up Procédures, p.21).
En conclusion, il est important de souligner que l'accréditation des Universités et des Facultés
Ecclésiastiques, ainsi que toute décision administrative les concernant, continuent à relever de la
responsabilité de la Congrégation pour l'Éducation Catholique, qui se réserve le droit de prendre
des mesures correctives en réponse aux problèmes éventuels identifiés dans les Rapports
d'évaluation institutionnels, le cas échéant.
5
“..quality assurance is not principally about individual external scrutiny events: it should be about continuously trying
to do a better job. External quality assurance does not end with the publication of the report and should include a
structured follow-up procedure to ensure that recommendations are dealt with appropriately and any required action
plans drawn up and implemented. This may involve further meetings with institutional or programme representatives.
The objective is to ensure that areas identified for improvement are dealt with speedily and that further enhancement is
encouraged” (Standards and Guidelines, 2.4.6 Follow-up Procedures, p.21).
Principes généraux relatifs à l'Évaluation Externe
9
Annexe 1
8 mois avant la visite du site
Contacts entre AVEPRO et le Coordinateur identifié par
l'Institution.
Accord sur la méthodologie pour la préparation du
Rapport d'auto -évaluation (RAE )
5 mois avant la visite du site
Nomination du Groupe d’experts (PRG)
2 mois avant la visite du site
PRG formé pour les taches à accomplir
4 semaines avant la visite du site
RAE Présenté à AVEPRO et transmis au PRG
5 semaines après la visite du site
Rapport d’évaluation transmis à l’Institution pour
d’éventuels commentaires sur l’exactitude des faits
10 semaines après la visite du site
Transmission à AVEPRO de la part de l’Institution de
commentaires sur l’exactitude des faits et réponse
définitive
12 semaines après la visite du site
Rapport d’évaluation complété (y compris l’éventuelle
réponse de l’Institution en Annexe) et publié sur le site
AVEPRO
12 mois après la visite du site
Rapport de suivi de l’Institution (y compris le plan
institutionnel d’amélioration de la qualité) transmis à
AVEPRO
Principes généraux relatifs à l'Évaluation Externe
10