Le guide des outils d`évaluation CanMEDS

Transcription

Le guide des outils d’évaluation CanMEDS
Introduction aux méthodes d’évaluation des compétences CanMEDS
Première édition
Rédacteurs
Glen Bandiera, MD, MEd, FRCPC
Directeur, Éducation médicale postdoctorale
Urgentologue membre du personnel et chef de l’équipe
de traumatologie, St. Michael’s Hospital
Directeur, Programme de résidence FRCP(EM), University of Toronto
Jonathan Sherbino, MD, MEd, FRCPC
Département de médecine d’urgence
Hamilton Health Sciences, McMaster University
Professeur clinique, Le Collège royal des médecins et chirurgiens du Canada
Jason R. Frank, MD, MA(Ed), FRCPC
Directeur associé, Bureau de l’éducation
Le Collège royal des médecins et chirurgiens du Canada
Directeur de l’éducation, Département de médecine d’urgence
Faculté de médecine et Faculté de l’éducation, Université d’Ottawa
Faculté des études supérieures, Institut d’études pédagogiques de l’Ontario
Conseil consultatif de rédaction
Glen Bandiera, MD, MEd, FRCPC, University of Toronto
Gary Cole, PhD, Le Collège royal des médecins et chirurgiens du Canada
Deborah Danoff, MD, FRCPC, Le Collège royal des médecins et chirurgiens du Canada
Jason R. Frank, MD, MA(Ed), FRCPC, Le Collège royal des médecins et chirurgiens du Canada
Margaret Kennedy, MA, Le Collège royal des médecins et chirurgiens du Canada
Jonathan Sherbino, MD, MEd, FRCPC, McMaster University
Première édition
774, promenade Echo
Ottawa (Ontario) K1S 5N8 Canada
Téléphone : 1-800-668-3740 ou 613-730-8177
Télécopieur : 613-730-8262
Site Web : http://rcpsc.medical.org
Courriel : [email protected]
Droit d’auteur © 2006 Le Collège royal des médecins et chirurgiens du Canada.
Tous droits réservés. Ce document peut être reproduit en totalité à des fins
éducatives, personnelles ou non commerciales publiques exclusivement. Il faut
obtenir l’autorisation écrite du Collège royal pour toutes autres utilisations,
y compris l’utilisation commerciale de l’illustration CanMEDS ou de son cadre.
Imprimé à Ottawa
01002010207F
Photo de gauche de la couverture : Wayne Cuddington, Ottawa Citizen.
Photo reproduite avec la permission du Ottawa Citizen.
ISBN 13 : 978-0-9739158-7-7
ISBN 10 : 0-9739158-7-0
Comment citer ce document en référence :
Bandiera G, Sherbino J, Frank JR. Le guide des outils d’évaluation CanMEDS.
Introduction aux méthodes d’évaluation des compétences CanMEDS. Ottawa :
Le Collège royal des médecins et chirurgiens du Canada; 2006.
Table des matières
Collaborateurs scientifiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
Au sujet de ce guide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Partie 1 : Aide-mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Tableau 1 : Outils d’évaluation contemporains . . . . . . . . . . . . . . . . . . . . . . 7
Tableau 2 : Principaux outils d’évaluation des compétences CanMEDS . . . 9
Partie 2 : Aperçu des outils d’évaluation contemporains . . . . . . . . . . . . . . . . . . . 11
2.1 Examens écrits – Réponses construites (questions à réponse courte)
Curtis Lee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Examens écrits – Réponses construites (dissertation)
Curtis Lee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3 Examens écrits – Choix de réponses (choix multiples,
jumelage, jumelage étendu, choix d’un nombre de bonnes
réponses, vrai ou faux)
Curtis Lee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.4 Examens oraux structurés (EOS)
Curtis Lee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.5 Observation directe
Gary Cole . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.6 Examens cliniques objectifs structurés (ECOS) et examens
objectifs structurés reliés au rendement (EOSRR)
Curtis Lee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.7 Patients standardisés
Curtis Lee et Jonathan Sherbino . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.8 Rétroaction de sources multiples (évaluation à 360 degrés)
Jocelyn Lockyer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.9 Portefeuilles et registres
Jason R. Frank, Karen Mann et Erin Keely . . . . . . . . . . . . . . . . . 33
2.10 Évaluation fondée sur une simulation
Viren N. Naik et Glen Bandiera . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.11 Fiches de rencontre
Jason R. Frank, Curtis Lee et Glen Bandiera . . . . . . . . . . . . . . . . 41
iii
Partie 3 : Outils privilégiés pour évaluer les compétences . . . . . . . . . . . . . . . . . 45
3.1 Expert médical : compétences fondées sur le savoir
Glen Bandiera . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2 Expert médical : compétences en techniques d’intervention
George Kovacs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3 Communicateur
Sue Dojeiji et Lara Cooke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.4 Collaborateur
Ivy Oandasan et Denyse Richardson . . . . . . . . . . . . . . . . . . . . . . 68
3.5 Gestionnaire
Saleem Razack et Deepak Dath . . . . . . . . . . . . . . . . . . . . . . . . . . 76
3.6 Promoteur de la santé
Sarita Verma et Glen Bandiera . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.7 Érudit
Jonathan Sherbino . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
3.8 Professionnel
Ramona A. Kearney, Derek Puddester et Jason R. Frank . . . . . . . 95
Glossaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
iv
Collaborateurs scientifiques
Directeur, Éducation médicale postdoctorale
Urgentologue membre du personnel et chef de l’équipe
de traumatologie, St. Michael’s Hospital
Directeur, Programme de résidence FRCP(EM), University of Toronto
Gary Cole, PhD (Édu)
Attaché de recherche principal et Gestionnaire
Recherche et perfectionnement pédagogiques
Bureau de l’éducation
Lara Cooke, MD, MSc, FRCPC
Professeure adjointe de neurologie
Vice-doyenne, Perfectionnement du corps professoral
Faculté de médecine, University of Calgary
Deepak Dath, MD, MEd, FRCSC, FACS
Directeur de programme
Programme du tronc commun en chirurgie
McMaster University
St. Joseph’s Healthcare, Hamilton
Sue Dojeiji, MD, MEd, FRCPC
Professeure agrégée
Directrice, Programme de la médecine physique et de la réadaptation
Université d’Ottawa
Directeur associé, Bureau de l’éducation
Directeur de l’éducation, Département de médecine d’urgence
Faculté de médecine et Faculté d’éducation, Université d’Ottawa
Faculté des études supérieures, Institut d’études pédagogiques de l’Ontario
Ramona A. Kearney, MD, MMEd, FRCPC
Département d’anesthésiologie et de médecine de la douleur
University of Alberta
Erin Keely, MD, FRCPC
Chef par intérim, Division de l’endocrinologie et du métabolisme
Professeure agrégée de médecine
Départements de médecine et d’obstétrique et gynécologie
v
George Kovacs, MD, ABEM, MHPE, FRCPC
Professeur agrégé
Faculté de médecine
Dalhousie University
Curtis Lee, PhD
Associé à la recherche
Unité de recherche et de perfectionnement pédagogiques
Bureau de l’éducation
Scientifique spécialisé en éducation, Département de médecine d’urgence
Jocelyn Lockyer, PhD
Vice-doyenne, Formation médicale et perfectionnement professionnel
Département des sciences de la santé communautaire
University of Calgary
Karen Mann, BN, MSc, PhD
Professeure et directrice
Division de la formation médicale
Dalhousie University
Viren N. Naik, MD, MEd, FRCPC
Directeur médical, Centre de simulation de patients
Professeur adjoint
Département d’anesthésiologie
University of Toronto
Ivy Oandasan, MD, MHSc, CCFP, FCFP
Professeure agrégée et directrice
Bureau de l’éducation interprofessionnelle
Derek Puddester, MD, FRCPC
Codirecteur, Neurosciences comportementales et
Équipe de liaison des consultations
Codirecteur, Éducation, Département de psychiatrie
Centre hospitalier pour enfants de l’est de l’Ontario
Directeur, Programme du bien-être du corps professoral
Professeur agrégé, Département de psychiatrie
Faculté de médecine, Université d’Ottawa
vi
Saleem Razack, MD
Professeur agrégé de pédiatrie Directeur, Programme de résidence en pédiatrie
Université McGill
Denyse Richardson, MD, MEd, FRCPC
Professeure adjointe, professeure clinique
Division de physiatrie
Département de médecine, University of Toronto
Professeure clinique
Hamilton Health Sciences, McMaster University
Professeur clinique
Sarita Verma, LLB, MD, CCFP, FCFP
Vice-doyenne, Éducation médicale postdoctorale
Professeure agrégée, Département de médecine familiale et communautaire
Faculté de médecine
vii
Au sujet de ce guide
Au nombre des demandes les plus fréquentes que reçoit le Bureau de l’éducation
du Collège royal des médecins et chirurgiens du Canada figurent des outils
d’évaluation pour aider les professeurs de médecine à évaluer les compétences
médicales. Pour répondre à ces demandes, nous avons conçu ce guide de référence
à l’intention des professeurs de médecine, des enseignants cliniques et de tous
ceux qui s’intéressent à l’évaluation des compétences médicales en fonction du
Cadre de compétences CanMEDS 2005 pour les médecins.
Le guide s’inspire de diverses sources. Le diagramme de classement des outils et
certaines des références sont tirés des travaux du Groupe de travail sur les outils
d’évaluation CanMEDS, présidé par Peter Tugwell durant les années 1990. Grâce
à une subvention du Fonds de dotation CRMCC/AMS pour la recherche en
éducation médicale, le groupe de travail a compilé une liste d’outils pouvant servir
à l’évaluation des compétences CanMEDS. Le Bureau de CanMEDS maintient
aussi une bibliographie d’ouvrages portant sur le cadre. Nous avons fait une recension
d’outils dans cette base de données à l’aide des termes en anglais « evaluation »,
« assessment » et « competence » et nous les avons triés en fonction des rôles
CanMEDS. Les auteurs de ce chapitre du guide ont choisi dans cette liste et
dans les ouvrages spécialisés en éducation des documents significatifs susceptibles
d’être utiles aux professeurs de médecine.
Nous avons produit ce guide à votre intention précise et nous espérons qu’il vous
sera utile. Il s’agit de la première édition et nous nous attendons à ce que des
mises à jour s’imposent au fur et à mesure de l’évolution de la formation médicale
fondée sur les compétences. Nous vous invitons à nous donner vos commentaires
et votre rétroaction à l’adresse [email protected]. Nous soulignerons les
contributions importantes dans les éditions ultérieures.
Enfin, la production de ce document est aussi le fruit des efforts extraordinaires
de l’équipe de CanMEDS, qui a habilement géré toutes les facettes nécessaires à
l’intégration de textes en provenance de nombreux collaborateurs. Nous exprimons
toute notre reconnaissance à Tammy Hesson pour son travail exceptionnel dans la
coordination de la production du guide. Nous tenons aussi à remercier Ginette
Bourgeois et Terri Bronstein de leur précieuse assistance, Anne Marie Todkill de
son excellent travail de révision et l’équipe de gordongroup de la mise en page
en parfaite conformité avec les échéances.
Les rédacteurs
1
Introduction
L’initiative CanMEDS est le fruit d’un travail de collaboration visant à améliorer
les compétences des médecins, la pratique professionnelle et, en définitive, les
soins aux patients. Des centaines d’Associés, des membres du personnel du
Collège royal, des médecins de famille, ainsi que des professeurs de médecine ont
apporté leur contribution pour définir un cadre contemporain de compétences
médicales en harmonie avec les besoins de la société d’aujourd’hui. CanMEDS
a maintenant plus de dix ans et se présente sous sa forme révisée, le Cadre de
compétences CanMEDS 20051.
La mise en œuvre du cadre CanMEDS exige des outils pratiques d’évaluation
de la compétence des médecins dans chacun de leurs rôles professionnels. C’est
pourquoi le Collège royal des médecins et chirurgiens du Canada a élaboré ce
manuel, Le guide des outils d’évaluation CanMEDS. Le manuel est conçu pour
aider les directeurs de programme, les coordonnateurs de stages et les professeurs
de première ligne à évaluer efficacement le rendement des apprenants dans
chacun des sept rôles CanMEDS.
L’élaboration du guide s’est inspirée de trois grands principes.
D’abord, l’évaluation des apprenants s’effectue dans de nombreuses circonstances
sur une certaine période de temps. Tous les milieux d’enseignement ne se prêtent
pas à l’évaluation des sept rôles CanMEDS. Par ailleurs, il importe d’évaluer
chacun d’entre eux de diverses manières qui conviennent au milieu de formation
en cause. Par conséquent, le guide décrit divers outils d’évaluation appropriés à
chaque rôle CanMEDS, permettant aux professeurs de choisir les outils les plus
propices à leur programme en particulier. Par exemple, un directeur peut utiliser
une simulation réaliste pour mesurer certaines compétences essentielles du rôle de
Gestionnaire. Le même directeur de programme peut aussi inclure une question à
réponse courte concernant les principes d’assurance de la qualité dans un examen
écrit en cours de formation touchant, ici aussi, au rôle de Gestionnaire.
Deuxièmement, étant donné que l’Expert médical est le rôle central dans le cadre
CanMEDS, l’observation directe est essentielle dans l’évaluation du rendement.
De multiples observateurs peuvent évaluer les apprenants de manière itérative et
progressive pendant la mise en pratique des compétences médicales. L’observation
directe procure donc directement un bon aperçu du rendement réel.
1
Frank JR, rédacteur. Le Cadre de compétences CanMEDS 2005. L’excellence des normes, des
médecins et des soins. Ottawa : Le Collège royal des médecins et chirurgiens du Canada; 2005.
3
Introduction
Troisièmement, nous avons opérationnalisé le concept de la « compétence »
comme étant le développement progressif des habiletés. Il importe donc d’évaluer
les apprenants à diverses étapes de leur programme de manière à constater les
progrès réalisés le long d’un continuum de rendement et à leur donner des
conseils pour qu’ils s’améliorent de plus en plus.
Nous avions pour but de concevoir un guide de référence facile à consulter à
l’intention des professeurs à la recherche de réponses rapides et pratiques sur la
façon d’amorcer l’évaluation des rôles CanMEDS.
Le guide
Le guide se divise en trois parties et présente un condensé de certains outils
d’évaluation, ainsi qu’une explication plus détaillée de leur mise en application, de
leurs forces et de leurs limites. En guise de compléments à ces brèves descriptions,
certains exemples illustrant les outils et les approches que décrit le guide seront
aussi affichées dans le site Web de CanMEDS à l’adresse
http://crmcc.medical.org/canmeds.
Partie 1: Aide-mémoire
Cette section comporte deux descriptions visuelles. Le Tableau 1 brosse un bref
portrait des forces et des limites d’outils d’évaluation courants. Le Tableau 2 présente
les outils d’évaluation privilégiés en fonction de chacun des rôles CanMEDS.
Partie 2 : Aperçu des outils d’évaluation contemporains
Cette section explique plus en détails les divers outils d’évaluation. Chaque outil fait
l’objet d’un chapitre distinct qui présente un synopsis sous les rubriques suivantes :
•
•
•
•
•
•
•
Description
Avantages
Désavantages
Propice à l’évaluation
Moins propice à l’évaluation
Points saillants
Références
Pour assurer la plus grande objectivité possible, les outils doivent être conçus pour
maximiser la fiabilité (donner des résultats uniformes dans la même situation
d’une fois à l’autre) et la validité (évaluer les connaissances, les habiletés et les
comportements voulus et être acceptés comme légitimes par les professeurs et
les apprenants). Il importe donc d’adapter l’outil aux principales compétences
à évaluer dans une situation donnée et de rendre le matériel d’évaluation
(p. ex., questions à réponse courte, énoncés de la fiche d’évaluation en cours de
formation, éléments de la liste de vérification) aussi explicite et descriptif que
possible. Il faut insister sur l’évaluation de comportements concrets et observables
ou de composantes bien définies de la base de connaissances de l’apprenant.
4
Introduction
Nous conseillons aux lecteurs du guide de consulter les références à la fin des
chapitres lorsqu’ils élaborent de nouveaux outils. Ils y trouveront des exemples de
travaux antérieurs et le nom d’experts dans le domaine de l’évaluation des apprenants.
Partie 3 : Outils privilégiés pour évaluer les compétences CanMEDS
Cette section se fonde sur une recension approfondie des ouvrages scientifiques
portant sur chaque rôle. Un chapitre est consacré à chacun des rôles CanMEDS
et aux meilleures méthodes pour évaluer les apprenants en fonction du rôle en
question. Les chapitres sont structurés comme suit :
•
•
•
•
la définition du rôle CanMEDS et les principales compétences qui
y sont associées;
une description et une justification des meilleurs outils disponibles
pour évaluer l’apprenant;
des articles portant sur les outils d’évaluation du rôle en particulier;
d’autres articles intéressants concernant l’évaluation de ce rôle.
Le guide se sert de définitions typiques des outils d’évaluation et tient compte
de l’état actuel de la recherche en éducation médicale. Nous avons l’intention de
produire des éditions révisées de ce guide au fur et à mesure de l’évolution de
la recherche sur l’évaluation. Nous espérons que ce guide vous sera utile et nous
vous invitons à nous donner vos commentaires.
5
Partie 1 : Aide-mémoire
Cette section comporte deux descriptions visuelles pour aider les professeurs de
médecine à mesurer les forces et les limites d’outils d’évaluation CanMEDS courants
(Tableau 1) et établit un concordance entre les outils d’évaluation appropriés et
chacun des Rôles CanMEDS (Tableau 2). Ces lignes directrices décrivent les
propriétés générales de ces genres d’outils d’évaluation. La qualité de chacun des
outils en particulier doit aussi être prise en compte dans l’utilisation des tableaux.
Tableau 1 : Outils d’évaluation contemporains
Fiabilité
Validité
Faisabilité
Coût
QCM
+
+
+
$
Familiarité globale
Facile à noter
Objet de recherches
approfondies
Devinette au hasard
Difficile à bien rédiger
Banalisation
du contenu
Peut surestimer la
compétence
Dissertation
-
+/-
+/-
$
Évalue la solution
de problèmes
Difficile à noter
Facile à formuler
Inefficace
Problèmes de fiabilité
QRC
+
+
+
$
Facile à rédiger
Difficile à noter
+/-
+
+/-
-
Évalue le raisonnement
d’ordre supérieur
Permet à l’apprenant
de clarifier ses réponses
Prend du temps
Indices donnés
par l’examinateur
Problèmes de
subjectivité
Problèmes de
standardisation
ECOS
+
+
-
-
Réaliste
Prévu à l’avance
Évalue le
comportement dans
des situations critiques
Déconstruit
la dynamique
patient-médecin
Limites dans les
simulations possibles
Coûteux
Prend du temps
FECF
-
+
+
$
Évalue tous les
Influence des
domaines de la
caractéristiques
compétence
de l’apprenant sur
Flexible
l’évaluation du
Évalue le
comportement
comportement sur une Faible puissance
période de temps
discriminatoire entre
Validité apparente
les domaines
Réaliste
Examen
oral
Forces
Limites
7
Partie 1 : Aide-mémoire
Fiabilité
Validité
Faisabilité
Coût
RSM
+/-
+
-
$
Évalue tous les
domaines de
compétence
Interprofessionnel
Plusieurs évaluateurs
Exige beaucoup
de temps
Peut nuire à
la dynamique
patient-médecin
Exige une formation
appropriée de
l’observateur
Portefeuille
-
+/-
-
$
Autoréflexion
Facilite les mesures
correctrices
Retrace le rendement
avec le temps
Exige beaucoup
de temps
Trompeur
Conformité/effort
N/A
+/-
+
$
Accroît l’expérience
en matière d’habiletés
techniques
Fait le suivi
Présume que la
répétition est synonyme
de compétence
Prend du temps
Conformité/effort
Registre
Forces
Limites
+
= force caractéristique de cet outil
-
= faiblesse caractéristique de cet outil
+/-
= varie selon la conception de l’outil
$
= signifie que l’outil d’évaluation n’est pas coûteux. Par ailleurs, l’estimation des coûts
des outils d’évaluation n’inclut pas le salaire des professeurs.
Légende :
FECF
= Fiche d’évaluation en cours de formation
QCM
= Examen avec questions à choix multiples
ECOS
= Examen clinique objectif structuré
QRC
= Examen avec questions à réponse courte
RSM
= Rétroaction de sources multiples (aussi désigné sous le nom d’évaluation à 360 degrés)
Bandiera G, Sherbino J, Frank JR. Le guide des outils d’évaluation CanMEDS. Introduction aux méthodes d’évaluation des
compétences CanMEDS. Ottawa : Le Collège royal des médecins et chirurgiens du Canada; 2006.
Tableau 2 : Principaux outils d’évaluation des
compétences CanMEDS
Expert
médical
Communicateur Collaborateur Promoteur
de la santé
Gestionnaire
Érudit
Professionnel
1. Examens
écrits
(QCM,
QRC)
+++
+
++
++
+
++
+
2. Dissertations
++
+
+
+++
+
+
+
3. Examens
oraux
+++
+
+
+
-
-
+
4. Observation
directe et
FECF
+++
+++
+++
+++
+++
+++
+++
5. ECOS / PS
+++
+++
+++
++
-
-
+
6. Rétroaction
de sources
multiples
++
+++
+++
+++
+++
++
+++
7. Portefeuilles
++
++
+
+++
++
+++
+++
8. Simulations
+++
+
+++
-
++
-
++
Légende :
+++
= convient bien à l’évaluation de plusieurs des compétences essentielles du rôle
++
= convient bien à l’évaluation de certaines des compétences essentielles du rôle
+
= convient à l’évaluation de compétences bien précises dans le rôle
-
= ne convient pas bien pour ce rôle
Abréviations :
FECF
= Fiche d’évaluation en cours de formation
QCM
= Examen avec questions à choix multiples
ECOS
= Examen clinique objectif structuré
QRC
= Examen avec questions à réponse courte
PS
= Patient standardisé
Bandiera G, Sherbino J, Frank JR. Le guide des outils d’évaluation CanMEDS. Introduction aux méthodes d’évaluation des
compétences CanMEDS. Ottawa : Le Collège royal des médecins et chirurgiens du Canada; 2006.
Examens écrits – Réponses construites
Partie 2 : Aperçu des outils d’évaluation
contemporains
2.1 Examens écrits – Réponses construites
(questions à réponse courte)
Curtis Lee
Définition
L’examen avec questions à réponse courte (QRC) comporte une brève question
très ciblée, conçue pour obtenir une réponse construite fiable de l’apprenant.
Les réponses consistent habituellement en quelques phrases ou mots concis.
Le barème de correction est conçu pour anticiper toutes les réponses correctes
possibles.
Description
Les QRC commencent habituellement par un scénario clinique ou une vignette.
Le scénario clinique peut servir de base à quelques QRC reliées entre elles.
Les barèmes de correction sont bien définis pour l’apprenant dans l’ensemble de
la question et se concentrent sur la valeur et la structure de la réponse. Les QRS
bien rédigées commencent souvent par un impératif comme « donnez la liste » ou
« nommez », qui circonscrit les exigences de la réponse. Les bonnes QRS donnent
le nombre d’éléments attendus dans la réponse et le nombre total de points possibles.
De plus, l’espace alloué donne une indication de la longueur de la réponse.
Avantages
•
•
•
•
•
•
•
•
mesure la mémoire et l’application des connaissances plutôt que
la reconnaissance
fiabilité modérée à élevée
les QRC ont tendance à avoir de forts indices de discrimination; ceci laisse
présager un lien solide et uniforme avec les résultats finaux de l’évaluation
simple à administrer
peut évaluer une base de connaissances étendue et approfondie
il est possible de corriger objectivement les questions bien conçues
a tendance à avoir une plus grande validité que les autres formes d’examens
écrits (les candidats répondent ce qu’ils pensent, plutôt que de choisir
entre les options fournies)
les QRC sont généralement plus faciles à créer que les questions à
choix multiples
11
Désavantages
•
•
•
•
l’écriture des candidats est souvent difficile à lire
prend du temps à élaborer et à corriger
difficile de produire un barème de correction complet
a souvent une validité apparente plus faible que les évaluations fondées
sur le rendement
•
•
•
de l’étendue et de la profondeur des connaissances factuelles dans tous
les domaines CanMEDS
de l’application clinique du savoir et du raisonnement diagnostique
des habiletés en solution de problèmes
•
•
•
•
du comportement en milieux cliniques
des habiletés en communication orale et écrite
des aptitudes à la collaboration, comme la prise de décisions en groupe,
la direction d’une équipe et la négociation
du professionnalisme, comme l’intégrité, l’engagement à l’endroit d’une
pratique autoréglementée et le maintien du bien-être personnel
Points saillants
•
•
•
L’élaboration d’un barème de correction modèle est une composante
essentielle d’un examen avec QRC.
Dans la création d’une QRC, il faut tenir compte de la perspective du
candidat (La question est-elle claire et appropriée?) et du correcteur
(Le barème de correction modèle est-il correct et complet? Les réponses
peuvent-elles être facilement et objectivement notées?)
Il faut mettre à l’essai les questions auprès d’un groupe témoin avant
l’administration d’un examen avec QRC.
Références
http://rcpsc.medical.org/residency/certification/examinerguide/SAQguidelines_f.php
Popham WJ. Modern educational measurement: practical guidelines for educational
leaders, 3rd ed. Needham (MA) : Pearson Education; 2000.
12
Examens écrits – Réponses construites
2.2 Examens écrits – Réponses construites
(dissertation)
Curtis Lee
Définition
La dissertation comporte des questions exigeant des apprenants qu’ils formulent
leurs réponses sous forme écrite ou par ordinateur en se fondant sur leurs
connaissances. Elle exige une synthèse et l’explication du contenu, ainsi que des
habiletés en réflexion critique, comme l’évaluation, l’analyse et le jugement.
Description
Les sujets de dissertation peuvent être donnés par l’évaluateur ou encore être
définis par l’apprenant. Les dissertations à réponses ouvertes comportent peu
de structure, tandis que les dissertations à réponses restreintes offrent un cadre
permettant d’améliorer la fiabilité, notamment les attentes de l’examinateur en
matière de contenu et le temps accordé pour faire le travail. On peut permettre
aux apprenants d’utiliser des ressources de l’extérieur pour la recherche de leur
réponse. Ils peuvent remettre la dissertation à l’occasion d’une séance d’examen
officielle ou à une date ultérieure.
Avantages
•
•
•
de nombreux objectifs d’apprentissage peuvent être évalués
les connaissances d’ordre supérieur peuvent être mises à l’épreuve
(p. ex., la mise en application de renseignements factuels)
simple à élaborer et à administrer
Désavantages
•
•
•
•
•
•
difficile à corriger de manière fiable
les approches des apprenants à l’endroit des questions ne sont pas
uniformes ni standardisées
difficile pour le correcteur d’éviter l’effet de « l’ange » et de « la bête »
(le travail d’un apprenant influence les notes accordées aux autres dissertations)
la correction prend beaucoup de temps
le correcteur peut être influencé par la calligraphie, la grammaire,
la syntaxe et l’orthographe
les habiletés langagières et en rédaction sont souvent évaluées au lieu
des connaissances du contenu
•
•
de l’expertise médicale (connaissances et attitudes)
du sens de l’organisation et des habiletés en rédaction
13
•
•
•
•
•
•
de la capacité de faire la synthèse de l’information
de la communication écrite
de la base de connaissances en gestion
des approches à l’endroit de la promotion de la santé
de la base de connaissances en matière d’érudition (p. ex., les approches à
l’évaluation critique ou à l’enseignement)
la base des connaissances en professionnalisme (p. ex., l’éthique appliquée)
•
•
•
•
du rendement dans la pratique réelle
des comportements dans la pratique
des habiletés techniques et des interventions
des aptitudes à la collaboration (p. ex., le travail en équipe, la négociation
en cas de conflit)
Points saillants
•
•
•
•
Après avoir créé une question de dissertation, l’évaluateur doit répondre à
la question dans le contexte de l’élaboration de son barème de correction.
Ainsi, l’évaluateur peut se rendre compte de la gamme possible
d’interprétations que peut en faire un apprenant. Il peut jauger la difficulté
des questions de dissertation et le temps nécessaire pour y répondre. Les
évaluateurs qui font cette démarche dans la préparation de questions de
dissertation apportent souvent des modifications à la question initiale pour
la rendre plus précise et mieux la cibler.
Dans les examens où les enjeux sont d’importance capitale, le degré de
difficulté devrait être semblable pour tous les candidats. Étant donné qu’il
n’est pas facile d’établir un degré uniforme de difficulté, il vaut mieux ne
pas permettre aux apprenants de choisir parmi une liste de questions.
Il est difficile pour les correcteurs de ne pas se laisser influencer par la
qualité de la calligraphie et par la grammaire, la syntaxe et l’orthographe.
Le recours au traitement de textes peut atténuer ces problèmes.
Idéalement, la correction devrait se faire en aveugle, sans identification de
nom, et par plus d’une personne. La possibilité de reconnaître le style de
rédaction de l’apprenant ainsi que les préférences et les intérêts
intellectuels des correcteurs comptent au nombre des problèmes rencontrés
dans les efforts de maintenir l’anonymat de l’apprenant et d’éliminer tout
parti pris.
Références
Popham WJ. Modern educational measurement: practical guidelines for educational
leaders. 3rd ed. Needham (MA) : Pearson Education Company; 2000.
Violato C, McDougal D, Marini A. Educational measurement and evaluation.
Dubuque (IA) : Kendall/Hunt; 1992.
14
Examens écrits – Choix de réponses
2.3 Examens écrits – Choix de réponses
(choix multiples, jumelage, jumelage étendu, choix
d’un nombre de bonnes réponses, vrai ou faux)
Curtis Lee
Définition
Les outils d’évaluation avec choix de réponses comportent une question et une
liste d’options à partir de laquelle l’apprenant doit choisir la bonne réponse.
Dans tous les examens à choix de réponses, l’apprenant est appelé à reconnaître
la réponse correcte plutôt que de s’en souvenir sans indice. Plusieurs des outils
d’évaluation écrits situent la question dans un scénario clinique ou une vignette.
Les choix multiples, le jumelage, le jumelage étendu, le choix d’un nombre de
bonnes réponses et les questions vrai ou faux comptent parmi les outils habituels
dans cette catégorie.
Description
Questions à choix multiples (QCM) : les QCM consistent en une question
d’introduction ou tronc qui demande à l’apprenant de choisir la réponse la plus
juste parmi une liste qui inclut aussi de deux à cinq autres distracteurs plausibles
mais incorrects.
Jumelage : deux listes sont remises aux apprenants à qui on demande de jumeler
un élément d’une colonne à un élément de l’autre colonne. Un exemple courant
de jumelage consiste en une liste de termes dans une colonne et de définitions
dans l’autre.
Questions à jumelage étendu (QJE) : les apprenants reçoivent une liste de 10 à
20 éléments et sont appelés à les jumeler à une série de réponses correspondantes.
Un élément peut être jumelé à plus d’une réponse. Par exemple, on donne aux
apprenants une liste d’organes et une liste de médicaments. On leur demande
ensuite de jumeler les organes de la liste avec les médicaments qui ont un effet sur
cet organe.
Choix d’un nombre de bonnes réponses : il s’agit d’un amalgame de QCM
et de jumelage étendu. Il comporte un tronc d’introduction et des instructions
de choisir un nombre donné de réponses correctes dans une longue liste.
Ces questions pourraient porter, par exemple, sur tous les tests diagnostiques
ou les interventions de prise en charge qui seraient appropriés dans une situation
clinique donnée.
Vrai ou faux : les apprenants sont appelés à se prononcer à savoir si un énoncé est
vrai ou faux.
15
Avantages
•
•
•
•
•
•
•
•
•
•
peut évaluer des contenus diversifiés
des questions identiques pour tous les apprenants
simple à administrer
un grand nombre d’apprenants peuvent subir l’examen en même temps
la correction est objective, simple et rapide en comparaison d’autres méthodes
on peut faire une banque de questions réutilisables
la répartition des questions peut tenir compte de la pondération du
contenu pédagogique
la facilité de lecture de la calligraphie n’est pas un problème
peut être administré et recueilli électroniquement
on peut analyser les éléments pour déterminer les faiblesses de l’apprenant
et la qualité des éléments contenus dans l’examen
Désavantages
•
•
•
•
•
•
•
l’évaluateur ne peut pas déterminer si les réponses correctes sont
attribuables à la chance
les examens écrits sont exigeants au chapitre de l’utilisation précise
de la langue
faible validité apparente : peut ne pas refléter la pratique clinique ou
n’évaluer qu’un contenu banal
il est difficile de créer des distracteurs incorrects mais plausibles pour les QCM
les apprenants peuvent utiliser un raisonnement par déduction pour
répondre aux questions, se fiant à des indices laissés involontairement
l’élaboration des questions prend du temps
peu propice à l’évaluation des habiletés cognitives d’ordre supérieur,
comme la synthèse, l’évaluation et la réflexion critique
•
•
•
des connaissances et de la mise en pratique des connaissances
des connaissances de base dans toutes les compétences CanMEDS
du raisonnement diagnostique
•
•
•
•
•
16
des habiletés en communication
de la collaboration (p. ex., le travail en équipe)
du comportement éthique
du leadership
des habiletés organisationnelles
Examens écrits – Choix de réponses
Points saillants
•
•
•
•
•
•
•
•
•
Les QCM demeurent fiables et valides avec seulement trois options,
probablement parce que deux distracteurs très plausibles sont utilisés
plutôt qu’un grand nombre de choix non plausibles.
Les coefficients de fiabilité ont tendance à être élevés : un grand nombre
de questions peuvent être posées rapidement et les réponses ont une faible
variance en raison des options limitées.
Les QCM à grande échelle peuvent utiliser une sémantique adaptable à
l’ordinateur qui réduit le nombre de questions. À mesure que l’apprenant
répond correctement à une série de questions, les questions suivantes qui
lui sont posées sont de plus en plus difficiles, laissant ainsi moins de
questions à évaluer.
Il faut garder le contenu principal dans le tronc plutôt que dans les distracteurs.
Il faut éviter ce qui suit :
• évaluer des connaissances banales
• les termes absolus comme « toujours » et « jamais »
• « toutes ces réponses » ou « aucune de ces réponses » comme choix
de réponse
• des termes négatifs comme « ne pas » ou « exception faite » sans emphase
• Les questions de type K qui demandent aux apprenants de choisir une
combinaison de séries d’énoncés sont acceptables (p. ex., [a] énoncés 1
et 3; [b] énoncés 2 et 3; [c] énoncé 2 seulement). Elles sont difficiles à
formuler et mettent à l’épreuve la logique plutôt que la connaissance
du contenu.
Éviter les questions vrai ou faux : la probabilité de deviner la réponse
correcte est élevée.
Utiliser avec prudence les questions à jumelage : la formulation de la
question peut porter à confusion.
On croit que le jumelage étendu se rapproche le plus de la pratique clinique.
Les apprenants devraient être capables de choisir la bonne réponse sans
voir les distracteurs.
Références
Case SM, Swanson DR. Constructing written test questions for the basic and clinical
sciences. Philadelphia (PA) : National Board of Medical Examiners; 1998. p. 42.
Haladyna TM, Downing SM, Rodriguez MC. A review of multiple-choice item-writing
guidelines for classroom assessment. Appl Meas Educ 2002;15(3): 309-34.
Wood T, Cole G, Lee C. L’élaboration de questions à choix multiples pour les examens
menant au certificat du Collège royal. Ottawa : Le Collège royal des médecins et
chirurgiens du Canada; 2004.
Accessible à : http://crmcc.medical.org/residency/certification/examinerguide/
index.php
17
2.4 Examens oraux structurés (EOS)
Curtis Lee
Définition
Les examens oraux donnent la possibilité à un évaluateur ou à un jury d’évaluateurs
de poser à un apprenant une série de questions de manière à évaluer les réponses
de l’apprenant et à y réagir. Les examens oraux procurent une interaction
dynamique intense entre l’évaluateur et l’apprenant.
Les examens oraux structurés (EOS) évaluent un nombre établi de cas standardisés
à l’aide de questions d’incitation anticipées, fondées sur une gamme de résultats
attendus du candidat et une grille de notation bien établie pour accroître la
fiabilité de l’évaluation. Les EOS devraient être utilisés pour les évaluations
dont les enjeux sont d’importance capitale ou les évaluations orales sommatives.
Ils sont habituellement notés à l’aide d’un modèle structuré, défini au préalable.
Description
Traditionnellement, les examens oraux comportaient des conversations entre
les apprenants et les examinateurs sur divers sujets généraux ou encore la
présentation et l’examen en profondeur d’un cas ou d’une thèse. Bien que cette
approche non structurée puisse permettre une évaluation de l’approfondissement
des connaissances et une évaluation authentique d’un sujet en particulier, il est
difficile de reproduire l’évaluation (faible fiabilité) ou de généraliser la réussite
au-delà du cas ou du sujet en particulier (spécificité du cas).
Il existe plusieurs variantes d’examen oral, mais l’EOS comporte habituellement de
passer en revue de quatre à dix cas, d’une durée de cinq à quinze minutes chacun.
Par conséquent, l’examen au complet dure environ une heure. Les discussions de
cas peuvent porter sur la solution de problèmes, le diagnostic, le plan thérapeutique,
l’interprétation de résultats et ainsi de suite. Les EOS peuvent aussi faire appel
à des jeux de rôles. Idéalement, tous les apprenants ont les mêmes scénarios, ils sont
évalués à l’aide des mêmes grilles de notations établies et reçoivent les mêmes
réactions aux mêmes réponses. Il faut donner une formation aux examinateurs sur
les buts de l’examen et sur l’importance de s’abstenir de donner au candidat des
rétroactions sous forme verbale ou gestuelle qui le guideraient.
Pour préparer un bon EOS, il faut prévoir des instructions à l’apprenant, une
description détaillée des scénarios de cas (pour l’apprenant et l’évaluateur), une
liste de questions d’incitation et de réponses anticipées aux questions, des listes
de vérification pour documenter les réponses du candidat, des grilles de notation
globale bien établies et des médiums (p. ex., des radiographies, des photographies).
18
Examens oraux structurés
Avantages
•
•
•
•
•
met à l’épreuve plus que la base de connaissances et mesure aussi comment
le savoir est mis en application dans une situation
dans les évaluations formatives (en apprentissage), les apprenants peuvent
avoir une rétroaction immédiate
le ou les évaluateurs peuvent poser des questions d’approfondissement
pour confirmer les connaissances ou le raisonnement de l’apprenant ou
encore explorer plus en profondeur les compétences
peut s’appliquer à un large éventail de compétences et de domaines de
contenu pour évaluer les connaissances de base et la réflexion critique,
à l’aide de scénarios hypothétiques
validité apparente élevée : on peut choisir les cas parmi des situations
typiques ou critiques et les présenter de manière réaliste
Désavantages
•
•
•
•
•
•
•
•
un nombre limité de cas peut entraîner une spécificité du contenu et une
faible fiabilité
difficile à standardiser
difficile à mettre en œuvre uniformément par tous les évaluateurs
il est difficile d’établir et de mettre en application des critères
systématiques et uniformes de notation
il est difficile de présenter les cas de manière identique à tous les apprenants
il est difficile d’éviter de donner des indices non verbaux
l’environnement de l’examen peut causer de l’anxiété chez les apprenants,
d’où un mauvais rendement qui ne reflète pas la compétence réelle
prend du temps; l’examen de dix apprenants pendant une heure peut
exiger plus d’un évaluateur et plus d’une journée de travail; une deuxième
journée d’examen peut nécessiter que l’on utilise des scénarios différents
•
•
•
•
du rôle d’Expert médical
– connaissances factuelles
– habiletés en raisonnement clinique et en solution de problèmes
– réflexion critique (évaluation, synthèse et analyse)
du rôle de Communicateur
– habiletés interpersonnelles
– capacités d’organiser l’information de manière claire et logique
du rôle de Gestionnaire
– base de connaissances (p.ex., structure du système de santé)
du rôle de Promoteur de la santé
– connaissance des facteurs déterminants de la santé
– connaissance des services communautaires et des soutiens sociaux
19
•
•
du rôle d’Érudit
– recours aux données probantes à l’appui des décisions
du rôle de Professionnel
– conduite
– raisonnement éthique
•
•
•
•
•
de l’étendue des connaissances
des habiletés en interventions
de l’examen physique
du rendement véritable dans des situations réelles
de la collaboration, du travail en équipe et du leadership
Points saillants
•
•
•
Pour assurer la fiabilité et la validité dans l’EOS, il importe d’investir
beaucoup d’efforts dans l’élaboration du contenu, de la présentation des
cas, des questions d’approfondissement et du barème de notation.
L’improvisation de la part de l’évaluateur réduit la fiabilité et la possibilité
de généraliser l’examen.
Il faut essayer d’anticiper les réponses des apprenants et de standardiser les
critères d’évaluation.
On doit éviter les erreurs de notation comme l’effet de « l’ange », la
régression vers la médiane, l’effet de contrat, la projection, le parti pris, le
localisme et la généralisation excessive. (Voir les directives du Collège royal).
Références
Guidelines for the conduct of structured oral examinations. Ottawa : Le Collège royal
des médecins et chirurgiens du Canada, 2004.
Finberg L, Lloyd JS. Suggested guidelines for ideal oral examinations. In : Lloyd, JS.
Oral examinations in medical specialty board certification. Chicago (IL) :
American Board of Medical Specialites; 1983.
Mancall EL, Bashook PG, rédacteurs. Assessing clinical reasoning: the oral
examination and alternative methods. Chicago (IL) : American Board of Medical
Specialties; 1995.
20
Observation directe
2.5 Observation directe
Gary Cole
Définition
Dans le modèle d’évaluation en cours de formation du Collège royal, l’observation
directe désigne l’observation, l’évaluation et la documentation sur une base continue
des actes posés par les apprenants dans les milieux cliniques réels durant leur
formation. Le facteur essentiel qui distingue l’observation directe des autres formes
d’évaluation est que l’apprenant est observé pendant qu’il pose des actes authentiques
qui se produisent naturellement dans l’expérience clinique au quotidien.
Description
Les actes évalués peuvent et devraient être en relation avec l’un ou l’autre des rôles
CanMEDS. Il peut s’agir d’interactions avec les patients, leurs proches, le personnel
hospitalier, des collègues, des étudiants ou des superviseurs. Ces personnes pourraient
même contribuer à l’évaluation de l’apprenant (rétroaction de sources multiples),
mais l’observation directe comporte habituellement la participation d’un expert
(généralement le superviseur). L’environnement est toujours authentique, mais
l’arrangement peut être plus ou moins formel. Dans un arrangement strictement
formel, l’apprenant pourrait être appelé à effectuer une tâche spécifique et serait
évalué au moyen d’un formulaire de notation standardisé. Dans un arrangement
informel, l’observation ne serait pas spécifiquement planifiée et l’évaluation ne serait
pas documentée dans un formulaire standardisé. Dans un tel cas, la culmination des
observations guiderait la rédaction de la fiche d’évaluation en cours de formation (FECF)
au terme de l’expérience éducative. Par ailleurs, idéalement, il faut donner une
rétroaction longitudinale à l’apprenant pour façonner son apprentissage.
Avantages
•
•
•
•
•
•
•
permet l’évaluation du rendement en temps réel des rôles CanMEDS
donne la possibilité d’évaluer des actes importants mais peu fréquents
permet l’évaluation des habiletés techniques qui ne peuvent pas être
mesurées durant un examen
très utile comme évaluation formative (en apprentissage) parce qu’il
est habituellement possible de donner une rétroaction immédiate
des évaluations faites par un grand nombre d’évaluateurs qui ont des
perspectives différentes sont aussi possibles
les comportement extrêmes (bons ou mauvais) dans l’un ou l’autre
des rôles CanMEDS sont aisément évalués, permettant d’appliquer les
conséquences éducatives qui s’imposent
validité apparente élevée
21
Désavantages
•
•
•
•
•
•
lorsque l’évaluation n’est pas structurée, ni standardisée, la validité et la
fiabilité sont remises en question
il est difficile de former les observateurs pour qu’ils soient standardisés
différents observateurs peuvent observer des élément différents
les observateurs n’ont pas tous les mêmes standards de rendement
on a peu de contrôle sur les situations observées, d’où des comportements
très variés
la documentation n’est parfois pas en temps opportun ou n’est pas faite
dans certains cas
•
•
de presque toutes les compétences essentielles de tous les rôles CanMEDS
des comportements d’ordre supérieur (par opposition aux connaissances
prévues dans les rôles)
•
•
des compétences en recherche de l’Érudit
de l’apprentissage continu de l’Érudit
Points saillants
•
•
•
•
•
•
22
L’observation directe est l’une des deux méthodes qui évaluent le
comportement concret dans la réalité de la pratique clinique.
L’observation directe convient particulièrement à l’évaluation des rôles de
Communicateur, de Collaborateur et de Promoteur de la santé, que
l’apprenant exerce dans la pratique concrète. C’est un excellent moyen
d’évaluer les comportements d’ordre supérieur. Lorsque des outils précis
sont utilisés, c’est aussi un moyen utile d’évaluer les habiletés techniques.
L’observation directe procure les conditions propices à l’évaluation
formative (par ex., rétroaction immédiate).
Il est essentiel de donner de la formation aux examinateurs en ce qui
concerne l’utilisation judicieuse de la plupart des outils d’évaluation se
servant de l’observation directe.
On peut obtenir des commentaires de sources multiples, notamment
d’autres professionnels de la santé ou des patients.
Bien que la plupart des commentaires se fondent sur une évaluation non
standardisée, les nombreuses occasions d’observation peuvent, de manière
cumulative, offrir une validité et une fiabilité raisonnables.
Observation directe
Références
Catton P, Tallett S, Rothman A. A guide to resident assessment for program directors.
Annales du CRMCC 1997;30(7):403-9.
Gray J. Primer on resident evaluation. Annales du CRMCC 1996;29(2):91-4.
Turnbull J, Gray J, MacFadyen J. Improving in-training evaluation programs. J Gen
Intern Med 1998;13(May):317-23.
23
2.6 Examens cliniques objectifs structurés (ECOS)
et examens objectifs structurés reliés au
rendement (EOSRR)
Curtis Lee
Définition
L’examen clinique objectif structuré (ECOS) présente un échantillon du rendement
des apprenants tandis qu’ils font le tour d’une série de stations représentant divers
scénarios cliniques. À chaque station, l’apprenant peut rencontrer un patient
standardisé, faire un examen oral structuré, examiner de l’information visuelle
(p. ex., des radiographies, des électrocardiogrammes), faire une simulation fortement
ou faiblement réaliste (p. ex., un dispositif d’entraînement partiel) ou effectuer
une tâche écrite. Les apprenants sont habituellement appelés à exécuter une
technique spécifique, à simuler une partie d’une rencontre avec un patient ou
à répondre à des questions fondées sur le matériel présenté.
L’examen objectif structuré relié au rendement (EOSRR) est semblable à l’ECOS
mais n’a pas nécessairement de dimension clinique.
Description
Un circuit d’ECOS comporte habituellement de 8 à 15 stations se déroulant
dans une série de salles, en plus d’une ou deux stations de repos. On accorde
généralement à l’apprenant de 8 à 30 minutes pour effectuer la tâche prévue
dans chaque salle. Il s’écoule environ 2 à 5 minutes entre chaque station, pendant
lesquelles on lui donne des renseignements concernant la prochaine station.
L’évaluation se fait au moyen d’une liste de vérification standardisée, de grilles
de notation globale établies ou encore, on évalue les brèves réponses narratives.
Avantages
•
•
•
•
le fondement clinique se prête à une validité apparente élevée, le
rendement étant perçu comme plus pertinent qu’une évaluation écrite
peut cibler des domaines de contenu ou des habiletés spécifiques
peut être standardisé
permet l’observation directe du rendement
Désavantages
•
•
•
•
•
24
prend du temps à élaborer
complexe à administrer et exige de nombreux examinateurs
et des salles multiples
ne peut couvrir que quelques domaines de contenu
les limites de temps et le milieu de l’examen sont artificiels
n’est rentable que si de nombreux apprenants subissent l’examen
Examens cliniques objectifs structurés et examens objectifs structurés reliés au rendement
•
•
•
•
•
des habiletés en anamnèse
des habiletés à faire l’examen physique
des habiletés en communication médecin–patient
du raisonnement diagnostique, de la prise en charge du patient
et de la planification thérapeutique
de la base de connaissances dans un contexte spécifique
•
•
•
•
des comportements éthiques et professionnels complexes
des interactions de collaboration
des habiletés en enseignement et en recherche
d’un large éventail de connaissances dans divers domaines (compte tenu
des contraintes de temps et du nombre limité de stations)
Points saillants
•
•
•
•
Les ECOS sont privilégiés pour les examens formatifs et sommatifs
à large échelle. Ils offrent un contenu et des circonstances d’examen
standardisés, notamment le même temps accordé par station, du contenu
semblable durant tout l’examen et des rencontres similaires avec des
patients standardisés.
Les listes de vérification assurent l’objectivité des ECOS parce qu’elles
optimisent la notation uniforme et l’équité et minimisent la subjectivité
des évaluateurs. Les listes de vérification, par opposition aux notes globales,
peuvent produire une meilleure évaluation. Il faut se méfier des apprenants
qui adoptent une approche de « mitraillette », selon laquelle ils tentent de
donner toutes les réponses possibles dans l’espoir de répondre à tous les
critères de la liste de vérification.
Les notes globales conviennent mieux dans l’évaluation des apprenants
dont l’expertise est plus grande. Pour réduire le degré de subjectivité
associé à une note globale, il faut s’assurer que les grilles de notation sont
bien établies pour assurer une évaluation uniforme par tous les évaluateurs.
La fiabilité a tendance à augmenter proportionnellement au nombre de
scénarios et de stations.
Références
Cohen R, Rothman AI, Ross J, Poldre P. Security issues in standardized-patient
examinations. Acad Med 1993;68(10):S73-S75.
Cohen R, Rothman AI, Ross J, Poldre P. Validating an objective structured clinical
examination (OSCE) as a method for selecting foreign medical graduates for a
pre-internship program. Acad Med 1991;66(9)S67-S69.
25
Evans J, Morales D, Robb A. How to run an OSCE: a guide for the beginner. Toronto :
Educating Future Physicians for Ontario (EFPO) Project; 1995.
Hanson M, Russell L, Robb A, Tabak D. Cross-cultural interviewing: a guide for teaching
and evaluation. Toronto : Faculté de médecine, University of Toronto; 1996.
Harden R M, Stevenson M, Downie WW, Wilson GM. Assessment of clinical
competence using objective structured examination. BMJ 1975;1:447-51.
Hodges B, McIlroy JH. Analytic global OSCE ratings are sensitive to level of training.
Med Educ 2003;37:1012-6.
Hodges B, McNaughton N, Regehr G, Tiberius RG, Hanson M. The challenge of
creating new OSCE measures to capture the characteristics of expertise. Med
Educ 2002;36:742-8.
Hodges B, Regehr G, McNaughton N, Tiberius RG, Hanson M. OSCE checklists do
not capture increasing levels of expertise. Acad Med 1999;74:1129-34.
Reznick RK, Blackmore DE, Dauphinee WD, Rothman AI, Smee SM. Large-scale
high-stakes testing with an OSCE : Rapport du Conseil médical du Canada. Acad
Med 1996;S71:19-21.
Rothman AI, Cohen R. Understanding the objective structured clinical examination:
issues and options. Annales du CRMCC 1995;28(5):283-7.
26
Patients standardisés
2.7 Patients standardisés
Curtis Lee et Jonathan Sherbino
Définition
Les patients standardisés sont des acteurs en santé formés pour simuler une
situation ou un problème médical ou encore de vrais patients formés pour
standardiser la présentation de leur propre problème médical aux fins d’évaluation.
On les retrouve dans des stations d’examen clinique objectif structuré (ECOS), dans
une composante d’examen oral ou comme outil d’évaluation autonome. Même si
des patients standardisés ont été intégrés dans la pratique clinique (p. ex., dans
une liste de patients en clinique externe) à l’insu de l’apprenant qui fait l’objet
de l’évaluation, une telle pratique pose des problèmes sur le plan de l’éthique.
Comme dans le cas des simulations, les patients standardisés ne sont pas en
eux-mêmes des outils d’évaluation ni l’objet d’une évaluation. Ils procurent plutôt
la possibilité d’observer un rendement qui est ensuite évalué en fonction d’une
liste de vérification standardisée, d’une grille de notation globale établie ou
d’une brève réponse narrative.
Description
Durant la rencontre, le patient standardisé simule la présentation réelle d’un
patient à l’aide d’un script standardisé. Cette personne a reçu une formation pour
réagir à l’apprenant d’une manière normalisée pour accroître la fiabilité du
processus d’évaluation.
Selon les instructions dans le scénario, les directives du médecin évaluateur ou par
interaction directe avec le patient standardisé, l’apprenant procède à une évaluation
clinique. Il peut s’agir de faire le bilan de santé, d’effectuer une évaluation physique,
de poser un diagnostic, d’élaborer un plan thérapeutique et ainsi de suite.
Outre les compétences cliniques, on évalue souvent les habiletés en communication
et en interventions techniques durant une rencontre avec un patient standardisé.
Avantages
•
•
•
•
a tendance à avoir une validité apparente élevée du fait que les scénarios
se fondent sur la pratique clinique; le rendement est perçu comme étant
plus pertinent qu’une évaluation écrite
permet l’évaluation de domaines de contenu et d’habiletés ciblés
est standardisé pour évaluer uniformément tous les apprenants
comporte l’observation directe du rendement
27
Désavantages
•
•
•
•
il faut beaucoup de temps pour former les patients standardisés et élaborer
les scénarios et les scripts
coûteux si ce ne sont pas des bénévoles qui jouent le rôle
ne peut porter que sur quelques domaines de contenu
il faut tenir une séance d’information spécifique avec les patients
pédiatriques standardisés pour éviter un traumatisme émotionnel
•
•
•
•
•
de l’anamnèse (selon le temps à la disposition et le concept du scénario)
de l’examen physique
de la communication médecin-patient
du raisonnement diagnostique, de la prise en charge du patient et de la
planification thérapeutique
de la base de connaissances dans un contexte spécifique
•
•
•
•
•
des comportements éthiques et professionnels complexes
de la véritable collaboration
de l’évaluation critique et des rôles de chercheurs et d’érudits
d’un vaste éventail de connaissances dans différents domaines
(surtout en raison des contraintes de temps)
de la pratique pédiatrique
Points saillants
•
•
•
•
28
Même s’il est souvent plus facile d’avoir accès à de véritables patients,
l’évaluation de l’apprenant à l’aide d’un vrai patient semble être moins
fiable, compte tenu de la difficulté de standardiser la rencontre. Il est
important de maintenir une fiabilité élevée, surtout dans les examens
où les enjeux sont importants, comme les examens menant au certificat.
Il est très important de bien former le patient standardisé si l’on veut
une évaluation fiable. Les patients standardisés doivent comprendre
l’importance de donner des réponses uniformes et devraient anticiper
les questions et les interactions habituelles. Ils doivent en savoir autant
que possible sur le problème médical qu’ils sont appelés à simuler.
Des médecins ou d’autres professionnels de la santé formés à cet égard
peuvent faire office de patients standardisés. Le recours à ces groupes de
personnes minimise le temps de formation requis et ajoute à l’évaluation
une plus grande validité de contenu.
La fatigue est un facteur à considérer si les patients standardisés participent
à l’évaluation d’un grand nombre de candidats.
Patients standardisés
•
•
Tous les problèmes ne se prêtent pas à une simulation (p. ex., l’arthrite
rhumatoïde, les troubles neurologiques, etc.).
Il est important que le patient standardisé ne présente pas de signes
physiques réels qui pourraient distraire l’apprenant.
Références
Lavallee C. The examiner’s handbook: preparing the standardized patient. Ottawa :
Le Collège royal des médecins et chirurgiens du Canada; 2006.
Solomon D, Szauter K, Rosebraugh C, Callaway M. Global ratings of student
performance in a standardized patient examination: Is the whole more than
the sum of the parts? Adv Health Sci Educ 2000:5:131-40.
van der Vleuten C, Swanson D. Assessment of clinical skills with standardized
patients: state of the art. Teach Learn Med 1990;2:58-76.
Wallace J, Rao R, Haslam R. Simulated patients and objective structured clinical
examinations: review of their use in medical education. Adv Psych Treatment
2002;8:342-50.
Wallace P. Following the threads of an innovation: the history of standardized patients
in medical education. Caduceus 1997;13(2):5-28.
29
2.8 Rétroaction de sources multiples
(évaluation à 360 degrés)
Jocelyn Lockyer
Définition
La rétroaction de sources multiples (RSM) est souvent désignée (à tort) sous le nom
d’évaluation à 360 degrés. Ce genre d’évaluation provient des milieux organisationnels
et du travail. Les superviseurs, les personnes qui se rapportent directement au sujet
et les pairs remplissent des formulaires pour recueillir des renseignements, évaluer
la conduite et donner de la rétroaction. La RSM se sert d’instruments spécifiques
conçus pour recueillir des données au sujet de comportements en particulier ou
de constructs professionnels (p. ex., professionnalisme et habiletés en communication)
chez l’apprenant. Dans les milieux de l’enseignement, les observateurs peuvent
être des médecins (p. ex., des collègues résidents, des médecins superviseurs et des
étudiants en médecine), d’autres professionnels de la santé (p. ex., des infirmières,
des pharmaciens et des psychologues), des patients et des membres de leur famille.
Une autoévaluation en fait aussi souvent partie. Les questionnaires peuvent être
les mêmes ou différents selon le groupe d’évaluateurs. La rétroaction est rassemblée
et présentée selon le groupe de provenance. On peut utiliser la RSM pour des
évaluations formatives et sommatives et identifier les apprenants en difficulté.
Description
La RSM comporte habituellement de la rétroaction sollicitée d’une ou plusieurs
sources, et peut inclure les commentaires de l’apprenant. La rétroaction est
généralement donnée en répondant à un questionnaire comptant de 10 à 40 questions
conçues pour évaluer les comportements cliniques qui sont possibles d’observer
et de corriger. La RSM peut servir de complément à des moyens traditionnels
d’évaluation (p. ex., les examens et les observations du précepteur) en obtenant
les commentaires de personnes qui n’ont normalement pas la responsabilité
hiérarchique de donner de la rétroaction, mais qui peuvent avoir une perspective
différente du rendement réel de l’apprenant. Enfin, la RSM favorise la réflexion
et facilite l’élaboration d’un plan de perfectionnement personnel.
Avantages
•
•
•
•
•
•
30
évalue les comportements
la fiabilité repose sur le nombre d’évaluateurs qui donnent leur rétroaction
peut servir à des fins formatives pour orienter l’amélioration de soi dans
des domaines spécifiques ou pour identifier les apprenants à risque
sert de complément à d’autres évaluations
rend les valeurs et les comportements explicites
adaptable à des environnements et à des besoins d’évaluation changeants
Rétroaction de sources multiples
•
•
•
facilite le développement de la réflexion et de l’introspection grâce à la
comparaison de la rétroaction des diverses sources et sa propre évaluation
les données combinées peuvent aider à cerner les forces et les faiblesses
du programme pédagogique
évalue certains comportements difficiles à évaluer avec des méthodes
traditionnelles
Désavantages
•
•
•
•
•
•
•
les éléments du sondage et les constructs à cibler doivent être
méticuleusement conçus pour obtenir un outil valide qui évalue
de manière adéquate le comportement
exige un échantillonnage approprié d’évaluateurs pour assurer la fiabilité.
Les études sur la capacité de généralisation peuvent déterminer la taille
convenable de l’échantillon (p. ex., 8 à 10 pairs, 8 à 10 professionnels de
la santé, 25 patients ou plus, selon le nombre d’éléments du sondage)
exige un environnement stable pour la distribution du sondage, la collecte
des données et la production du rapport
nécessite une contribution constante et importante de la part des évaluateurs
les barrières linguistiques peuvent influencer la participation des patients
des stimuli sont quotidiens, des événements concrets sont aléatoires et
différents pour chaque observateur; le manque de standardisation cause
des problèmes dans l’interprétation des données et l’analyse de la fiabilité
la rétroaction est donnée par des personnes qui n’ont pas de lien
hiérarchique avec l’apprenant; la rétroaction obtenue, même si elle est
anonyme, peut être imprévue et influencer les relations dans l’équipe
•
•
•
•
de la communication interpersonnelle
du professionnalisme
des capacités de travailler en équipe interprofessionnelle
de la capacité de défendre les intérêts des patients, de se préoccuper
des facteurs déterminants de la santé
•
de la base de connaissances et des habiletés techniques (qu’il vaut mieux
laisser aux soins d’observateurs experts)
Points saillants
•
•
•
La RSM est un outil fondé sur un questionnaire conçu pour évaluer les
comportements observables qu’il est possible de corriger.
Il faut un nombre suffisant d’éléments à observer et d’observateurs pour
assurer la fiabilité de l’information fournie à l’apprenant.
Il faut une infrastructure considérable.
31
Références
Archer JC, Norcini J, Davies HA. Use of SPRAT for peer review of paediatricians
in training. BMJ 2005;330:1251-3.
Johnson D, Cujec B. Comparison of self, nurse, and physician assessment of residents
rotating through an intensive care unit. Crit Care Med 1998;26(11):1811-6.
Joshi R, Ling FW, Jaeger J. Assessment of a 360-degree instrument to evaluate
residents’ competency in interpersonal and communication skills. Acad Med
2004;79:458-63.
Violato C, Lockyer J, Fidler H. The assessment of pediatricians by a regulatory
authority. Pediatrics 2006;117:796-802
Sites Web utiles
www.par-program.org
The College of Physicians and Surgeons of Alberta
Ce site Web offre des copies du questionnaire utilisé en Alberta pour évaluer les
médecins de famille, les chirurgiens, les anesthésiologistes, les internistes, les pédiatres,
les psychiatres, les médecins de soins épisodiques (p. ex., les urgentologues, les
médecins remplaçants, les médecins hospitaliers), ainsi que les radiologistes. Il
présente aussi des renseignements généraux au sujet du programme et du rapport
de rétroaction. Même s’il est conçu pour cerner des données relatives à l’amélioration
de la qualité à l’intention des médecins en pratique active, les renseignements
contenus dans le site Web, ainsi que les exemples, sont utiles dans l’élaboration
d’outils d’évaluation fondés sur une RSM.
http://www.mmc.nhs.uk/pages/foundation/foundation-learning-portfolio
Foundations Program (Royaume-Uni)
Le Foundations Program s’applique aux résidents de première et deuxième années
au Royaume-Uni. Dans le contexte du programme de perfectionnement des
résidents, on utiliser deux types de RSM. Le Mini-Pat porte sur la bonne pratique
médicale (comparable aux compétences CanMEDS). L’autre outil évalue les
comportements reliés au travail en équipe.
32
Portefeuilles et registres
2.9 Portefeuilles et registres
Jason R. Frank, Karen Mann et Erin Keely
Définition
Les portefeuilles offrent un moyen flexible et polyvalent de recueillir des données
factuelles sur l’acquisition progressive de la compétence. Les registres sont des
instruments structurés pour documenter qu’une activité d’apprentissage a eu lieu.
Description
Les professeurs cliniques sont probablement familiers avec les portefeuilles dans
le contexte des dossiers d’enseignement dont on se sert dans les demandes de
promotion universitaire. Par ailleurs, les portefeuilles ainsi que les registres ont de
nombreuses définitions et utilisations dans les ouvrages médicaux et pédagogiques.
L’intérêt grandissant pour la formation fondée sur les compétences et les
nouveaux concepts de la compétence qui vont au-delà du rôle d’Expert médical
accroît la popularité de ces outils d’évaluation.
Les portefeuilles constituent un auxiliaire pédagogique extrêmement flexible,
facilement adaptable à de multiples usages, milieux et types d’apprenants.
Les portefeuilles et les registres servent tous deux à recueillir des preuves que
l’apprentissage s’est produit. Nous définissons les registres comme étant les outils
qui servent à retracer l’incidence d’activités éducatives pertinentes, comme le nombre
d’interventions effectuées (p. ex., une liste des appendicectomies). Ils ont tendance
à être très structurés et ne donnent pas ou que peu de possibilités de contribution
ou de réflexion de la part de l’apprenant. À l’autre extrémité du spectre se
retrouvent des outils non structurés qui accordent à l’apprenant l’autonomie de
décider ce que représente son travail et donnent d’amples possibilités à l’apprenant
de réfléchir. L’agenda personnel d’un artiste en serait un bon exemple. Au milieu
de l’éventail se situe le genre de portefeuille que la plupart des programmes de
formation médicale trouveraient utiles : un outil conçu expressément à cette fin,
structuré, qui définit les domaines d’activités et les marqueurs des compétences,
mais qui intègre les observations du superviseur sur l’acquisition de la compétence
et les réflexions de l’apprenant sur l’apprentissage avec le temps.
Ainsi, les portefeuilles sont véritablement « l’instrument des instruments » ou une
collection d’outils d’évaluation. Ils peuvent se composer de registres, d’instruments
de rétroaction de sources multiples, de projets d’amélioration continue de la qualité,
d’un agenda personnel de l’apprentissage, de fiches de rencontre, de dissertations,
de barèmes de correction, etc. Dans l’élaboration d’un portefeuille aux fins d’évaluation,
il importe de bien préciser non seulement son but, mais aussi le rôle de l’apprenant
dans l’assemblage du matériel, le degré de réflexion attendu, le médium
(p. ex., sur papier ou en ligne) et la façon d’établir les attentes et les normes.
33
Avantages
•
•
•
•
•
•
•
•
•
•
•
•
grande authenticité
flexible, permettant de nombreuses façons de démontrer l’accomplissement
peut être centré sur l’apprenant, tenant compte de ses objectifs et de ses
intérêts personnels
peut faciliter le dialogue entre l’apprenant et le professeur, en particulier
lorsque l’apprenant participe à la définition des critères de réussite
et de la qualité des données factuelles
implique l’apprenant dans la création, la collecte et l’évaluation
des données factuelles
longitudinal plutôt que transversal, permettant la démonstration
de la croissance personnelle
stimule l’apprentissage autodirigé
donne la possibilité de réfléchir sur l’apprentissage et de se fixer
de nouveaux objectifs
peut inclure des évaluations en provenance de sources diverses
(p. ex., les pairs et les patients)
peut avoir une influence éducative favorable
peut servir tout au long de la formation médicale, des études en médecine
jusqu’au perfectionnement professionnel continu en passant par la résidence
l’analyse des dossiers peut servir à l’évaluation et à l’agrément des
programmes (p. ex., registres des interventions)
Désavantages
•
•
•
•
•
•
•
utilité proportionnelle à la qualité de ses composantes : l’étendue, la
validité et la fiabilité reposent sur les instruments utilisés pour recueillir les
données et il peut falloir beaucoup de temps pour les créer et les évaluer
exige une conception adéquate et l’élaboration de critères appropriés
nécessite un examen par le professeur ainsi que ses contributions
peut être difficile à standardiser
peut être exigeant sur le plan des ressources, selon sa conception
la conformité de l’apprenant à la tâche peut être mitigée si le portefeuille
est considéré de faible utilité ou pertinence
pour être utilisé efficacement, il faudrait un changement de culture dans
de nombreux milieux médicaux
•
•
•
34
des éléments complexes du rendement et des compétences intégratives
dans tous les rôles CanMEDS
de la documentation des interventions
de divers aspects du rôle de Communicateur (communication écrite, orale,
interpersonnelle)
Portefeuilles et registres
•
•
•
les portefeuilles constituent peut-être la méthode la plus rigoureuse
d’évaluer les compétences dans le rôle d’Érudit, en ce qui a trait à
l’acquisition continue du savoir, à la recherche et à l’enseignement
démontre les exemples concrets de collaboration et de travail en équipe;
propice à l’évaluation du rendement dans des situations authentiques
excellent pour une évaluation formative continue
•
•
•
des situations dans lesquelles tous les apprenants doivent faire preuve
de la même compétence de manière standardisée
des situations dans lesquelles des décisions sommatives sont prises et
où il faut une grande fiabilité
Points saillants
•
•
•
•
•
•
Les portefeuilles permettent d’évaluer des compétences complexes selon
des méthodes différentes, par différentes personnes et dans des
circonstances différentes.
Ils favorisent grandement l’apprentissage par l’intermédiaire de l’évaluation
et offrent la possibilité de perfectionner les habiletés requises pour le
maintien continu de la compétence.
Les portefeuilles exigent une conception et une élaboration judicieuses,
insistant particulièrement sur le but, les critères d’accomplissement et les
données probantes à l’appui. Jusqu’à présent, ils constituent la méthode la
plus efficace d’évaluation formative et de documentation des progrès.
Les ouvrages scientifiques font valoir que la réussite dans l’utilisation des
portefeuilles repose sur le soutien du superviseur et une étude régulière et
périodique de son contenu.
Même si les portefeuilles incitent l’apprenant à réfléchir, il n’est pas garanti
qu’il le fera.
L’utilisation des portefeuilles doit être bien acceptée dans les milieux où
l’on s’en sert, tant par les apprenants que par les professeurs.
Références
Carraccio C, Englander R. Evaluating competence using a portfolio: a literature
review and web-based application to the ACGME competencies. Teach Learn
Med 2004;16(4):381-7.
Chisholm CD, Croskerry P. A case study in medical error: the use of the portfolio
entry. Acad Emerg Med 2004;11(4):388-92.
Davies H, Khera N, Stroobant J. Portfolios, appraisal revalidation, and all that: a user’s
guide for consultants. Arch Dis Child 2005;90:165-70.
35
Davis MH, Friedman Ben-David M, Harden RM, Howie P, Ker J, McGhee C, et al.
Portfolio assessment in medical students’ final examinations. Med Teach
2001;23:357-66
Doezema D, McLaughlin S, Sklar DP. An approach to fulfilling the systems-based
practice competency requirement. Acad Emerg Med 2002;9(11):1355-9.
Driessen EW, van Tartwijk J, Vermunt JD, van der Vleuten CP. Use of portfolios in
early undergraduate medical training. Med Teach 2003;25:18-23.
Friedman B, David M, Davis MH, Harden RM, Howie PW, Ker J, Pippard MJ. AMEE
Medical Education Guide no. 24: Portfolios as a method of student assessment.
Med Teach 2001;23:535-51.
Fung MF, Walker M, Fung KF, Temple L, Lajoie F, Bellmare G, et al. An internetbased learning portfolio in resident education: The KOALA multicentre
programme. Med Educ 2000;34(6):474-9.
Grant A, Dornan TL. What is a learning portfolio? Diabet Med 2001;18(Suppl. 1):1-4.
Hays RB. Reflecting on learning portfolios. Med Educ 2004;38(8):801-3.
Holmboe ES, Rodak W, Mills G, McFarlane MJ, Schultz HJ. Outcomes-based
evaluation of resident education: Creating systems and structured portfolios.
Am J Med 2006;119(8):708-14.
Jarvis RM, O’Sullivan PS, McClain T, Clardy JA. Can one portfolio measure the six
ACGME general competencies? Acad Psychiatry 2004;28:190-6.
Lonka K, Slotte V, Halttunen M, Kurki T, Tiitinen A, Vaara L, et al. Portfolios as a
learning tool in obstetrics and gynecology undergraduate training. Med Educ
2001;35(12):1125-30.
O’Sullivan P, Green C. Portfolios: Possibilities for addressing emergency medicine
resident competencies. Acad Emerg Med 2002;9:1305-9.
O’Sullivan PS, Reckase MD, McClain T, Savidge MA, Clardy JA. Demonstration of
portfolios to assess competency of residents. Adv Health Sci Ed 2004;9:309-323
Pinsky L, Fryer-Edwards K. Diving for PERLS. Working and performance portfolios
for evaluation and reflection on learning. J Gen Intern Med 2004;19:582-7.
Rees CE, Sheard CE. The reliability of assessment criteria for undergraduate medical
students’ communication skills portfolios: The Nottingham experience. Med Educ
2004;38:138-44.
Roberts C, Newble DI, O’Rourek AJ. 2002. Portfolio-based assessments in medical
education: Are they valid and reliable for summative purposes? Med Educ
2002;36(10):899-900.
36
Évaluation fondée sur une simulation
2.10 Évaluation fondée sur une simulation
Viren N. Naik et Glen Bandiera
Définition
La simulation reproduit artificiellement un environnement ou des circonstances
cliniques dans le but de permettre à un apprenant d’effectuer une tâche précise
d’une manière contrôlée qui ne présente aucun risque pour les patients. Une
simulation peut recréer de nombreux milieux cliniques avec un certain degré de
réalisme, permettant aux professeurs d’observer comment une personne ou une
équipe peut fonctionner dans « le monde de la réalité ». Cette méthode est
particulièrement utile pour évaluer le rendement de l’apprenant dans l’exécution
d’une intervention complète ou dans des situations de crise qui se produisent
rarement ou ne sont pas prises en charge de manière autonome durant une
résidence limitée.
Description
La simulation comporte un large éventail d’outils didactiques et de recherche. Par
exemple, les patients standardisés, dont on traite ailleurs dans ce guide, comptent
au nombre des méthodes de simulation. Les dispositifs d’entraînement partiel sont
des mannequins de plastique et de latex qui simulent les parties du corps avec
une grande exactitude anatomique pour permettre aux stagiaires de mettre en
pratique des interventions techniques spécifiques. Ces modèles peuvent intégrer
des composantes de « réalité virtuelle ». Par exemple, une simulation du corps
entier très réaliste utilise des mannequins mus par ordinateur pour recréer des
patients dans une civière, une salle d’opération, une unité de soins intensifs et une
salle d’urgence. Les mannequins présentent tous les indices physiques nécessaires
(p. ex., les battements du cœur et les bruits de la respiration) mais, avant tout,
leurs paramètres physiologiques réagissent aux interventions des participants, comme
l’administration d’oxygène, de médicaments, de fluides et de compressions thoraciques.
Plutôt qu’un outil d’évaluation en lui-même et de lui-même, la simulation est une
approche se prêtant à l’utilisation d’autres outils plus traditionnels. La mesure
du rendement à l’aide d’une simulation offre une grande validité et une fiabilité
élevée en se servant de critères spécifiques dans des conditions contrôlées.
L’observation directe est couramment utilisée comme mode d’évaluation dans une
simulation et elle peut se faire à l’aide de listes de vérification, de notes globales
ou de barèmes multiples pour différents comportements. Parmi d’autres options
possibles, on peut demander aux apprenants de faire un bref rapport à inclure
dans leur portfolio sur leur expérience et leurs recommandations pour celles à
venir. La simulation se prête à la fois aux évaluations formatives et sommatives.
Les dispositifs d’entraînement partiel conviennent parfaitement à l’évaluation des
habiletés en interventions. Une liste de vérification divise une intervention donnée
en divers éléments importants que l’on peut noter selon qu’ils ont été effectués
37
correctement ou incorrectement. Les domaines généraux communs à toutes les
interventions techniques peuvent être évalués en fonction de barèmes à notes
globales, comme les échelles de Likert à variable ordinale. La prise en charge
d’une situation dynamique d’urgence simulée exige à la fois une expertise
médicale et des habiletés comportementales pour prendre des décisions et diriger
efficacement une équipe. On trouve dans les ouvrages spécialisés plusieurs
barèmes de notation globale s’appliquant à la gestion des situations de crise,
ayant un contenu et une validité des constructs bien définis.
Avantages
•
•
•
•
•
•
•
mesure le rendement dans une intervention complète du début à la fin
mesure le rendement en situations d’urgence
mesure le rendement individuel ou de l’équipe
offre un environnement de mise à l’épreuve standardisé et contrôlé
validité apparente potentiellement élevée
permet les évaluations formatives et sommatives
permet aux apprenants de mettre en pratique des interventions à risque
élevé dans un environnement sécuritaire et de faire l’expérience de
scénarios se produisant rarement
Désavantages
•
•
•
•
plus le réalisme est grand, plus la méthode est coûteuse
exigeant sur le plan des ressources (espace, matériel, personnel)
exige beaucoup de temps du corps professoral
problèmes techniques
•
•
•
•
•
38
– interventions complètes
– scénarios de prise en charge des situations
du rôle de Communicateur
– interaction avec le patient et la famille avant et après les scénarios
du rôle de Collaborateur
– travail en équipe
– compétences interprofessionnelles
– règlement de conflits
du rôle de Gestionnaire
– gestion des ressources en situation de crise
– comportements en matière de leadership
du rôle de Professionnel
– maîtrise de soi
– prise de décisions éthiques
– autoévaluation
– interactions empreintes de respect avec l’équipe
Évaluation fondée sur une simulation
•
•
du rôle de Promoteur de la santé
du rôle d’Érudit
Points saillants
•
•
•
•
•
Il faut veiller à ce que les apprenants soient familiers avec l’environnement
et les limites de la simulation avant de procéder à des évaluations
formatives et sommatives.
Il est essentiel de donner au corps professoral de la formation sur les
procédures d’évaluation fondée sur une simulation avant de recourir à cette
forme d’évaluation.
Il est essentiel d’avoir des personnes expérimentées pour faire fonctionner
les simulateurs afin d’assurer la standardisation.
Cette forme d’évaluation est souvent stressante pour les apprenants; il
importe de faire un débreffage.
On trouve dans les ouvrages spécialisés des méthodes et des concepts de
barèmes validés pour orienter les évaluations et les séances de débreffage.
Références
Ali J, Gana TJ, Howard M. Trauma mannequin assessment of management skills
of surgical residents after advanced trauma life support training. J Surg Res
2000;93:197-200.
Bond WF, Spillane L. The use of simulation for emergency medicine resident
assessment. Acad Emerg Med 2002;9(11):1295-9.
Fletcher G, Flin R, McGeorge P, Glavin R, Maran N, et al. Anaesthetists’
Non-Technical Skills (ANTS): Evaluation of a behavioural marker system.
Brit J Anaesth 2003;90(5):580-8.
Gaba DM, Howard SK, Flanagan B, Smith BE, Fish KJ, Botney R. Assessment of
clinical performance during simulated crises using both technical and behavioural
ratings. Anesthesia 1998;89(1):8-18.
Martin JA, Regehr G, Reznick R, MacRae H, Murnaghan J, Hutchison C, et al.
Objective structured assessment of technical skill (OSATS) for surgical residents.
Brit J Surg 1997;84(2):273-8.
Regehr G, MacRae H, Reznick RK, Szalay D. Comparing the psychometric
properties of checklists and global rating scales for assessing performance on an
OSCE-format examination. Acad Med 1998;73(9):993-7.
Reznick R, Regehr G, MacRae H, Martin J, McCulloch W. Testing technical skill via
an innovative “bench station” examination. Am J Surg 1997;173(3):226-30.
39
Savoldelli GL, Naik VN, Joo HS, Houston PL, Graham M, Yee B, et al. Evaluation of
patient simulator performance as an adjunct to the oral examination for senior
anesthesia residents. Anesthesiology 2006;104(3):475-81.
Weller JM, Bloch M, Young S, Maze M, Oyesola S, Wyner J, et al. Evaluation of
high fidelity patient simulator in assessment of performance of anaesthetists.
Brit J Anaesth 2003:90(1):43-7.
40
Fiches de rencontre
2.11 Fiches de rencontre
Jason R. Frank, Curtis Lee et Glen Bandiera
Définition
Les fiches de rencontre comptent parmi les outils d’évaluation en cours de
formation. Elles se caractérisent par des observations directes documentées après
de brèves rencontres entre le superviseur et l’apprenant dans un milieu clinique.
On les désigne aussi sous les noms suivants :
•
•
•
•
•
•
•
•
fiche d’évaluation quotidienne
fiche de rencontre quotidienne
fiche des interventions quotidiennes
fiche de quart quotidienne
fiche d’évaluation quotidienne de l’enseignement
fiche de rencontre sur l’enseignement
fiche sur les interactions
formulaires de rétroaction
Description
Les fiches de rencontre et leurs variantes constituent une méthode d’évaluation
directe qui aide à l’évaluateur à consigner les observations de la compétence
clinique lors de brèves rencontres avec l’apprenant. Elles sont particulièrement
utiles lorsqu’un apprenant travaille avec de nombreux évaluateurs durant un stage
clinique. Par conséquent, les fiches de rencontre sont de plus en plus populaires
en médecine d’urgence, en soins intensifs, en anesthésiologie et dans certaines
disciplines chirurgicales.
Habituellement, les fiches sont remplies et discutées en collaboration à la fin d’une
période donnée de travail clinique, comme un quart au service d’urgence, à l’unité
de soins intensifs, en clinique externe, en salle d’opération et ainsi de suite.
La mise en œuvre d’un régime impliquant les apprenants et les professeurs de
manière standardisée, immédiatement après les fonctions cliniques observées,
permet une rétroaction formative documentée, en temps opportun, fréquente
et fondée sur les exemples de la journée. Les fiches de rencontre améliorent
donc la validité et la fiabilité de l’évaluation en cours de formation et donne
des possibilités de passer en revue les attentes durant le stage et de discuter des
accomplissements, des forces et des points à améliorer.
Si on utilise les objectifs de stage fondés sur CanMEDS dans l’élaboration des
éléments inclus dans les fiches de rencontre, ces dernières se révèlent utiles dans
l’évaluation fondée sur les compétences. Les évaluations peuvent être sous forme
qualitative (commentaires), quantitative (échelle de Likert) ou sous les deux formes.
Les grilles de notation devraient être établies en termes descriptifs qui tiennent
compte des comportements spécifiques à l’environnement clinique. De plus, pour
41
accroître la fiabilité et la validité de l’évaluation qui en découle, il importe de
donner de la formation aux observateurs sur les comportements qui peuvent
être pris en compte dans chaque barème de la fiche de rencontre. Les fiches de
rencontre conçues en fonction de ces principes peuvent étayer les évaluations
sommatives en fin de formation. Elles peuvent aussi servir à documenter les forces
et les faiblesses et ainsi éclairer les décisions en matière de promotion. En outre,
elles peuvent être mises dans une base de données pour faire un suivi du
rendement avec le temps.
Enfin, les fiches de rencontre peuvent aussi faciliter une évaluation plus fréquente
de l’enseignement. Selon cette méthode, les apprenants remplissent une fiche de
rencontre conçue pour évaluer la qualité de l’enseignement pendant une brève
période (p.ex., une journée en salle d’opération ou un quart au service d’urgence).
Avantages
•
•
•
•
•
•
•
procure une occasion régulière de renforcer les attentes prévues dans
un stage
crée un forum propice à une rétroaction fréquente, opportune, concrète
et formative
facilite la contribution de nombreux évaluateurs dans de multiples
circonstances durant un stage
documente directement le rendement observé
permet de faire le suivi du rendement progressif
peut contribuer à la rédaction des fiches d’évaluation en cours de
formation sommatives (FECF)
lorsque les cas cliniques y sont consignés, les fiches offrent une méthode
de faire le suivi de l’expérience clinique de chaque apprenant dans
l’ensemble du stage
Désavantages
•
•
•
•
•
•
42
pour qu’elles soient efficaces, les fiches de rencontre exigent que les évaluateurs
et les apprenants trouvent souvent le temps de discuter d’évaluation
si l’on exige une fiche à la fin de chaque rencontre, il peut se produire une
« lassitude de l’évaluation » et la « banalisation » de la fiche
il faut former les professeurs évaluateurs sur l’utilisation efficace des fiches
et la façon de donner une rétroaction utile
les fiches sont habituellement remises à la fin du quart de service, alors
que les apprenants et les évaluateurs peuvent être fatigués
les cotes de rendement peuvent être constamment élevées ou absentes,
selon les cas vus durant le quart de service et, par conséquent, ne pas
refléter les véritables habiletés
une seule période d’observation ne donne pas la possibilité d’évaluer le
rendement de tous les domaines inscrits sur la fiche de rencontre
Fiches de rencontre
•
les professeurs ont tendance à biaiser leurs observations vers le côté positif
du spectre; même avec des barèmes de notation bien conçus, les effets de
« l’ange » et de « la bête » ainsi qu’une tendance vers la neutralité peuvent
biaiser l’évaluation
Presque toutes les compétences essentielles CanMEDS peuvent être évaluées,
selon la structure de la fiche de rencontre, le milieu et la discipline, notamment
l’évaluation des rôles de :
•
•
•
•
•
•
•
Expert médical : prise de décisions cliniques, bilans de santé, examens
physiques, thérapies et intégration des autres rôles
Communicateur : habiletés avec les patients et leur famille; consignations
au dossier
Collaborateur : interactions avec l’équipe et gestion de conflits
Gestionnaire : utilisation des ressources, efficience, leadership et gestion de
la pratique médicale
Promoteur de la santé : défense des intérêts du patient à titre individuel et
capacité de reconnaître les problèmes systémiques
Érudit : habiletés en enseignement, évaluation critique, capacité de mettre
en application les données probantes, stratégies pédagogiques pour combler
les lacunes dans le savoir
Professionnel : comportements reliés au professionnalisme
•
•
•
de l’étendue complète du savoir, des habiletés et des attitudes
du rôle d’Érudit en ce qui concerne les habiletés en recherche
du rôle de Professionnel, en ce qui a trait à la capacité de travailler dans le
contexte d’un cadre professionnel et des principes de la pratique durable
Points saillants
•
•
•
•
•
•
Les fiches de rencontre sont un mode d’évaluation directe qui peuvent
être conçues en fonction de l’un ou l’autre des rôles CanMEDS ou de
l’ensemble de ces rôles.
Elles facilitent une rétroaction opportune, fréquente et concrète.
Elles offrent un procédé pour l’évaluation d’un même apprenant par
de nombreux évaluateurs.
Elles peuvent rehausser la validité et la fiabilité des évaluations en cours
de formation.
Elles peuvent contribuer à la rédaction des rapports d’évaluation sommative.
Elles peuvent faire le suivi de la diversité des cas vus par les apprenants.
43
Références
Al-Jarallah K, Moussa MA, Shebab D, Adella N. Use of interaction cards to evaluate
clinical performance. Med Teach 2005; 27(4):269-74.
Bennet AJ, Goldenhar LM, Standford K. Utilization of a formative evaluation card in
a psychiatry clerkship. Acad Psychiatry 2006;30(4):319-24.
Brennan BG, Norman GR. Use of encounter cards for evaluation of residents in
obstetrics. Acad Med 1997;72(10 Suppl. 1):S433-4.
Colletti M. Difficulty with negative feedback: face-to-face evaluation of junior medical
student clinical performance results in grade inflation. J Surg Res 2000;90(1):82-7.
Greenberg LW. Medical students’ perceptions of feedback in a busy ambulatory
setting: a descriptive study using a clinical encounter card. South Med J
2004;97(12):1174-8.
Kernan WN, Holmboe E, O’Connor PG. Assessing the teaching behaviours of
ambulatory care preceptors. Acad Med 2004;79(11):1088-94.
Kim S, Kogan JR, Bellini LM, Shea JA. A randomized-controlled study of encounter
cards to improve oral case presentation skills of medical students. J Gen Intern
Med 2005;20(8):743-7.
Paukert JL, Richards ML, Olney C. An encounter card system for increasing feedback
to students. Am J Surg 2002;283(3):300-4.
44
Expert médical
Partie 3 : Outils privilégiés pour évaluer les
compétences
3.1 Expert médical : compétences fondées sur le savoir
Glen Bandiera
Définition
En tant qu’experts médicaux, les médecins jouent tous les rôles CanMEDS
et utilisent leur savoir médical, leurs compétences spécialisées cliniques et leurs
attitudes professionnelles pour dispenser des soins axés sur les patients. Le rôle
d’Expert médical est le rôle pivot du médecin dans le cadre CanMEDS.
Compétences essentielles
Les médecins peuvent…
1. fonctionner efficacement comme conseillers en jouant tous les rôles
du cadre CanMEDS pour dispenser des soins médicaux optimaux,
respectueux de l’éthique et axés sur les patients;
2. acquérir et maintenir des connaissances cliniques, des compétences
spécialisées et des attitudes appropriées à leur champ d’exercice;
3. procéder à une évaluation complète et appropriée d’un patient;
4. pratiquer efficacement des interventions de prévention et de traitement;
5. utiliser avec compétence et de façon appropriée des techniques
d’intervention tant diagnostiques que thérapeutiques;
6. consulter au besoin d’autres professionnels de la santé en reconnaissant
les limites de leur expertise.
Aperçu
Le rôle d’Expert médical est le rôle pivot dans les compétences globales du médecin
et, de ce fait, il est le mieux connu de ceux qui évaluent les apprenants en médecine.
Ce rôle se manifeste autant dans le savoir des apprenants que dans leurs actes.
Les attitudes, quoiqu’elles influencent éventuellement le rendement, sont plus
difficiles à évaluer, mais elles transparaissent habituellement dans le comportement
de l’apprenant. La compétence dans ce rôle signifie l’acquisition d’un corpus de
connaissances factuelles jugées pertinentes, récentes et suffisamment complètes,
ainsi que la résolution de problèmes en mettant ces connaissances en pratique.
Enfin, le rôle d’Expert médical nécessite l’habileté à intégrer son rendement avec
les six autres rôles CanMEDS pour maximiser l’efficacité de la pratique clinique
au profit de chaque patient et de la collectivité desservie.
45
Partie 3 : Outils privilégiés pour évaluer les compétences
Le présent chapitre ne porte pas sur l’évaluation des compétences en techniques
d’intervention dans le rôle d’Expert médical. Ce sujet fait l’objet du prochain chapitre.
Outils privilégiés
1. Observation directe et fiches d’évaluation en cours de formation
La majorité des compétences essentielles de l’Expert médical se prêtent à une
évaluation par observation directe. L’observation des soins cliniques permet aux
apprenant de démontrer comment ils mettent en pratique leur savoir et leur
réflexion d’ordre supérieur. Le questionnement durant les rencontres avec le
patient ou les séances de formation, comme les tournées d’enseignement, permet
d’observer directement les connaissances factuelles. Il est possible alors d’évaluer
les indications, les complications et la démarche suivie concernant les interventions.
Enfin, le meilleur moment d’évaluer la capacité de l’apprenant d’intégrer tous
les rôles CanMEDS dans les soins cliniques se situe pendant la prestation au
quotidien des soins cliniques aux patients. Idéalement, une FECF est rédigée en se
fondant sur les observations réitérées avec le temps, observations se concluant
chaque fois par une rétroaction à l’apprenant dans le but de favoriser l’acquisition
de la compétence.
La conception des FECF et la capacité des observateurs de faire preuve d’objectivité
dans leurs évaluations des dimensions multiples du rendement ont fait l’objet de bon
nombre d’écrits. Les FECF bien conçues ciblent spécifiquement les comportements
voulus, comportent des descripteurs clairs pour chaque degré de rendement
et favorise le recours à toute l’échelle d’évaluation. Par ailleurs, la plupart des
systèmes fondés sur les FECF connaissent encore des problèmes en raison des
problèmes de mémoire, de l’effet de l’ange et de la tendance à la neutralisation.
La formation des évaluateurs atténuera mais n’éliminera pas ces problèmes.
2. Examens écrits
Les examens écrits sont depuis longtemps la formule utilisée principalement pour
évaluer la base des connaissances d’un apprenant. Ils peuvent mettre à l’épreuve
des connaissances factuelles et, lorsqu’ils sont bien conçus, la solution de problèmes
d’ordre supérieur et le raisonnement diagnostique. Les questions à choix multiples
(QCM) et les questions à réponse courte (QRC) sont préférables aux dissertations
et à d’autres formes de réponses narratives en raison de leur plus grande fiabilité
et de leurs paramètres de notation plus objectifs. Même s’ils sont difficiles à
rédiger, les examens avec QCM et QRC peuvent se révéler très fiables et, par
conséquent, sont utilisés dans de nombreux examens menant à la certification.
Les examens écrits plaisent aux apprenants parce qu’ils mesurent la base de
connaissances en évolution et les aident à se préparer à une composante de leurs
examens de certification.
Les examens écrits ne permettent pas l’évaluation du rendement clinique concret;
ils mesurent plutôt le savoir général sur lequel repose le rendement.
46
Expert médical
3. Examens oraux
Les examens oraux prennent beaucoup de temps et exigent des ressources
considérables. Ils sont par contre l’une des meilleures méthodes d’évaluation des
habiletés de l’apprenant à mettre en pratique ses connaissances dans un scénario
clinique. Si les examens écrits sont efficaces pour évaluer le pur savoir factuel,
les examens oraux conviennent à l’évaluation de l’intégration des faits, de la
formulation du diagnostic et de l’établissement des priorités des diagnostics
différentiels, de l’élaboration des plans de prise en charge et de la prise de
décisions difficiles. Les examens oraux permettent aux apprenants d’avoir une
interaction avec l’évaluateur et de lui démontrer leurs habiletés à évaluer
rigoureusement les problèmes du patient et à les prendre en charge.
Pour assurer une fiabilité maximale, le matériel d’examen doit être standardisé et
les administrateurs de l’examen oral doivent avoir reçu une formation concernant
la communication de l’information et l’évaluation des réponses. En l’absence de
telles démarches, les examens oraux peuvent être d’une fiabilité marginale en
raison de la variabilité dans l’approche des évaluateurs et d’un ciblage insuffisant
des sujets voulus. De plus, les lacunes dans la communication de l’information et
le questionnement par l’examinateur peuvent nuire au rendement de l’apprenant.
4. Examens cliniques objectifs structurés (ECOS)
Les ECOS constituent des outils d’évaluation efficaces pour divers domaines
cliniques. Par contre, puisqu’ils exigent beaucoup de ressources et de temps, ils ne
devraient servir que pour des scénarios qui ne se prêtent pas bien à l’utilisation
d’autres outils d’évaluation. Les ECOS se révèlent utiles pour mettre à l’épreuve
l’application du savoir dans des circonstances cliniques spécifiques à risque élevé,
difficiles à observer dans la pratique ou rares.
Les ECOS sont conçus dans le but de mettre en évidence des « échantillons »
multiples des habiletés de l’apprenant; par contre, ils sont difficiles à généraliser,
en ce sens qu’un rendement dans un scénario clinique donné ne reflète pas
nécessairement le rendement dans tous les domaines connexes. Les stations
d’ECOS doivent s’accompagner de barèmes de notation globale, de listes de
vérification ou d’une rétroaction standardisée du patient pour produire les
données servant à l’évaluation.
5. Simulation
La simulation comporte un éventail d’outils d’évaluation, allant des patients
standardisés jusqu’aux dispositifs d’entraînement partiel, en passant par les
mannequins d’un grand réalisme, mus par ordinateur. Tous ces outils peuvent être
adaptés pour évaluer le savoir, les techniques d’intervention, le raisonnement
clinique et ainsi de suite. La simulation peut être utilisée seule ou dans le contexte
d’une station d’ECOS. Utilisée seule, la simulation est utile dans la mise à
l’épreuve, avec possiblement un degré élevé de réalisme, la mise en pratique du
savoir dans des circonstances cliniques spécifiques. Les apprenants sont appelés à
effectuer une activité clinique conçue pour évaluer un domaine précis du savoir.
47
En raison des ressources considérables qu’elle nécessite, il vaut mieux réserver le
recours à une simulation aux tâches à facettes multiples exigeant des décisions
difficiles et un raisonnement clinique. Elle peut aussi servir à évaluer les principes
fondamentaux du leadership, du travail en équipe et de la collaboration.
Ouvrages pertinents
1. Jouriles N, Burdick W, Hobgood C. Clinical assessment in emergency medicine.
Acad Emerg Med 2002;9:1289–94.
Genres d’outils
Divers
Conception de l’étude
Étude descriptive
Population étudiée
Résidents en médecine d’urgence
Commentaires
Un sous-comité de directeurs de programme américains a réalisé cette étude
critique dans le but de décrire les méthodes les plus appropriées pour évaluer
les compétences cliniques. Ils font valoir que l’observation directe et les
patients simulés sont les méthodes les plus propices et offrent des suggestions
sur la façon de les inclure dans un programme de résidence.
2. Coderre SP, Harasym P, Mandin H, Fick G. The impact of two multiple-choice
question formats on the problem-solving strategies used by novices and
experts. BMC Med Educ 2004;4:23.
Genre d’outil
Examen écrit : questions à choix multiples
Cohorte expérimentale individuelle
Apprenants et experts en gastroentérologie
Commentaires
Les auteurs ont écouté des médecins à divers stades de formation et de
pratique tandis qu’ils passaient verbalement un examen avec QCM dans le but
de déterminer comment ils aborderaient différents types de questions à choix
multiples. Cette étude fait mieux comprendre comment une question à choix
multiples peut mettre à l’épreuve la réflexion d’ordre supérieur et la façon de
bien concevoir de telles questions.
48
Expert médical
3. Holmboe ES. Faculty and the observation of trainees’ clinical skills: problems
and opportunities. Acad Med 2004;79(1):16-22.
Genre d’outil
Observation directe
Étude critique
Étudiants et résidents en médecine
Commentaires
Cet excellent article critique passe en revue les inconvénients de l’observation
directe et certains des partis pris qui lui sont inhérents et discute des difficultés
que pose l’amélioration de cette méthode. Des solutions sont proposées pour
contribuer à accroître la mesure dans laquelle l’évaluation du comportement
véritable est reflétée dans les rapports écrits.
4. Gray JD. Global rating scales in residency education. Acad Med 1996;71(1
Suppl):S55-63.
Genres d’outils
Observation directe, FECF
Article concernant une étude critique
Résidents en médecine
Commentaires
Il s’agit d’une excellente critique de la conception et de l’utilisation des barèmes
de correction pour évaluer le rendement des résidents. Elle décrit les principes
de la conception de barèmes et les façons d’intégrer des barèmes de correction
dans le but de maximiser l’exactitude des évaluations qui en découlent.
5. Wass V, Van der Vluten C, Shatzer J, Jones R. Assessment of clinical
competence. Lancet 2001;357:945-9.
Genres d’outils
Examens écrits, observation directe, patients standardisés, ECOS
Étude critique
49
Commentaires
Cet article critique préconise une évaluation à l’aide de méthodes multiples
et explique le rôle idéal de diverses méthodes d’évaluation dans l’ensemble
du programme d’évaluation du résident.
Autres articles intéressants
Bandiera G, Morrison LJ, and Regehr G. Predictive validity of the global assessment
form used in a final-year undergraduate rotation in emergency medicine. Acad
Emerg Med 2002;9(9):889-95.
Day RP et al. Evaluation of resident performance in an outpatient internal medicine
clinic using standardized patients. J Gen Intern Med 1993;8(4):193-8.
Estes NC, Conlee L S., DeBord-Smith A, Smith E, Whittaker, Jr LD, Rossi TR.
The value of using naijve observers to assess resident ACGME competencies.
Curr Surg 2004;61(6):629-35.
Norman GR et al. Measuring physicians’ performances by using simulated patients.
J Med Edu 1985;60(12):925-34.
Prislin MD et al. Use of an objective structured clinical examination in evaluating
student performance. Fam Med 1998;30(5):338-44.
Rethans JJ et al. Competence and performance: two different concepts in the
assessment of quality of medical care. Fam Pract 1990;7(3):168-74.
Sargeant J, Mann K, Ferrier S. Exploring family physicians’ reactions to multisource
feedback: perceptions of credibility and usefulness. Med Edu 2005;39(5):497-504.
Shapiro MJ, Kobayashi L, Morchi R. High-fidelity medical simulation and its role
in evaluation advanced cardiac life support (ACLS) skills. Acad Emerg Med
2003;10(5):488.
Stillman PL, Swanson DB. Ensuring the clinical competence of medical school
graduates through standardized patients. Arch Intern Med 1987;147(6):1049-52.
Turnbull J et al. Clinical work sampling: A new approach to the problem of
in-training evaluation. J Gen Intern Med 2000;15(8): 556-61.
Vu NV et al. Standardized (simulated) patients’ accuracy in recording clinical
performance checklist items. Med Educ 1992;26(2):99-104.
Rethans JJ, Norcini JJ, Baron-Maldonado M, Balckmore D, et al. The relationships
between competence and performance: implications for assessing practice
performance. Med Educ 2002;36:901-9.
50
Expert médical
3.2 Expert médical : compétences en techniques
d’intervention
George Kovacs
Définition
En tant qu’experts médicaux, les médecins jouent tous les rôles CanMEDS
et utilisent leur savoir médical, leurs compétences spécialisées cliniques et leurs
attitudes professionnelles pour dispenser des soins axés sur les patients. Le rôle
d’Expert médical est le rôle pivot du médecin dans le cadre CanMEDS.
1. fonctionner efficacement comme conseillers en jouant tous les rôles
du cadre CanMEDS pour dispenser des soins médicaux optimaux,
respectueux de l’éthique et axés sur les patients;
2. acquérir et maintenir des connaissances cliniques, des compétences
spécialisées et des attitudes appropriées à leur champ d’exercice;
3. procéder à une évaluation complète et appropriée d’un patient;
4. pratiquer efficacement des interventions de prévention et de traitement;
5. utiliser avec compétence et de façon appropriée des techniques
d’intervention tant diagnostiques que thérapeutiques;
6. consulter au besoin d’autres professionnels de la santé en reconnaissant
les limites de leur expertise.
Aperçu
Les compétences en techniques d’intervention mettent en cause les activités
intellectuelles et motrices requises pour exécuter une tâche manuelle. La maîtrise
des techniques d’intervention nécessite à la fois un rendement technique sûr et
des connaissances appropriées pour prendre des décisions dans les étapes avant,
pendant et après l’exécution de l’intervention.
L’évaluation formative d’une intervention doit comporter plus qu’une simple
détermination à savoir l’apprenant peut ou non faire l’intervention en toute
sûreté. L’évaluation d’une intervention au moment où elle se termine (p. ex.,
évaluer la suture d’une lacération), quoiqu’elle soit utile, laisse de côté d’autres
éléments importants concernant les questions techniques. Par exemple, il a été
démontré que l’efficacité d’une tâche est reliée directement à l’habileté
psychomotrice et peut prendre la forme du nombre de mouvements des mains et
du temps qu’il a fallu pour l’intervention. Le clinicien expérimenté fait beaucoup
moins de mouvements de motricité fine et prend moins de temps qu’un novice
pour exécuter une intervention technique.
51
Idéalement, les outils d’évaluation des habiletés en technique d’intervention
doivent se fonder sur des critères de résultats fixés au préalable, objectifs et ils
doivent être fiables, valides et pratiques.
1. Simulation
Les possibilités limitées d’expérience clinique et de préoccupations sur le plan
de l’éthique ont entraîné l’élaboration de la simulation pour apprendre et évaluer
les techniques d’intervention. La validation de ces technologies plus récentes
et souvent coûteuses se fait plutôt lentement, mais la simulation est de plus en
plus rapidement acceptée comme moyen d’évaluer les techniques d’intervention.
L’utilité de la simulation repose sur le fait que les apprenants peuvent pratiquer
les interventions dans un milieu standardisé qui ne pose aucun risque aux patients.
Les évaluations en séries permettent de documenter la progression de l’apprenant,
d’un rendement sûr à la maîtrise complète, notamment la base de connaissances
appropriées et la capacité de reconnaître quand les limites de ses propres habiletés
techniques exigent une consultation auprès d’un collègue.
Qu’il s’agisse d’une simulation concernant des habiletés bien précise avec un dispositif
d’entraînement partiel ou des interventions complètes à l’aide d’un mannequin
réaliste, mû par ordinateur, l’évaluation dans un tel contexte exige le recours à
des listes de vérification standardisées ou des barèmes d’évaluation globale.
2. Observation directe et fiches d’évaluation en cours de formation (FECF)
On peut évaluer l’exécution des interventions dans le contexte des activités
cliniques à l’aide de la FECF. Les évaluations peuvent être quantitatives (Combien
d’interventions l’apprenant a-t-il effectuées?) ou qualitatives (Dans quelle mesure
l’intervention a-t-elle été bien faite?). Par ailleurs, cette forme d’évaluation pour
des habiletés en techniques d’intervention peut être limitée par l’effet de l’ange,
la tendance à la neutralisation et les problèmes de mémoire. Par exemple,
l’évaluation d’interventions spécifiques nécessiterait un élément distinct dans la FECF
pour chaque intervention susceptible de survenir durant le stage. La création d’une
telle liste est une tâche laborieuse pour l’évaluateur. D’autre part, le regroupement
de toutes les interventions en un ou deux énoncés globaux omet la possibilité que
les apprenants peuvent être habiles dans certaines interventions et moins dans d’autres.
Pour régler ce problème, on peut inclure les principes généraux des interventions
(obtention du consentement éclairé, la conformité aux techniques de stérilisation,
etc.) comme étant des éléments spécifiques et utiliser une section distincte pour
dresser les liste des interventions bien exécutées et de celles à améliorer.
Il est possible d’ajouter des outils d’évaluation par observation spécifiques à
l’environnement clinique pour rédiger la FECF. Par exemple, des barèmes de
notation globale ont été élaborés, validés et éprouvés comme étant des outils
fiables d’évaluation du rendement en salle d’opération.
52
Expert médical
3. Registres
Les registres permettent de consigner des données importantes, nécessaires et
quantitatives sur les habiletés en techniques d’intervention. Sans ces données,
il est difficile de savoir si les apprenants ont fait l’expérience d’une quantité
et d’une diversité suffisante d’interventions « essentielles ». Même si la quantité
à elle seule ne devrait jamais dicter la compétence, elle est clairement reliée
aux résultats des interventions. Il n’a jamais été établi ce que devrait être une
méthodologie acceptée pour définir les exigences minimales en ce qui a trait
au nombre d’interventions nécessaire. Récemment, la méthode statistique de la
somme cumulative (CUMSUM) a été élaborée comme technique pour régler
ce problème. La CUMSUM peut établir une corrélation entre le nombre
d’interventions techniques et la maîtrise du rendement. Utilisée de concert avec
les registres, la CUMSUM peut détecter rapidement les changements de
rendement dans l’exécution des interventions techniques associés avec les résultats
indésirables.
Les comptes rendus d’interventions, plus précisément, les comptes rendus
opératoires donnent des descriptions détaillées qui exigent une « visualisation »
d’une intervention donnée, du début à la fin. Les ouvrages sur la validité et la
fiabilité du recours aux comptes rendus opératoires pour évaluer les habiletés
en techniques d’intervention sont plutôt rares.
Les ECOS comportent souvent l’évaluation d’une tâche technique. Par exemple,
on a utilisé et validé l’évaluation structurée objective des habiletés techniques
(OSAT) dans la formation postdoctorale en chirurgie. C’est essentiellement un
ECOS des habiletés techniques comportant des tâches modèles « sur la table
d’opération ». De plus, le MISTELS (système inanimé de McGill pour la formation
et l’évaluation des habiletés en laparoscopie) a été largement utilisé pour évaluer
les habiletés en techniques de laparoscopie. Ces deux outils ont fait l’objet
d’articles scientifiques qui étayent leur fiabilité, leur construct et leur validité
de prédiction.
Ouvrages pertinents
1. Ahlberg G, Hultcrantz R, Jaramillo E, Lindblom A, Arvidsson D. Virtual reality
colonoscopy simulation: a compulsory practice for the future colonoscopist?
Endoscopy 2005;37(12):1198-204.
Genres d’outils
Simulation, formulaire d’évaluation globale (satisfaction, temps, résultats)
Étude interventionnelle randomisée
Résidents et personnel médical en endoscopie
53
Commentaires
Les simulateurs virtuels ont évolué rapidement en tant que techniques
d’enseignement de l’endoscopie. Cette étude donne un exemple d’un tel outil
et démontre la validité de prédiction et le transfert des habiletés pour
l’exécution d’une colonoscopie.
2. Van Rij AM, McDonald JR, Pettigrew RA, Putterill MJ, Reddy CK, Wright JJ.
CUSUM as an aid to early assessment of the surgical trainee. Br J Surg
1995;82(11):1500-3.
Genres d’outils
Observation directe : formulaires de CUSUM
Étude prospective par observation
Résidents en chirurgie
Commentaires
Cette étude a démontré que des instruments standardisés et validés peuvent
servir dans l’observation directe dans le but de détecter rapidement les
résidents en difficulté.
3. Datta V, Bann S, Beard J, Mandalia M, Darzi A. Comparison of bench test
evaluations of surgical skill with live operating performance assessments. J Am
Coll Surg 2004;199:603–6.
Genres d’outils
Simulation avec observation directe et formulaire d’évaluation validée
Comparaison prospective par observation des techniques d’évaluation
Personnel médical et résidents en chirurgie
Commentaires
Cette étude compare l’observation simulée avec l’observation dans « la réalité »
et démontre à la fois l’efficacité de l’utilisation d’un barème validé et la
validité des évaluations fondées sur une simulation.
54
Expert médical
4. Fried GM, Feldman LS, Vassiliou MC, Fraser SA, Stanbridge D, Ghitulescu G,
Andrew CG. Proving the value of simulation in laparoscopic surgery. Ann Surg
2004;240(3):518-25.
Genres d’outils
Simulation avec formulaire validé d’observation directe
Résidents et personnel médical en chirurgie
Commentaires
MISTELS a été validé en tant qu’outil d’enseignement ainsi que d’évaluation
des habiletés en laparoscopie.
5. Hayden SR, Panacek EA. Procedural competency in emergency medicine: the
current range of resident experience. Acad Emerg Med 1999;6(7):728-35.
Genres d’outils
Registres et portefeuilles
Observation d’une cohorte
Commentaires
Cette étude démontre qu’il y a des variations dans les programmes associées
à la quantité d’expériences dans l’exécution d’interventions. Il reste encore à
définir ce que serait une expérience « suffisante », mais c’est un facteur dont
il faudrait tenir compte.
6. Olsen JC, Gurr DE, Hughes M. Video analysis of emergency medicine residents
performing rapid-sequence intubations. J Emerg Med 2000;8(4):469–72.
Genres d’outils
Observation directe, enregistrement vidéo
55
Commentaires
Cette étude examine une façon novatrice de donner de la rétroaction sur le
rendement clinique concret, dans des circonstances relativement rares où les
enjeux sont élevés.
7. Reznick R, Regehr G, MacRae H, Martin J, McCulloch W. Testing technical skill
via an innovative “bench station” examination. Am J Surg 1997;173(3):226-30.
Genres d’outils
ECOS avec listes de vérification et notes globales
Étude interventionnelle prospective
Résidents en chirurgie
Commentaires
Cette étude s’ajoute aux ouvrages scientifiques qui valident la simulation en
laboratoire comme moyen d’évaluer les habiletés chirurgicales.
Autres ouvrages intéressants
Ahlberg G, Hultcrantz R, Jaramillo E, Lindblom A, Arvidsson D. Virtual reality
colonoscopy simulation: a compulsory practice for the future colonoscopist?
Endoscopy 2005;37(12):1198-204.
Bann S, Davis IM, Moorthy K, Munz Y, Hernandez J, Khan M, Datta V, Darzi A.
The reliability of multiple objective measures of surgery and the role of human
performance. Am J Surg 2005;189(6):747-52.
Birkmeyer JD, Stukel TA, Siewers AE, Goodney PP, Wennberg DE, Lucas FL.
Surgeon volume and operative mortality in the United States. N Engl J Med
2003;349(22):2117-27.
Boyd KB, Olivier J, Salameh JR. Surgical residents’ perception of simulation training.
Am Surg 2006;72(6):521-4.
Bullock G, Kovacs G, Macdonald K, Story BA. Evaluating procedural skills competence:
inter-rater reliability of expert and non-expert observers. Acad Med 1999;74(1):76-8.
Chou B, Handa VL. Simulators and virtual reality in surgical education. Obstet
Gynecol Clin North Am 2006;33(2):283-96, viii-ix.
Datta V, Bann S, Mandalia M, Darzi A. The surgical efficiency score: a feasible,
reliable, and valid method of skills assessment. Am J Surg 2006;192(3):372-8.
56
Expert médical
Feldman LS, Hagarty SE, Ghitulescu G, Stanbridge D, Fried GM. Relationship
between objective assessment of technical skills and subjective in-training
evaluations in surgical residents. J Am Coll Surg 2004;198(1):105-10.
Kobayashi L, Shapiro MJ, Sucov A, Woolard R, Boss RM 3rd, Dunbar J, Sciamacco R,
Karpik K, Jay G. Portable advanced medical simulation for new emergency
department testing and orientation. Acad Emerg Med 2006;13(6):691-5.
Kovacs G, Bullock G, Ackroyd-Stolarz S, Cain E, Petrie D. A randomized controlled
trial on the effect of educational interventions in promoting airway management
skill maintenance. Ann Emerg Med 2000;36(4):301-9.
Kovacs G. Procedural skills in medicine: linking theory to practice. J Emerg Med
1997;15(3):387-91.
MacDonald J, Williams RG, Rogers DA. Self-assessment in simulation-based surgical
skills training. Am J Surg 2003;185(4):319-22.
Miller GE. The assessment of clinical skills/competence/performance. Acad Med
1990;65(9 Suppl):S63-7
Moorthy K, Munz Y, Adams S, Pandey V, Darzi A; Imperial College – St. Mary’s Hospital
Simulation Group. Self-assessment of performance among surgical trainees during
simulated procedures in a simulated operating theater. Am J Surg 2006;192(1):114-8.
Mulcaster JT, Mills J, Hung OR, MacQuarrie K, Law JA, Pytka S, Imrie D, Field C.
Laryngoscopic intubation: learning and performance. Anesthesiology 2003;98(1):23-7.
Murray DJ, Boulet JR, Kras JF, McAllister JD, Cox TE. A simulation-based acute skills
performance assessment for anesthesia training. Anesth Analg 2005;101(4):1127-34.
Munz Y, Moorthy K, Bann S, Shah J, Ivanova S, Darzi SA. Ceiling effect in technical
skills of surgical residents. Am J Surg 2004;188(3):294-300.
Nestel D, Kneebone R, Black S. Simulated patients and the development of
procedural and operative skills. Med Teach 2006; 28(4):390-1.
Regehr G, MacRae H, Reznick RK, Szalay D. Comparing the psychometric
properties of checklists and global rating scales for assessing performance on an
OSCE-format examination. Acad Med 1998;73(9):993-7.
Reznick RK, Regehr G, Yee G, Rothman A, Blackmore D, Dauphinee D. Processrating forms versus task-specific checklists in an OSCE for medical licensure.
Medical Council of Canada. Acad Med 1998;73(10 Suppl):S97-9.
57
3.3 Communicateur
Sue Dojeiji et Lara Cooke
Définition
Comme communicateurs, les médecins facilitent efficacement la relation
médecin-patient et les échanges dynamiques qui se produisent avant, pendant
et après le contact médical.
1. développer des relations thérapeutiques basées sur la confiance et
respectueuses de l’éthique avec les patients et les membres de leur famille;
2. obtenir et résumer avec précision les renseignements pertinents et les
points de vue des patients et des membres de leur famille, de confrères et
d’autres professionnels;
3. fournir avec exactitude des renseignements pertinents et des explications
aux patients et aux membres de leur famille, à des confrères et à d’autres
professionnels;
4. établir une compréhension commune d’enjeux, de problèmes et de plans
avec les patients et les membres de leur famille, des confrères et d’autres
professionnels afin mettre en oeuvre un plan de soin partagé;
5. fournir des renseignements verbaux et écrits efficaces au sujet d’un
contact médical.
Aperçu
La communication efficace est une composante essentielle de la compétence
médicale. Comme l’ont souligné Kurtz et ses collègues (2005), les médecins qui
ont de bonnes habiletés en communication verbale, non verbale et écrite favorisent
les relations thérapeutiques entre médecin et patient et consolident les rapports
avec les familles et les autres professionnels de la santé. La communication efficace
améliore les résultats chez le patient, sa conformité aux directives, sa satisfaction
et sa sécurité. Il est donc essentiel pour tous les médecins de maîtriser les
compétences du rôle de Communicateur. Elles doivent être enseignées, renforcées
et évaluées pendant tout le continuum de la formation médicale. Même si l’art de
la communication peut être appris, il peut aussi se détériorer avec le temps s’il
n’est pas exercé de manière répétée et évalué sur une base continue.
L’évaluation du rôle de Communicateur pose des défis uniques. On a tendance à
croire que les habiletés de communication relèvent plus de la subjectivité que de
l’objectivité ou qu’elles sont le fruit d’un « don naturel » plutôt que des habiletés
58
Communicateur
observables et mesurables. Par ailleurs, les ouvrages scientifiques démontrent
clairement que l’art de la communication peut s’enseigner, s’apprendre et se
mesurer de manière fiable et structurée.
Il est permis de penser que le moyen le plus valide d’évaluer une compétence,
c’est d’observer directement le stagiaire fonctionner dans son environnement
de travail habituel et d’évaluer un ensemble prédéterminé de comportements
pertinents et identifiables. La réalité de la résidence fait en sorte que ce ne soit
pas toujours possible. Par conséquent, différents outils d’évaluation peuvent être
nécessaires selon le milieu.
L’observation directe des habiletés en communication du stagiaire demeure la
méthode la plus valide pour évaluer cet art. Pour ce faire, la meilleure façon est
d’utiliser un outil d’évaluation fiable et valide, fondé sur les compétences qui permet
à tout superviseur clinique d’évaluer objectivement l’art de la communication du
stagiaire pendant sa formation. Des listes de vérifications détaillées peuvent être
utilisées pour mesurer les habiletés en communication dans une situation de pratique
donnée. Au nombre de telles listes de vérification figurent le guide d’observation
Calgary Cambridge, la liste de vérification Kalamazoo et le cadre SEGUE. Les FECF
conviennent aussi à l’évaluation longitudinale des habiletés en communication
dans la pratique concrète. On peut créer les FECF en fonction des besoins
particuliers de chaque programme de formation pour qu’elles tiennent compte
des habiletés essentielles en communication exigées dans la spécialité en cause.
2. Examens cliniques objectifs structurés (ECOS) et patients standardisés
On se sert communément des ECOS et des patients standardisés pour évaluer
les habiletés en communication et ces outils permettent une évaluation dans des
conditions relativement contrôlées. Les ECOS donnent la possibilité de pratiquer
et d’évaluer des tâches de communication difficiles, rares ou de nature délicate, ce
qui n’est pas toujours possible dans la réalité. Les apprenants peuvent être observés
en train de faire un bilan de santé ou de conseiller des patients standardisés dans
des stations d’ECOS. Les observateurs ou les patients standardisés eux-mêmes,
s’ils ont reçu la formation voulue, peuvent donner la rétroaction.
3. Rétroaction de sources multiples
On se sert de plus en plus de la rétroaction de sources multiples pour évaluer les
habiletés en communication. De nombreuses personnes chargées de donner leurs
cotes d’évaluation, notamment des patients, d’autres professionnels de la santé et
des pairs, peuvent fournir des données utiles pouvant servir à orienter un
apprentissage plus approfondi.
59
4. Portefeuilles et registres
Ces outils peuvent aider à faire le suivi des activités comportant l’apprentissage
de l’art de la communication sur une base continue, y compris la communication
écrite (p. ex., les lettres de consultation et des résumés d’autorisation du congé).
Avant tout, les portefeuilles favorisent la réflexion sur la pratique et peuvent servir
d’outils efficaces dans l’amélioration autodirigée de cette compétence.
Ouvrages pertinents
1. Boon H, Stewart M. Patient-physician communication assessment instruments:
1986 to 1996 in review. Patient Educ Couns 1998;35(3):161-76.
Genres d’outils
Divers outils
Synthèse critique
Variée (étudiants en médecine, résidents, médecins en pratique active)
Commentaires
Il s’agit d’une excellente synthèse critique, mais la stratégie de recherche se
termine en 1996.
2. Duffy FD, Gordon GH, Whelan G, Cole-Kelly K, Frankel R, Buffone N, et al.
Assessing competence in communication and interpersonal skills: the
Kalamazoo II report. Acad Med 2004;79(6):495-507.
Genres d’outils
Divers outils
Déclaration consensuelle
Variée (étudiants en médecine, résidents)
Commentaires
Cette excellente déclaration consensuelle procure un aperçu complet des
outils d’évaluation de l’art de la communication et des barèmes de mesure.
60
Communicateur
3. Hobgood CD, Riviello RJ, Jouriles N, Hamilton G. Assessment of
communication and interpersonal skills competencies. Acad Emerg Med
2002;9(11):1257-69.
Genres d’outils
Observation directe et patients standardisés
Commentaires
Cet article dresse une liste consensuelle des comportements souhaités en
communication. Il donne aussi une liste annotée d’outils d’évaluation par ordre
de préférence et des barèmes de mesure connexes.
4. Ram P, Grol R, Rethans JJ, Schouten B, van der Vleuten C, Kester A.
Assessment of general practitioners by video observation of communicative
and medical performance in daily practice: issues of validity, reliability and
feasibility. Med Educ 1999;33(6):447-54.
Genre d’outil
Observation directe
Transversale
Omnipraticiens
Commentaires
Cette étude établit les propriétés psychométriques de l’observation directe
enregistrée sur vidéo par un médecin évaluateur. Les participants à l’étude ont
signalé que la caméra vidéo n’avait pas nui à leur pratique.
5. Keely E, Myers K, Dojeiji S. Can written communication skills be tested in an
objective structured clinical examination format? Acad Med 2002;77(1):82-6.
Genre d’outil
Examen clinique objectif structuré
Transversale
61
Résidents en médecine interne
Commentaires
Cette étude a démontré qu’un barème de notation validé et des notes
d’évaluation globale étaient efficaces dans l’évaluation des habiletés en
communication écrite (lettres de consultation).
Baldwin PJ, Paisley AM, Brown SP. Consultant surgeons’ opinion of the skills required
of basic surgical trainees. Brit J Surg 1999;86(8):1078-82.
Booth K, Maguire P, Hillier VF. Measurement of communication skills in cancer care:
myth or reality? J Adv Nurs 1999;30(5):1073-9.
Boulet JR et al. Assessing the comparability of standardized patient and physician
evaluations of clinical skills. Adv Health Sci Educ Theory Pract 2002;7(2):85-97.
Buller MK, Buller DB. Physicians’ communication style and patient satisfaction.
J Health Soc Behav 1987;28:375-88.
Butterfield PS, Mazzaferri EL. A new rating form for used by nurses in assessing
residents’ humanistic behavior. J Gen Intern Med 1991;6(2):155-61.
Campion P, Foulkes R, Tate P. Patient centredness in the MRCGP video examination:
analysis of large cohort. BMJ 2002;325:691-2.
Carnay SL, Mitchell KR. Satisfaction with medical students’ clinical skills.
J Med Educ 1986;61(5):374-9.
Carney SL, Mitchell KR. Satisfaction of patients with medical student’s clinical skills.
J Med Educ 1986:61(5):374-9.
Cassata DM, Conroe RM, Clements PW. A program for enhancing medical
interviewing using videotape feedback in the family practice residency.
J Fam Pract 1977;4(4):673-7.
Chalabian J, Dunnington G. Standardized patients: a new method to assess the
clinical skills of physicians. Best Pract Benchmarking Healthc 1997;2(4):174-7.
Chur-Hansen A. The self-evaluation of medical communication skills. HERDSA
2001;20(1):71-79.
Colliver JA et al. Effects of examinee gender, standardized patient gender, and their
interaction on standardized patients’ ratings of examinees’ interpersonal and
communication skills. Acad Med 1993;68(2):153-7.
Colliver JA et al. Relationship between clinical competence and interpersonal
and communication skills in standardized-patient assessment. Acad Med
1999;74(3):271-4.
62
Communicateur
Cowan DH, Laidlaw JC. A strategy to improve communication between health
care professionals and people living with cancer. I. Improvement of teaching
and assessment of doctor–patient communication in Canadian medical schools.
J Cancer Educ 1993;8(2):109-17.
Cowan DH et al. Consensus statement from the workshop on the teaching
and assessment of communication skills in Canadian medical schools.
CMAJ 1992;147(8):1149-52.
Dale J et al. Primary care consultation skills training: implementing a new training
program for senior house officers in an accident and emergency department.
Med Educ 1997;31(4):243-9.
Daniel AE, Burn RJ, Horarik S. Patients’ complaints about medical practice.
Med J Aust 1999;170(12):598-602.
de Haes JC et al. Assessment of medical students’ communicative behaviour and
attitudes: estimating the reliability of the use of the Amsterdam attitudes and
communication scale through generalizability coefficients. Patient Educ Couns
2001;45(1):35-42.
Des Marchais JE, Jean P, Castonguay LG. Training psychiatrists and family doctors in
evaluating interpersonal skills. Med Educ 1990;24(4):376-81.
Dibben MR, Morris SE, Lean ME. Situational trust and co-operative partnerships
between physicians and their patients: a theoretical explanation transferable from
business practice. QJM 2000;93(1):55-61.
Duberman TL. Assessing the critical behavioral competencies of outstanding
managed care primary care physicians. Manag Care Interface 1999;12(3):76-80.
Duffy FD, Gordon GH, Whelan G, Cole-Kelly K, Frankel R, Buffone N, et al.
Assessing competence in communication and interpersonal skills: the Kalamazoo
II report. Acad Med 2004;79(6):495-507.
Eggly S et al. An assessment of residents’ competence in the delivery of bad news to
patients. Acad Med 1997;72(5):397-9.
Elwyn G et al. Measuring the involvement of patients in shared decision-making: a
systematic review of instruments. Patient Educ Couns 2001;43(1):5-22.
Fallowfield L et al. Efficacy of a cancer research UK communication skills training model
for oncologists: a randomized controlled trial. Lancet 2002;359(9307): 650-6.
Feletti GI, Carney SL. Evaluating patients’ satisfaction with medical students’
interviewing skills. Med Educ 1984;18(1):15-20.
63
Finlay IG, Stott NC, Kinnersley P. The assessment of communication skills in
palliative medicine: a comparison of the scores of examiners and simulated
patients. Med Educ 1995;29(6):424-9.
Gallagher TJ, Hartung PJ, Gregory SW. Assessment of a measure of relational
communication for doctor–patient interactions. Patient Educ Couns
2001;45(3):211-8.
Girgis A, Sanson-Fisher RW, McCarthy WH. Communicating with patients: surgeons
perceptions of their skills and need for training. Aust N Z J Surg 1997;67(11):775-80.
Girgis A, Sanson-Fisher RW, Walsh RA. Preventive and other interactional skills of
general practitioners, surgeons, and physicians: perceived competence and
endorsement of postgraduate training. Prev Med 2001;32(1):73-81.
Haddad S et al. Patient perception of quality following a visit to a doctor in a primary
care unit. Fam Pract 2000;17(1):21-29.
Hargie O et al. A survey of communication skills training in UK schools of medicine:
present practices and prospective proposals. Med Educ 1998;32(1):25-34.
Henbest RJ, Stewart MA. Patient-centredness in the consultation. 1: A method for
measurement. Fam Pract 1989:6(4):249-53.
Hobgood CD Riviello RJ, Jouriles N, Hamilton G. Assessment of communication
and interpersonal skills competencies. Acad Emerg Med 2002;9(11):1257-69.
Hobma SO et al. Setting a standard for performance assessment of doctor-patient
communication in general practice. Med Educ 38 2004;(12):1244-52.
Humphris GM, Kaney S. The Liverpool brief assessment system for communication
skills in the making of doctors. Adv Health Sci Educ Theory Pract 2001;6(1):69-80.
Jarski RW et al. A comparison of four empathy instruments in simulated
patient–medical student interactions. J Med Educ 1985;60(7):545-51.
Johnson D, Cujec B. Comparison of self, nurse, and physician assessment of residents
rotating through an intensive care unit. Crit Care Med 1998;26(11):1811-6.
Jouriles NJ, Emerman CL, Cydulka RK. Direct observation for assessing emergency
medicine core competencies: interpersonal skills. Acad Emerg Med 2002;9(11):1338-41.
Keely E, Myers K, Dojeiji S. Can written communication skills be tested in an
objective structured clinical examination format? Acad Med 2002;77(1):82-6.
Keely E, Dojeiji S, Myers K. Writing effective consultation letters: 12 tips for teachers.
Med Teach 2002;24(6):585-9.
Keen AJ, Klein S, Alexander DA. Assessing the communication skills of doctors in
training: reliability and sources of error. Adv Health Sci Educ Theory Pract
2003;8(1):5-16.
64
Communicateur
Kisch AI, Reeder LG. Client evaluation of physician performance. J Health Soc
Behav 1969;10:51-8.
Kosower E, Inkelis S, Seidel J. Telephone TALK: a teaching/assessment tool for
medical training. J Biocommun 1996;23(1):22-6.
Kosower E et al. Evaluating telephone TALK. J Biocommun 1996;23(1):27-31.
Kurtz SM. Doctor–patient communication: principles and practices. Can J Neurol Sci
2002;29(Suppl 2):S23-9.
Kurtz S, Silverman J, Draper J. Teaching and learning communication skills in
Medicine. 2nd ed. Oxford (UK) : Radcliffe Publishing; 2005.
Lang F et al. Faculty development in communication skills instruction: insights from a
longitudinal program with “real-time feedback.” Acad Med 2000;75(12):1222-8.
Makoul G. Essential elements of communication in medical encounters: the
Kalamazoo consensus statement. Acad Med 2001;76(4):390-3.
Makoul G, Schofield T. Communication teaching and assessment in medical education:
an international consensus statement. Netherlands Institute of Primary Health Care.
Patient Educ Couns 1999;37(2):191-5.
Makoul G, Altman M. Early assessment of medical students’ clinical skills. Acad Med
2002;77(11):1156.
Makoul G. The interplay between education and research about patient–provider
communication. Patient Educ Couns 2003;50(1):79-84.
Marcotte DB, Held JP. A conceptual model for attitude assessment in all areas of
medical education. Med Educ 1978;53(4):310-4.
Martin D et al. Using videotaped benchmarks to improve the self-assessment ability
of family practice residents. Acad Med 1998;73(11):1201-6.
Merrill JM et al. Measuring “humanism” in medical residents. South Med J
1986;79(2):141-4.
Meuleman JR, Harward MP. Assessing medical interview performance. Effect of
interns’ gender and month of training. Arch Intern Med 1992;152(8):1677-80.
Miller SJ, Hope T, Talbot DC. The development of a structured rating schedule
(the BAS) to assess skills in breaking bad news. Br J Cancer 1999;80(5-6):792-800.
Moulton D. “Patient navigators” newsiest members of NS health care team. CMAJ
2002;167(3):295.
Mullan PB, Stross JK. Sensitivity to patients’ psychosocial concerns: relationships
among ratings by primary care and traditional internal medicine house officers
and patient self-assessments. Soc Sci Med 1990;31(12):1337-45.
65
Nunez AE. Transforming cultural competence into cross-cultural efficacy in women’s
health education. Acad Med 2000;75(11):1071-80.
O’Keefe M. Should parents assess the interpersonal skills of doctors who treat their
children? A literature review. J Paed Child Health 2001;37(6):531-8.
O’Keefe M et al. Medical student interviewing: a randomized trial of patientcentredness and clinical competence. Fam Pract 2003;20(2):213-9.
Oandasan I et al. Developing competency-assessment tools to measure the family
physician’s ability to respond to the needs of the community. Acad Med
2001;76(10):S80-S1.
Page GG et al. Physician-assessment and physician-enhancement programs in
Canada. CMAJ 1995;153(12):1723-8.
Pell I et al. Development and preliminary evaluation of a clinical guidance program
for the decision about prophylactic oophorectomy in women undergoing a
hysterectomy. Qual Saf Health Care 2002;11(1):32-9.
Quest TE et al. The use of standardized patients within a procedural competency
model to teach death disclosure. Acad Emerg Med 2002;9(11):1326-33.
Ram P, Grol R, Rethans JJ, Schouten B, van der Vleuten C, Kester A. Assessment
of general practitioners by video observation of communicative and medical
performance in daily practice: issues of validity, reliability and feasibility.
Med Educ 1999;33(6):447-54.
Ramsey PG et al. Use of peer ratings to evaluate physician performance. JAMA
1993;269(13):1655-60.
Redelmeier DA et al. Problems for clinical judgment: 2. Obtaining a reliable past
medical history. CMAJ 2001;164(6):809-13.
Reisner E et al. A model for the assessment of students’ physician–patient interaction
skills on the surgical clerkship. Am J Surg 1991;162(3):271-3.
Roter D et al. The effects of a continuing medical education program in interpersonal
communication skills on doctor practice and patient satisfaction in Trinidad and
Tobago. Med Educ 1998;32(2):181-9.
Roter DL et al. An evaluation of residency training in interviewing skills and the
psychosocial domain of medical practice. J Gen Intern Med 1990;5:347-54.
Roth CS, Watson KV, Harris IB. A communication assessment and skill-building
exercise (CASE) for first-year residents. Acad Med 2002;77(7):746-7.
Russell ML, Insull W, Jr , Probstfield JL. Examination of medical professions for
counseling on medication adherence. Am J Med 1985;78(2):277-82.
Sanson-Fisher RW et al. Training medical practitioners in information transfer skills:
the new challenge. Med Educ 1991;25(4):322-33.
66
Communicateur
Scott J et al. The impact of training in problem-based interviewing on the detection
and management of psychological problems presenting in primary care. Br J Gen
Pract 1999;49(443):441-5.
Segall A, Burnett M. Patient evaluation of physician role performance. Soc Sci Med
1980;14A:269-78.
Sleight P. Teaching communication skills: part of medical education? J Hum
Hypertens 1995;9(1):67-9.
Snell L et al. A review of the evaluation of clinical teaching: new perspectives
and challenges. Med Educ 2000;34(10):862-70.
Soh KB. Job analysis, appraisal and performance assessments of a surgeon:
a multifaceted approach. Singapore Med J 1998;39(4):180-5.
Stein REK et al. Severity of Illness: concepts and measurements. Lancet 1987;1506-9.
Stewart M et al. Evidence on patient-doctor communication. Cancer Prev Control
1999;3(1):25-30.
Stilwell NA, Reisine S. Using patient-instructors to teach and evaluate interviewing
skills. J Dent Educ 1992;56(2):118-22.
Stott NC et al. Innovation in clinical method: diabetes care and negotiating skills.
Fam Pract 1995;12(4):413-8.
Tate P et al. Assessing physicians’ interpersonal skills via videotaped encounters: a
new approach for the Royal College of General Practitioners Membership
Examination. J Health Commun 1999;4(2):143-52.
Taylor KL, Chudley AE. Meeting the needs of future physicians: a core curriculum
initiative for postgraduate medical education at a Canadian university. Med Educ
2001;35(10):973-82.
Thomson AN. Consumer assessment of interview skills in a family practice
certification examination. Fam Med 1993;25(1):41-4.
Usherwood T. Subjective and behavioural evaluation of the teaching of patient
interview skills. Med Educ 1993;27(1):41-7.
Weaver MJ et al. A questionnaire for patients’ evaluations of their physicians’
humanistic behaviors. J Gen Intern Med 1993;8(3):135-9.
Woolliscroft JO et al. Evaluating the medical history: observation versus write-up
review. J Med Educ 1984;59(1):19-23.
Woolliscroft JO et al. Resident-patient interactions: the humanistic qualities of
internal medicine residents assessed by patients, attending physicians, program
supervisors, and nurses. Acad Med 1994;69(3):216-24.
67
3.4
Collaborateur
Ivy Oandasan et Denyse Richardson
Définition
Comme collaborateurs, les médecins travaillent efficacement dans une équipe
de soins de santé afin de prodiguer des soins optimaux aux patients.
1. participer efficacement et comme il se doit à l’activité d’une équipe
interprofessionnelle de soins de santé;
2. collaborer efficacement avec d’autres professionnels de la santé afin d’éviter
des conflits interprofessionnels, de les négocier et de les résoudre.
Aperçu
Il a été proposé, comme stratégie fondamentale pour améliorer le système de
santé canadien, d’adopter une approche de collaboration à l’endroit de la pratique,
dans le contexte d’équipes multidisciplinaires de professionnels de la santé qui
offrent des services de santé complets et coordonnés (Kirby1, Romanow2,
Conseil canadien de la santé3). L’Accord de 2003 des premiers ministres sur le
renouvellement des soins de santé identifiait l’importance de changer la façon de
former les professionnels de la santé. Le rôle CanMEDS du Collaborateur répond à
cette demande. Les médecins qui sont des collaborateurs compétents auront acquis
les connaissances, les habiletés, les attitudes et les comportements voulus pour
travailler efficacement avec d’autres professionnels de la santé pour ainsi améliorer
la prestation de soins axés sur le patient.
On rapporte que les professionnels de la santé qui participent à des activités
d’apprentissage interprofessionnel comprennent mieux les rôles, les
responsabilités, les forces et les limites des autres professions. Ils acquièrent des
attitudes de respect mutuel et une volonté de collaborer avec les autres membres
de l’équipe de soins de santé. Les données factuelles ont démontré qu’un travail
en équipe efficace dans les services de santé peut améliorer les résultats des soins
cliniques, augmente la satisfaction du dispensateur, accroît la sécurité des patients
ainsi que l’efficience organisationnelle.
1
2
3
Kirby MLJ. La santé des Canadiens : le rôle du gouvernement fédéral. Rapport final. Ottawa :
Comité sénatorial permanent des affaires sociales, des sciences et de la technologie, 2002.
Romanow R. Guidés par nos valeurs : L’avenir des soins de santé au Canada; Saskatoon :
Commission sur l’avenir des soins de santé au Canada; 2002.
Conseil canadien de la santé. La modernisation de la gestion des ressources humaines au Canada :
l’identification des secteurs pour des changements accélérés. Ottawa: Le Conseil; 2005.
68
Collaborateur
Souvent considérées un art plutôt qu’une science, les compétences en collaboration
ont été formulées et traduites en activités d’apprentissage. Les outils d’évaluation
évoluent pour capter comment les médecins recherchent des possibilités de
collaboration, au besoin, comment ils déterminent ceux avec qui ils devraient
collaborer et comment ils manifestent leur compétence en communication et
leur esprit d’équipe sur le plan interprofessionnel.
Les outils dont la liste apparaît plus loin tiennent compte des façons de mesurer
les connaissances, les habiletés et les attitudes qui ont été mises à l’épreuve dans
les ouvrages spécialisés en éducation interprofessionnelle. Jusqu’à présent, les
méthodes utilisées pour mesurer les compétences sont en nombre limité et l’efficacité
de plusieurs outils reste à déterminer, puisque des évaluations rigoureuses n’ont
pas encore été entreprises.
1. Examens écrits (questions à réponse courte, dissertation)
Au nombre des genres d’outils ayant fait l’objet d’une étude, les questionnaires
d’autoévaluation sont les plus fréquemment utilisés. Ce genre d’examen écrit,
administré avant et après une intervention éducative, a été utilisé pour mesurer
des domaines comme les suivants :
1. les changements dans les attitudes ou les perceptions à l’endroit
d’une autre profession ou la collaboration interprofessionnelle;
2. les changements dans les connaissances ou les habiletés reliées
à la collaboration.
Un certain nombre de questionnaires validés ont été élaborés. Par ailleurs, il n’est
pas certain s’ils fournissent des preuves de changements comportementaux
durables au fil du temps.
2. Fiches d’évaluation en cours de formation (FECF)
L’observation directe par des médecins précepteurs se servant de la FECF est
habituellement utilisée pour évaluer les habiletés au chapitre du travail en équipe.
Même s’il s’agit d’un élément essentiel de l’évaluation dans un milieu clinique,
le « travail en équipe » n’a jamais été divisé en composantes spécifiques
(p. ex., connaissance des rôles des autres professionnels de la santé, compétences
en communication efficace). Des barèmes soigneusement conçus qui donnent
le détail des comportements et des habiletés que comprend le travail en équipe
amélioreraient les propriétés psychométriques de l’observation directe.
On peut mettre en œuvre des scénarios qui mettent à l’épreuve les habiletés des
apprenants à interagir et à collaborer efficacement avec d’autres professionnels
de la santé pour régler des conflits ou des problèmes relatifs aux soins des patients.
À l’aide d’acteurs jouant leur rôle dans un scénario standardisé, une équipe
d’apprenants, incluant des médecins et d’autres professionnels de la santé, peut
69
être mise à l’épreuve pour mesurer les habiletés à collaborer dans un ECOS fondé
sur l’équipe axée sur le patient. Ce genre d’évaluation a été utilisé dans certains
milieux pour mesurer l’acquisition des connaissances et des habiletés associées
aux compétences du Collaborateur. Une liste de vérification standardisée ou un
barème de notation globale peut servir à évaluer les habiletés en communication,
la prise de décisions cliniques en équipe et la compréhension des rôles.
4. Simulation
Des simulateurs avec mannequins réalistes ont été utilisés pour permettre des
évaluations objectives structurées, en particulier dans des milieux de soins actifs
comme en médecine d’urgence et de soins intensifs. Même si elle est coûteuse,
la simulation offre la possibilité d’évaluer le travail en collaboration
interprofessionnelle dans des situations rares ou urgentes.
La rétroaction de sources multiples représente une option attrayante pour l’évaluation
des activités reliées à la collaboration, puisqu’elle comporte les évaluations de
nombreux membres de l’équipe. Par contre, comme c’est le cas dans toutes les
évaluations de sources nombreuses, les perspectives et les contextes de divers
contributeurs doivent attentivement être pris en compte dans la détermination
de l’évaluation globale.
Ouvrages pertinents
Les ouvrages disponibles portant sur l’évaluation du rôle de Collaborateur ne
sont pas nombreux. Plusieurs des articles existants concernent l’évaluation
d’un programme ou d’une intervention éducative plutôt que l’évaluation d’une
compétence individuelle. Une autre faiblesse inhérente dans les ouvrages
disponibles se situe dans le manque d’objectivité de l’évaluation, puisqu’elle est
faite selon la perspective d’une autoévaluation. Par contre, les ouvrages jusqu’à
présent comportent certaines contributions susceptibles d’éclairer l’élaboration
plus approfondie d’outils d’évaluation du rôle de Collaborateur.
1. Parsell G, Bligh J. The development of a questionnaire to assess the readiness
of health care students for interprofessional learning (RIPLS). Med Educ
1999;33(2):95-100.
Genre d’outil
Examen écrit avec questions à réponse courte
Étude descriptive – élaboration d’un outil
Étudiants en médecine (2e année) et 8 professionels de la santé
70
Collaborateur
Commentaires
Il s’agit de la description du processus d’élaboration d’un outil (questionnaire).
Elle s’avère très utile dans l’élaboration d’autres outils. Le recours à cet outil
pour évaluer l’état de préparation à un apprentissage partagé devrait pouvoir
être adapté à de multiples contextes (pas nécessairement des équipes de
grande taille). Cet outil permet de mesurer les effets d’interventions éducatives
formelles, mais il peut aussi servir individuellement auprès d’apprenants ou
praticiens pour évaluer les attitudes et orienter le dialogue et la rétroaction.
2. Cooper H, Spencer-Dawe E, McLean E. Beginning the process of teamwork:
design, implementation and evaluation of an inter-professional education
intervention for first year undergraduate students. J Interprof Care
2005;19(5):492-508.
Genres d’outils
Examens écrits avec QRC dans le contexte d’une évaluation de programme
Conception d’étude selon des méthodes multiples pour évaluer un modèle
d’apprentissage
Étudiants de premier cycle – étudiants de 1ère année en médecine,
physiothérapie, ergothérapie et soins infirmiers dans un contexte
d’apprentissage interprofessionnel
Commentaires
Cet article décrit une intervention dans un programme d’apprentissage
interprofessionnel en ce qui a trait à sa mise en œuvre et à son évaluation.
Le processus est décrit à l’aide de l’approche par étapes de Campbell (2000)
pour évaluer des interventions complexes. La description est bien faite, mais il
est reconnu qu’il faut une structure et une organisation logistique pour un tel
programme (p. ex., des apprenants dans de multiples disciplines interagissant
ensemble activement de manière synchronisée). À défaut de la possibilité
de créer un tel contexte d’apprentissage, il est difficile de reproduire ce genre
de programme. Au nombre des outils d’évaluation utilisés figurait le RIPLS
(barème de mesure de l’état de préparation à l’apprentissage interprofessionnel
de Parcell et Bligh).
71
3. Singh R, Naughton B, Taylor JS, Koenigsberg MR, Anderson DR, McCausland
LL, Wahler RG, et al. A comprehensive collaborative patient safety residency
curriculum to address the ACGME core competencies. Med Educ
2005;39(12):1195-204.
Genre d’outil
ECOS comportant plusieurs stations concernant spécifiquement la sécurité
des patients
Étude descriptive à angle unique d’une cohorte
Résidents en médecine familiale
Commentaires
Il s’agit de la description d’une intervention pédagogique dans le domaine de
la sécurité des patients comportant de nombreuses méthodes d’évaluation.
Les auteurs indiquent que les résultats de l’intervention d’évaluation avec
l’ECOS feront l’objet d’un rapport ultérieur. Il est intéressant de constater que
l’ECOS n’est pas une station unique, mais plutôt plusieurs stations portant sur
les compétences (à l’aide de patients standardisés, de l’analyse d’une vidéo
simulée, de l’examen des dossiers et d’examens écrits). Par ailleurs, même sans
les résultats précis de l’évaluation, divers aspects discutés et présentés sont
utiles dans l’élaboration de modalités d’observation directe pour l’évaluation
des compétences du Collaborateur. Le Tableau 2 est un plan directeur d’évaluation
fondée sur les compétences qui met en évidence la nature continue de l’évaluation,
en plus des multiples méthodes utilisées (y compris les portfolios). Les auteurs
décrivent aussi la composante du programme pédagogique portant sur
l’assurance de la qualité et insistent sur l’importance de la participation des
professeurs et du personnel actif. Ils reconnaissent le manque d’interaction
interprofessionnelle entre les participants, tout en signalant que le comité de
planification était interprofessionnel et que la coordination sur le plan pratique
avait jusqu’à présent nui à une telle interaction.
4. Cullen L, Fraser D, Symonds I. Strategies for interprofessional education:
the Interprofessional Team Objective Structured Clinical Examination for
midwifery and medical students. Nurse Educ Today 2003;23(6):427-33.
Genre d’outil
Observation directe : ECOSIP (ECOS avec une équipe interprofessionnelle)
Rapport descriptif sur la conception d’un programme pédagogique
72
Collaborateur
Étudiants de premier cycle : médecins et sages-femmes
Commentaires
C’est la description d’une mise en œuvre, située dans le domaine de la
recherche en action. Même si ces chercheurs ont utilisé un ECOS en équipe
comme méthode d’évaluation, ce qui est possible dans certains contextes,
ils reconnaissent que l’exercice exige beaucoup de ressources. De plus, dans
le cas en cause, l’ECOSIP sert de modèle d’apprentissage ou de stratégie
d’enseignement plutôt que d’être utilisé comme véritable outil d’évaluation.
Malheureusement, le rendement durant l’ECOSIP (même s’il est défini en
fonction d’une liste de vérification) n’est pas noté. L’exercice est utilisé
simplement comme moyen de stimuler la rétroaction formative de l’animateur.
Les évaluations de l’apprentissage interprofessionnel sont des perceptions
signalées par les intéressés eux-mêmes. Cette évaluation, et même le concept
de l’ECOS en équipe, sont probablement plus utiles s’il existe un contexte
interprofessionnel d’apprentissage ou de pratique en équipe.
5. Ritchie PD, Cameron PA. An evaluation of trauma team leader performance
by video recording. Aust NZ J Surg 1999;69(3):183-6.
Genres d’outils
Observation directe avec évaluation enregistrée sur vidéo
Cohorte transversale
Urgentologues et résidents en médecine d’urgence et en chirurgie (Australie)
Commentaires
Cette publication met en évidence le fait qu’il est possible d’utiliser une
vidéo pour une analyse ultérieure (évaluation et rétroaction) dans des milieux
moins traditionnels (à l’urgence en comparaison de l’environnement d’un
programme de résidence en médecine familiale, où l’utilisation est assez
fréquente). Les auteurs font remarquer des éléments portant spécifiquement sur
l’enregistrement vidéo, comme la confidentialité du patient, le consentement
du patient et du participant, les questions d’ordre médico-légal, ainsi que la
logistique nécessaire pour l’enregistrement. Ils discutent aussi de l’hésitation
initiale des participants qui n’a pas nui, en définitive, à la mise en œuvre.
De fait, ils signalent que l’outil a été généralement bien accueilli en bout de ligne.
73
6. Fichtner CG, Hardy D, Patel M, Stout CE, Simpatico TA, Dove H, Cook LP,
Grossman LS, Giffort DW. A self-assessment program for multidisciplinary
mental health teams. Psychiatr Serv 2001;52(10):1352-7.
Genre d’outil
Cohorte, transversale
Professions de la santé spécialisées en santé mentale, sept disciplines
Commentaires
Quoique cette publication porte spécifiquement sur les soins de santé mentale,
le facteur le plus contraignant se situe probablement dans le contexte d’une
prestation des soins en équipe. L’outil SLATE, par ailleurs, a un potentiel plus
généralisé pour évaluer les compétences en collaboration dans le contexte
d’équipes. Cet outil part du principe que le médecin est le chef de l’équipe,
tout en reconnaissant la nécessité d’exercer un leadership de collaboration.
Seize (16) des 42 éléments du barème visent le leadership de l’équipe et les
comportements associés à la facilitation de la collaboration. Dans cette étude,
l’outil n’était pas utilisé spécifiquement pour l’évaluation du programme, mais
bien pour stimuler la réflexion au sein de l’équipe. Les auteurs reconnaissent
que les propriétés psychométriques (notamment la fiabilité et la validité) de la
structure interne du barème n’ont pas encore été établies.
Anderson E, Manek N, Davidson A. Evaluation of a model for maximizing
interprofessional education in an acute hospital. J Interprof Care 2006:20(2):182-94.
Bateman B, Wilson FC, Bingham D. Team effectiveness – development of an audit
questionnaire. J Manage Dev 2002:21(3/4),215-6.
Carpenter J, Barnes D, Dickinson C, Wooff D. Outcomes of interprofessional
education for community mental health services in England: the longitudinal
evaluation of a postgraduate programme. J Interprof Care 2006:20(2):145-61.
DeVita MA, Schaefer J, Lutz J, Wang H, Dongilli T. Improving medical emergency
team (MET) performance using a novel curriculum and a computerized human
patient simulator. Qual Saf Health Care 2005:14(5):326-31.
Fallsberg MB, Wijma K. Student attitudes towards the goals of an interprofessional
training ward. Med Teach 1999:21(6):576-81.
74
Collaborateur
Farrell M, Ryan S, Langrick B. Breaking bad news within a paediatric setting: an
evaluation report of a collaborative education workshop to support health
professionals J Adv Nurs 2001:36(6):765-75.
Fichtner CG, Stout CE, Dove H, Lardon CS. Psychiatric leadership and the clinical
team: simulated in vivo treatment planning performance as teamwork proxy
and learning laboratory. Adm Policy Ment Health 2000:27(5):313-37.
Fineberg IC. Preparing professionals for family conferences in palliative care: evaluation
results of an interdisciplinary approach. J Palliat Med 2005:8(4):857-66.
Fineberg IC, Wenger NS, Forrow L. Interdisciplinary education: evaluation of a palliative
care training intervention for pre-professionals. Acad Med 2004;79(8):769-76.
Harward DH, Tresolini CP, Davis WA. Can participation in a health affairs
interdisciplinary case conference improve medical students’ knowledge and
attitudes? Acad Med 2006:81(3):257-61.
Hyer K, Fairchild S, Abraham I, Mezey M, Fulmer T. Measuring attitudes related to
interdisciplinary training: revising the Heinemann, Schmitt & Farell attitudes
toward health care teams scale. JIC 2000:14(3): 249-58
Johnson D and Cujec B Comparison of self, nurse, andphysician assessment of
residents rotating through an intensive careunit.[see comment]. Crit Care Med
1998:26(11):1811-6.
Luecht RM, Madsen MK, Taugher MP, Petterson BJ. Assessing professional
perceptions: design and validation of an interdisciplinary education perception
scale. J Allied Health,1990:19,181-91
Potter TB and Palmer RG. 360-degree assessment in a multidisciplinary team setting.
Rheumatology 2003:42 (11):1404-7.
Reeves S, Freeth D The London training ward: an innovative interprofessional
learning initiative. J Interprof Care, 2002:16(1)41-52.
Schreiber MA, Holcomb JB, Conaway CW, Campbell KD, Wall M, Mattox KL.
Military trauma training performed in a civilian trauma center. J Surg Res
2002:104(1),8-14
Small SD, Wuerz RC, Simon R, Shapiro N, Conn A, Setnik G. Demonstration of
high-fidelity simulation team training for emergency medicine. Acad Emerg Med
1999;6(4):312-23.
Ummenhofer W et al. Team Performance in the emergency room: assessment of
inter-disciplinary attitudes. Resuscitation 2001;49(1):39-46.
75
3.5 Gestionnaire
Saleem Razack et Deepak Dath
Définition
Comme gestionnaires, les médecins participent à part entière à la vie
d’organisations prodiguant des soins de santé où ils gèrent de pratiques durables,
prennent des décisions sur l’affectation des ressources et contribuent à l’efficacité
du système de soins de santé.
1. participer à des activités qui contribuent à l’efficacité de leurs organisations
et systèmes de soins de santé;
2. gérer efficacement leur pratique et leur carrière;
3. répartir judicieusement des ressources en soins de santé limitées;
4. assumer des rôles en administration et de chef de file au besoin.
Aperçu
Dans les soins de santé contemporains, les médecins occupent souvent des postes
de chefs de file polyvalents sur les plans cliniques, administratifs, éducatifs et de la
recherche. En tant que professionnels, ils sont appelés à contribuer au bien-être de
leurs collectivités. Les médecins doivent aussi savoir faire un juste équilibre entre
ces activités multiples et leurs engagements personnels et familiaux. Pour réussir
à jongler simultanément avec toutes ces responsabilités, les médecins doivent
acquérir et maintenir de bonnes habiletés en gestion. Ils doivent gérer leurs
pratiques et faire évoluer leur carrière, faire preuve de leadership, attribuer des
ressources et participer à la dynamique organisationnelle du système de santé.
Les ouvrages concernant le rôle du médecin en tant que Gestionnaire ne font que
commencer à faire leur apparition. Les articles mentionnés plus loin constituent
des exemples qui aideront le lecteur à savoir où commencer.
La plupart des apprenants commencent leur formation médicale sans avoir suivi
de formation préalable en gestion. Par conséquent, au moment de commencer leur
carrière, les habiletés en gestion qu’ils auront acquises l’auront été pendant leur
formation en médecine. Les programmes postdoctoraux ont le mandat d’assurer que
les apprenants sont bien préparés à exercer les responsabilités de gestion spécifiques qui
seront exigées de leurs diplômés. Il est nécessaire que les programmes procèdent à une
évaluation régulière du rôle de Gestionnaire pour comprendre ce qu’apprennent
les résidents, la mesure dans laquelle ils ont appris et comment ces programmes
peuvent améliorer l’enseignement de la fonction de gestion. Les méthodes utilisées
pour enseigner les habiletés en gestion influenceront le mode d’évaluation. Même si
76
Gestionnaire
divers types d’évaluation se prêtent bien à l’évaluation des résidents en tant que
gestionnaires, aucun ne se démarque comme étant la norme ou une méthode
complète d’évaluation. Toutes les méthodes exigent beaucoup de travail et certaines
ont des inconvénients importants. Il est expliqué plus loin comment certaines
peuvent s’appliquer à l’évaluation du rôle de Gestionnaire.
1. Rétroaction de sources multiples et évaluation par les pairs
Certaines entreprises du monde des affaires ont adopté l’évaluation à « 360 degrés »
pour évaluer les habiletés en gestion et donner de la rétroaction à cet égard.
Adoptée par les professeurs de médecine et rebaptisée « rétroaction de sources
multiples », elle se prête bien à l’évaluation de toutes les compétences essentielles
du rôle du Gestionnaire. Des évaluateurs d’échelons supérieurs ou inférieurs à
celui de l’apprenant peuvent évaluer comment il se comporte dans la hiérarchie et
s’il fonctionne de manière appropriée, en établissant les priorités, en déléguant des
tâches, en faisant preuve des qualités de chef de file, en planifiant pour l’avenir, en
assurant le meilleur emploi possible du temps et des ressources, et ainsi de suite.
D’autres professionnels de la santé, des patients et d’autres personnes peuvent
évaluer les interactions avec l’apprenant, sa communication et son leadership pour
compléter l’évaluation. Des médecins d’autres services de consultation peuvent
évaluer comment l’apprenant utilise et attribue les ressources dans le système.
La conception de l’outil de rétroaction de sources multiples doit prévoir
des questions précises sur chacune des compétences essentielles du rôle du
Gestionnaire. Cette méthode d’évaluation peut être informatisée pour améliorer
son efficacité et accroître sa faisabilité.
2. Simulation
On peut se servir de la simulation pour évaluer les habiletés de l’apprenant qui doit
composer avec des situations complexes et critiques. Les scénarios de simulation
peuvent être simples ou complexes et impliquer un seul apprenant ou une équipe
entière. Les situations complexes qui mettent en jeu de nombreux apprenants et
des mannequins réalistes mus par ordinateur exigent que l’apprenant exerce ses
qualités de chef de file, délègue des tâches, sache communiquer, donner de la
rétroaction, planifier, prendre des décisions difficiles, et ainsi de suite. Toutes ces
habiletés font partie des compétences du rôle de Gestionnaire.
Cet outil est particulièrement utile pour évaluer les compétences en gestion en
ce qui a trait aux soins aux patients.
3. Portefeuille
Les ouvrages spécialisés en gestion insistent sur une approche de réflexion à
l’endroit de l’apprentissage et de l’évaluation. À l’appui de cette approche, les
portefeuilles d’évaluation peuvent comporter des éléments comme des travaux de
comités, des innovations en matière d’organisation de la pratique, des projets de
vérification et d’assurance de la qualité, ainsi que les réflexions qu’ont suscitées
77
ces expériences. L’avantage des portefeuilles se situe dans le fait qu’ils assistent
dans l’évaluation de l’application des principes de gestion à des situations réelles,
ainsi que de la réflexion qui favorise l’apprentissage longitudinal.
On peut aussi évaluer la gestion de la pratique et de la carrière en incluant un
curriculum vitae et des études narratives des discussions avec les mentors universitaires.
4. Observation directe
Les apprenants peuvent faire preuve de leurs habiletés en gestion dans de
nombreux scénarios cliniques. Ils doivent être capables de faire un juste équilibre
entre les demandes en concurrence, qu’elles soient d’ordre professionnel ou
personnel. La gestion du temps peut être démontrée par une assiduité opportune
aux activités obligatoires, la prise en charge efficace du patient, de rares changements
ou quarts oubliés à l’horaire et un repos suffisant pour un fonctionnement
optimal. Les superviseurs peuvent observer la mobilisation efficace des ressources
de la santé et la délégation appropriée aux autres membres de l’équipe durant les
cliniques, les activités dans les services de patients hospitalisés et durant les quarts
à l’urgence. Les résidents en chirurgie peuvent être évalués en fonction de leurs
habiletés à bien gérer les réservations des salles et le mouvement des patients au
bloc opératoire lors de journées chargées.
Ouvrages pertinents
1. Rodgers KG, Manifold C. 360-degree feedback: possibilities for assessment of
the ACGME core competencies for emergency medicine residents. Acad Emerg
Med 2002;9(11):1300-4.
Genre d’outil
Description d’un nouvel instrument
Aucun participant
Commentaires
Cet article suscite une réflexion pour aider à combler l’écart entre une
approche conçue pour les entreprises et son application dans la formation
médicale. En examinant les renseignements de fond, un directeur de programme
se fera une bonne idée des complexités que comporte la mise en œuvre de cet
outil dans un programme de résidence. L’article ne porte pas spécifiquement
sur les compétences en gestion et, de fait, indique que cet outil n’est peut-être
pas le meilleur pour mesurer les compétences essentielles du rôle de
Gestionnaire dans le Cadre CanMEDS 2005. On y trouve de nombreuses
autres sources d’information et les conclusions sont bien réfléchies.
78
Gestionnaire
2. Higgins RS, Bridges J, Burke JM, O’Donnell MA, Cohen NM, Wilkes SB.
Implementing the ACGME general competencies in a cardiothoracic surgery
residency program using 360-degree feedback. Ann Thorac Surg 2004;77(1):12-7.
Genre d’outil
Prospective, description de programme
Résidents seniors en chirurgie cardiothoracique
Commentaires
Cet article est utile à de nombreux égards. Il démontre que les évaluations
à 360 degrés sont possibles dans des programmes de résidence. Il explique
comment un programme a mis ce processus en place, décrit clairement
l’élaboration de l’instrument et discute de certains de ses inconvénients.
Des composantes de l’instrument portent sur la gestion, même s’il était avant
tout conçu pour évaluer l’éventail complet des compétences de l’ACGME.
Les auteurs expliquent comment ils ont mis en application l’instrument, comment
ils ont utilisé les résultats et ils décrivent les avantages qu’ils attendent de
l’exercice pour les résidents. Il est évident qu’il s’agit d’une description et
non pas d’une recette et ses avantages ne sont pas éprouvés. Par contre, à ce
point-ci de l’évaluation des compétences, l’article offre des conseils utiles aux
programmes de résidence intéressés à mettre en œuvre ces genres d’évaluation.
3. O’Sullivan PS, Reckase MD, McClain T, Savidge MA, Clardy JA et al.
Demonstration of portfolios to assess competency of residents. Adv Health
Scie Ed 2005;9(4):309-23.
Genre d’outil
Portefeuille
Étude transversale
Résidents de la 1ère à la 4e années
Commentaires
L’évaluation à l’aide d’un portefeuille compte au nombre des outils qu’il est
difficile d’utiliser de manière appropriée dans un programme de résidence.
Les auteurs démontrent qu’une planification diligente peut permettre une
mise en œuvre réussie de l’évaluation à l’aide de portefeuilles. Ces travaux de
planification sont expliqués en détails dans l’article et les auteurs décrivent
79
les problèmes et les pièges qu’il a fallu surmonter. Les définitions et les directives
qu’ils utilisent pour déterminer ce que les résidents devraient inclure dans le
portefeuille ne sont pas indiquées dans l’étude. Les directives aux évaluateurs
sont aussi absentes. L’étude a fait valoir que les propriétés psychométriques
de l’utilisation du portefeuille aux fins d’évaluation étaient bonnes sur le plan
de la prise de décisions. Cette étude ne portait pas spécifiquement sur les
questions reliées à la gestion, mais la description de la mise en œuvre de cette
évaluation porte à croire que les éléments de la gestion pourraient être définis
et inclus à la discrétion du directeur de programme.
4. Collins J, Amsel S, Alderson PO. Teaching noninterpretive skills to radiology
residents: a collaborative effort between the American College of Radiology
and the Association of Program Directors in Radiology. Acad Radiol
2001;8:903–7.
Genre d’outil
Examen écrit
Intervention prospective, conception avant-après
Résidents en radiologie
Commentaires
Quoique cette étude s’intéresse davantage à une intervention éducative, elle
inclut néanmoins une conception d’examen écrit avant-après pour évaluer
l’apprentissage. Elle décrit aussi certains facteurs non cliniques importants
pour la formation des résidents, comme les aspects financiers de la gestion
de la pratique et les processus d’agrément.
Arnold L. Assessing professional behaviors: Yesterday, today, and tomorrow. Acad
Med 2002;77:502-15
Byrne AJ, Sellen AJ, Jones JG. Errors on anesthetic record charts as measure of
performance during simulated critical incidents. Br J Anesth 1998;80:58-62.
Challis M. AMEE medical education guide no. 11 (revised): Portfolio-based learning
and assessment in medical education. Med Teach 1999;21:370-86.
Hall W, Violato C, Lewkonia R et al. Assessment of physician performance in Alberta:
The physician achievement review. CMAJ 1999;161:52-7.
Norcini JJ. The mini clinical evaluation exercise (mini-CEX). Clin Teach 2005;2:25-9.
80
Gestionnaire
Norcini JJ, Blank LL, Duffy D, Fortna GS. The Mini-CEX: a method for assessing
clinical skills. Ann Intern Med 2003;138:476-81.
Murray WB, Foster PA. Crisis resource management among strangers: principles of
organizing a multidiciplinary group for crisis resource management. J Clinical
Anesth 2000;12:633-8.
Norman G. Evaluation methods: a resource handbook. Hamilton : Program for
Educational Development, McMaster University; 1995. p. 71-7.
Potter TB, Palmer RG. 360-degree assessment in a multidisciplinary team setting.
Rheumatology 2003;42(11):1404-7.
Sites Web utiles
www.ccl.org
Center for Creative Leadership, Greensboro (NC)
81
3.6 Promoteur de la santé
Sarita Verma et Glen Bandiera
Définition
Comme promoteurs de la santé, les médecins utilisent leur expertise et leur
influence de façon responsable pour promouvoir la santé et le mieux-être des
patients, collectivités et populations.
1. répondre aux besoins et aux problèmes de santé de patients en particulier
dans le contexte du soin des patients;
2. répondre aux besoins sanitaires des collectivités qu’ils servent;
3. définir les déterminants de la santé des populations qu’ils servent;
4. promouvoir la santé de patients en particulier, de collectivités et
de populations.
Aperçu
Des soins efficaces et complets aux patients exigent la reconnaissance et une
appréciation des déterminants de la santé. Le rôle de Promoteur de la santé
permet un éventail de réponses aux questions relatives aux déterminants de la
santé – sur le plan individuel, dans la collectivité et au niveau sociétal. Les médecins,
en tant que promoteurs de la santé, doivent être responsables de l’utilisation de
leur pouvoir et de leur influence et de la mobilisation des ressources nécessaires.
Ce rôle exige une participation active au sein du système de santé et il représente
le fondement voulu pour faire un juste équilibre entre des rôles en concurrence.
En 2005, le rôle du Promoteur de la santé a été révisé pour insister davantage sur
l’influence du médecin et la connaissance du système de santé aux fins de la
prestation des soins aux patients.
Dans la formation clinique, les facettes variées de la promotion de la santé se
dégagent dans différents stages et diverses circonstances. L’enseignement et
l’évaluation de la promotion de la santé doivent concorder avec les pratiques
professionnelles standard dans ces domaines. Les patients ont besoin des médecins
pour les aider à naviguer dans le système de santé et à accéder aux ressources de
la santé en temps opportun. La revendication d’investigations, les conseils sur des
changements appropriés au plan thérapeutique, la mobilisation des ressources
communautaires et les discussions entourant la modification des facteurs de risque
comptent au nombre des exemples des actes voulus. Les collectivités et les sociétés
ont besoin de l’expertise spéciale des médecins pour identifier et se pencher, en
collaboration, sur les grandes questions en matière de santé et les déterminants
82
Promoteur de la santé
de la santé. Au nombre des activités spécifiques à une spécialité peuvent comprendre
des activités de prévention, l’élaboration de politiques ou de directives et l’exercice
de pressions pour que se produisent des changements sur le plan de la collectivité.
1. Dissertations
Il peut être difficile pour les superviseurs d’identifier des activités de promotion
de la santé; elles se produisent souvent entre l’apprenant et le patient ou entre
l’apprenant et d’autres professionnels de la santé et peuvent aussi survenir en
dehors du stage clinique. Les dissertations permettent aux apprenants de décrire
leurs propres expériences, d’accroître leur sensibilisation au rôle de Promoteur
de la santé et de faire une réflexion autodirigée. Les apprenants sont appelés à
répondre à une question et à traiter des sujets de manière claire et logique,
après une recherche dans le domaine ou un réflexion sur sa propre expérience.
En demandant aux apprenants de décrire comment ils ont agi en tant que
promoteurs de la santé dans leur propre pratique et observé la promotion de la
santé en action par d’autres médecins, il est possible de se faire une meilleure idée
de leur compréhension du rôle. Les dissertations peuvent être notées comme un
examen ou incorporées dans un portefeuille.
2. Questions à réponse courte (QRCs)
Il est facile de mettre à l’épreuve les connaissances reliées au rôle de Promoteur
de la santé sous cette forme. Les QRC ont l’avantage distinct de pouvoir évaluer
la mémoire sans indice (plutôt que la reconnaissance) de l’information. Les
questions reliées aux facteurs de risque des maladies, aux options de prévention
des blessures et des maladies et aux avantages et inconvénients de lois proposées
ou adoptées conviennent très bien au format des QRC. On peut inclure des QRC
dans les examens de stage ou en cours de formation ou elles peuvent servir de
base à un examen portant spécifiquement sur le Promoteur de la santé après un
atelier ou un projet.
On peut inclure dans la FECF des éléments concernant l’appréciation des
déterminants de la santé et la défense des intérêts des patients. On peut demander
aux évaluateurs combien de fois les apprenants identifient et tentent de régler
les facteurs de risque et avec quelle efficacité ils défendent les intérêts de leurs
patients au sein du système. Il n’est cependant pas approprié d’utiliser la FECF
concernant des initiatives de promotion de la santé dont on ne s’attend pas qu’elles
se produisent durant les activités normales dans un stage donné. Par exemple,
même si l’on s’attend des apprenants qu’ils comprennent le processus d’adoption
d’une loi et comment s’impliquer dans la communauté et les débats sociétaux,
cette sphère d’activité n’est peut être pas possible dans une clinique externe.
83
La capacité d’un apprenant de faire des efforts additionnels dans les soins
cliniques, comme de chercher à ce que les médicaments de première intention
qu’un patient ne peut pas se payer soient couverts, de rallier d’autres
professionnels de la santé dans l’amélioration des services aux patients ou de
préconiser les soins à domicile, le placement ou la prolongation d’un séjour à
l’hôpital, sont tous des exemples de mesure du rendement dans le rôle de
Promoteur de la santé.
4. Examens cliniques objectifs structurés (ECOS) et patients standardisés
Les examens à l’aide de simulations permettent l’évaluation d’un ensemble précis
d’habiletés en dehors d’autres exigences en concurrence. Ils donnent la possibilité
de donner une rétroaction dirigée. On peut présenter un problème relatif à la
promotion de la santé durant les stations d’ECOS. On peut évaluer sous cette
forme les habiletés nécessaires pour faire ressortir des facteurs de risque pertinents,
discuter la modification des risques, éduquer les patients et obtenir l’accès aux
ressources cliniques. Les patients standardisés peuvent se révéler très efficaces pour
inciter les apprenants à identifier des questions nécessitant la représentation des
patients. Ils peuvent servir à mettre en évidence l’esprit d’initiative et les habiletés
en solution de problèmes de l’apprenant pour assister des patients ayant des
problèmes multifactoriels, aigus et chroniques. L’évaluation peut se faire de
manière globale ou au moyen d’une liste de vérification de comportements précis.
Les patients standardisés peuvent participer ou non à l’évaluation.
5. Rétroaction de sources multiples et évaluations par les pairs
Même s’il y a peu d’écrits sur le recours à la rétroaction de sources multiples pour
évaluer le rôle de Promoteur de la santé, cette méthode comporte théoriquement
plusieurs avantages. De nombreuses sources d’information peuvent former la base
d’une telle évaluation : des patients, des familles, des infirmières, des consultants,
des pairs, d’autres professionnels de la santé peuvent être appelés à donner leurs
commentaires sur les activités précises de promotion de la santé entreprises par
l’apprenant. On pourrait inclure dans ces évaluations les comportements entourant
la planification du congé de l’hôpital, les tournées multidisciplinaires, les rencontres
avec la famille, les demandes de consultation, les discussions sur les soins cliniques
et les présentations sur la promotion de la santé et la prévention de la maladie.
6. Portefeuilles
Les portefeuilles donnent une chronologie des activités de promotion de la santé
effectuées par l’apprenant au cours de quelques années. Les portefeuilles peuvent
comporter des lettres, des articles de journaux sur la représentation des patients
ou des preuves d’implication au sein de groupes d’intérêts spéciaux, dans des
activités politiques ou au gouvernement. Idéalement, chaque composante du
portefeuille pourrait contenir un élément d’autoréflexion. Les dissertations à
propos de rencontres cliniques conviendraient aussi. On pourrait recueillir des
preuves d’activités de représentation pertinentes à la spécialité et les évaluer
durant toute la période de formation, à l’aide d’une approche qualitative,
84
quantitative ou combinée pour mesurer la fréquence, la portée, la qualité et
l’efficacité de l’implication à cet égard. Le portfolio ferait partie d’une évaluation
globale au moment de l’admissibilité au certificat.
Ouvrages pertinents
1. Bandiera GW. Emergency medicine health advocacy. Can J Emerg Med
2003;5(5): 336-42
Genres d’outils
Examen écrit (dissertation) et portefeuilles (variantes)
Rapport descriptif à angle unique
Commentaires
Cet article décrit un programme en trois volets pour stimuler l’intérêt pour la
promotion de la santé et le degré d’activité dans ce domaine. Les résidents ont
discuté de nombreux exemples de représentation pertinents à leur spécialité, ont
fait la critique d’exemples fournis comme matière à étudier et, enfin, ont rédigé
une brève dissertation et une critique sur leur propre expérience pratique en
matière de promotion de la santé. Cette dernière était ensuite présentée aux
pairs et discutée. L’article ne décrit pas l’évaluation des dissertations, mais il serait
facilement possible d’établir des processus formels pour ce faire ou d’inclure les
dissertations dans un portefeuille sur la résidence globale.
2. Borgiel AEM, Williams JL, Davis DA, Dunn EV, Hobbs N, Hutchinson B, et al.
Evaluating the effectiveness of 2 educational interventions in family practice.
CMAJ 1999;161(8): 965-70.
Genres d’outils
Évaluation fondée sur la pratique, étude des dossiers, sondage auprès
des patients
Étude contrôlée randomisée
Médecins en pratique familiale
Commentaires
Même si cette étude a été conçue pour déterminer les effets de deux
interventions éducatives différentes sur les pratiques en santé préventive de
médecins de famille, elle faisait appel à certains outils novateurs et bien décrits
85
pour faire l’évaluation. Les chercheurs ont demandé aux patients de répondre
à un sondage. Des études complètes des dossiers médicaux ont été effectuées
avant et après les interventions éducatives. Il n’y a avait pas de différence en
fonction du type d’intervention, mais les chercheurs ont quand même
démontré que les outils étaient en mesure de donner un aperçu des pratiques
des médecins participants à l’étude.
3. Brill JR, Ohly S, Stearns MA. Training community-responsive physicians.
Acad Med 2002;77(7):747.
Genres d’outils
Portefeuilles et formulaires d’évaluation globale
Conception de curriculum descriptive
Résidents en pratique familiale
Commentaires
Il s’agit d’une étude novatrice qui présente l’utilisation d’un curriculum formel
sur la promotion de la santé conçu pour stimuler l’intérêt pour la pratique
rurale et la santé publique. Les résidents étaient appelés à produire des
résumés écrits à inclure dans un portefeuille et à entreprendre des évaluations
périodiques de leurs activités à l’aide d’une série prédéfinie de huit domaines
spécifiques de contenu.
4. Leone RJ, Hammond JS. Surgical residents’ knowledge of injury prevention
principles. Am J Surg 2000;180(3):223-6.
Genre d’outil
Examen écrit
Étude transversale
Résidents en chirurgie générale dans trois centres
Commentaires
C’est l’une des rares études qui insiste sur les méthodes d’évaluation plutôt
que sur les méthodes d’enseignement. Elle décrit un examen écrit à réponses
courtes pour évaluer les connaissances des résidents en prévention des blessures,
en tendances dans les blessures et en violence intentionnelle. Le rendement
des résidents a été généralement médiocre, mais ils ont manifesté l’intérêt d’en
apprendre davantage sur le sujet.
86
5. Verma S, Flynn L, Seguin R. Faculty’s and residents’ perceptions of teaching and
evaluating the role of health advocate: a study at one Canadian university.
Acad Med 2005;80(1):103-8.
Genre d’outil
Évaluation fondée sur la pratique (variante)
Étude qualitative auprès d’un groupe témoin
Résidents en médecine canadiens au niveau postdoctoral
Commentaires
Les professeurs et les résidents ont participé aux discussions de groupes
témoins distincts pour déterminer leur degré de compréhension du rôle de
Promoteur de la santé et de son évaluation. Même s’il ne s’agit pas en soi d’un
article sur l’évaluation, cette étude donne une bonne idée des défis posés aux
professeurs et aux résidents face à la nécessité d’enseigner la promotion de la
santé et d’évaluer les résidents dans ce rôle. Les concepteurs de programmes
pédagogiques pourraient transformer cette conception sous forme de groupe
témoin en une étude autodirigée ou en technique d’évaluation fondée sur les
portfolios en demandant aux résidents de consigner leurs expériences et d’en
faire rapport à un groupe ou durant une rencontre bilatérale avec leur directeur
de programme ou leur conseiller universitaire. Il est intéressant de constater
que les auteurs ont fait valoir que, même si les professeurs concevaient le rôle
de Promoteur de la santé comme inhérent à leur vie professionnelle et une
réalité qui devrait être évidente aux apprenants, les résidents n’étaient pas au
courant du rôle de Promoteur de la santé exercé par leurs professeurs.
Aitken ME, Rowlands LA, Wheeler JG. Advocating for children’s health at the state
level. Arch Pediatr Adolesc Med 2001;155(8)877-80.
Brill JR, Ohly S, Stearns MA. Training community-responsive physicians. Acad Med
2002;77(7):747.
Borgiel AEM, Williams JL, Davis DA, Dunn EV, Hobbs N, Hutchinson B, et al.
Evaluating the effectiveness of 2 educational interventions in family practice.
CMAJ 1999;161(8):965-70.
Clark PA. What residents are not learning: observations in an NICU. Acad Med 76
2001;(5):419-24.
87
Frank JR, Langer B. Collaboration, communication, management, and advocacy:
teaching surgeons new skills through CanMEDS project. World J Surg
2003;27:972-8.
Kilduff A, McKeown K, Crowther A (1998) Health needs assessment in primary care:
the evolution of practical public health approach. Public Health 112(3):175-81.
Leone RJ, Hammond JS. Surgical residents’ knowledge of injury prevention
principles. Am J Surg 2000;180(3):223-6.
Notzer N, Abramovitz R. Clinical learning experiences of Israeli medical students in
health promotion and prevention of cancer and cardiovascular diseases. Isr Med
Assoc J 2002;4(2):149-52.
Oandasan I, Barker KK. Educating for advocacy: exploring the source and substance
of community-responsive physicians. Acad Med 2003;78(10 Suppl):S16-S19.
Taylor KL, Chudley AE. Meeting the needs of future physicians: a core curriculum
initiative for postgraduate medical education at a Canadian university. Med Educ
2001;35(10):973-82.
Verma S, Flynn L, Seguin R. Faculty’s and residents’ perceptions of teaching and
evaluating the role of health advocate: a study at one Canadian university. Acad
Med 2005;80(1):103-8.
Wilson A, McDonald P. Comparison of patient questionnaire, medical record, and
audio tape in assessment of health promotion in general practice consultations.
BMJ 1994;309:1483-5.
88
Érudit
3.7 Érudit
Jonathan Sherbino
Définition
Comme érudits, les médecins démontrent un engagement de toute une vie
envers l’apprentissage fondé sur la réflexion, ainsi que la création, la diffusion,
l’application et l’utilisation de connaissances médicales.
1. maintenir et améliorer les activités professionnelles par l’acquisition
continue du savoir;
2. évaluer de façon critique de l’information et ses sources, et
l’appliquer judicieusement aux décisions à prendre dans le contexte
de la pratique;
3. faciliter l’acquisition du savoir pour les patients, les membres de leur
famille, les étudiants, les résidents, d’autres professionnels de la santé,
le public et d’autres intervenants, le cas échéant;
4. contribuer à la création, à la diffusion, à l’application et à l’utilisation
de connaissances et de pratiques médicales nouvelles.
Aperçu
Le rôle d’Érudit CanMEDS renferme diverses compétences, notamment l’acquisition
continue du savoir, l’évaluation critique (p. ex., la pratique fondée sur des données
probantes), l’enseignement et la recherche. Ces éléments sous-tendent une pratique
clinique compétente (acquisition continue du savoir et évaluation critique)
et contribuent à l’avancement de la profession (enseignement et recherche).
Malgré l’importance du rôle d’Érudit, très peu de recherches ont porté sur
l’enseignement et l’évaluation des compétences qui le composent. L’élaboration
et l’évaluation des programmes pédagogiques concernant le perfectionnement
professionnel continu font l’objet d’un grand nombre d’ouvrages et, pourtant,
l’évaluation des comportements associés à l’acquisition continue du savoir n’a pas
été étudiée en profondeur. Les ouvrages portant sur les outils d’évaluation des
compétences dans le rôle de chercheur se font rares, même si l’évaluation des
habiletés en recherche est intrinsèque à toute étude et qu’elles sont prises en
compte dans l’examen des demandes de subvention et les études d’articles par les
pairs. Enfin, il y a quelques excellentes synthèses critiques mettant en évidence les
composantes d’un enseignement fructueux en médecine. Toutefois, la recherche
concernant les outils d’évaluation connexes, spécifiques à la formation médicale,
est presque absente. Des évaluations très perfectionnées de l’enseignement sont
décrites dans les ouvrages sur les études supérieures, mais les enseignants et les
89
professeurs cliniques ont besoin que ces outils soient adaptés à l’environnement
de la formation médicale. Contrairement à la rareté des ouvrages sur les outils
d’évaluation des compétences en acquisition continue du savoir et en recherche,
les articles sur les outils d’évaluation des capacités de réflexion critique abondent.
Compte tenu de ces difficultés, certains outils semblent mieux convenir à
l’évaluation du rôle d’Érudit. Comme c’est le cas avec tous les rôles CanMEDS,
aucun outil à lui seul ne suffit pour mesurer toutes les compétences essentielles
de l’Érudit. Par conséquent, il faudrait utiliser plusieurs outils et de nombreux
évaluateurs pour assurer la validité et la fiabilité de l’évaluation des apprenants.
Voici les quatre outils qui nous ont semblé les plus appropriés pour évaluer le
rôle de l’Érudit.
1. Portefeuilles
Les portefeuilles conviennent bien à l’évaluation du rôle d’Érudit. Ils constituent,
par définition, un outil longitudinal, qui s’adapte bien à l’évaluation de la
compétence d’un apprenant sur une base continue. Les projets d’autoapprentissage
avec leurs composantes de réflexion inhérentes peuvent aisément être utilisés
pour évaluer les progrès d’un apprenant. De brèves synthèses des ateliers, des
cours ou des activités d’enseignement clinique (réalisés par l’apprenant) avec les
notes accordées à l’enseignement, représenteraient d’excellentes composantes à
ajouter au portefeuille. Enfin, un exemple représentatif d’un projet de recherche
(p. ex., une critique des ouvrages, une demande de subvention, un article
comportant une critique par des pairs) mériterait d’être ajouté au portefeuille
pour permettre l’évaluation de la compétence en recherche.
2. Questions à réponse courte (QRC)
Les QRC représentent un moyen efficace et efficient d’évaluer plusieurs des
compétences inhérentes au rôle d’Érudit. Les apprenants seraient appelés à faire
une évaluation critique d’une étude spécifique à la spécialité et à répondre à des
questions qui y ont trait. D’autres questions pourraient porter sur la pertinence de
la méthodologie de recherche et de la conception de l’étude pour une question de
recherche donnée, demandant une liste de critères de qualité dans la conception
de l’étude ou de simples calculs des résultats statistiques de base.
L’observation des habiletés en évaluation critique d’un apprenant (p. ex., la
présentation d’un article à un club de lecture) ou en enseignement peut se faire
aisément. Les comportements réels, en temps réel, sont évalués. Les superviseurs
de la recherche pourraient évaluer d’une manière semblable les apprenants par
une observation directe. Par ailleurs, si seulement un petit nombre de superviseurs
de la recherche participent à l’évaluation, la fiabilité de l’observation directe est
limitée. L’observation directe ne constitue pas un choix convenable pour évaluer
les habiletés en acquisition continue du savoir. Les comportements connexes
90
Érudit
observables et la nature longitudinale de cette compétence ne concordent pas avec
les possibilités de cet outil d’évaluation. Le recours à des barèmes d’évaluation
globale ou de notation à l’aide de listes de vérification devrait être fonction des
comportements spécifiques évalués.
4. Rétroaction de sources multiples et évaluation par les pairs
La rétroaction de sources multiples peut avoir une certaine utilité dans l’évaluation
du rôle d’Érudit. Plus particulièrement, cet outil est capable d’évaluer la compétence
en enseignement. Le problème avec cet outil, c’est de concevoir un questionnaire
qui capte de manière appropriée les comportements en enseignement. Les pairs,
les autres professionnels de la santé et les patients pourraient facilement ne
pas étiqueter facilement comme étant de « l’enseignement » la promotion de
l’apprentissage qui se produit systématiquement durant les rencontres cliniques.
La distinction entre ces « moments d’enseignement » (p. ex., l’explication de la
pathophysiologie d’une maladie à un patient, la discussion des bienfaits thérapeutiques
d’un médicament par rapport à ceux d’un autre avec une collègue infirmière) et
les cours ou séminaires traditionnels est essentielle pour obtenir des évaluations
valides de la part de sources multiples. Il est fréquent d’inclure l’évaluation par
les pairs dans les activités traditionnelles d’enseignement (p. ex., les tournées) et
d’enseignement clinique (p. ex., au chevet des patients) entre apprenants seniors
et juniors. L’inclusion d’une véritable évaluation par les pairs (mettant en jeu
des apprenants à des stades identiques de leur formation) pour l’enseignement
des comportements entourant un cas clinique pose des difficultés singulières.
Les discussions de cas peuvent ne pas avoir été identifiées comme des moments
d’enseignement et l’évaluation peut manquer de validité.
Ouvrages pertinents
1. Stern DT, Linzer M, O’Sullivan PS, Weld L. Evaluating medical residents’
literature-appraisal skills. Acad Med 1995; 70(2):152-4.
Genres d’outils
Rapport par l’intéressé, observation directe
Étude interventionnelle prospective, cohorte unique
Commentaires
En dépit de ses lacunes méthodologiques et de ses constatations équivoques,
cette étude donne un bon exemple d’outil sous forme d’examen écrit, utilisé
pour évaluer les habiletés en évaluation critique. Une composante
d’autoréflexion en fait aussi partie, démontrant comment ces données peuvent
être incorporées dans un portefeuille.
91
2. Fliegel JE, Frohna JG, Mangrulkar RS. A computer-based OSCE station to
measure competence in evidence-based medicine skills in medical students.
Acad Med 2002;77(11):1157-8.
Genre d’outil
Simulation de cas/examen clinique objectif structuré (ECOS), examen écrit
Intervention prospective, cohorte unique
Étudiants en médecine
Commentaires
Cette étude se sert d’un examen écrit pour évaluer les compétences en évaluation
critique et mesure les propriétés psychométriques de l’outil particulier dans cet
environnement d’évaluation. Il convient de signaler que cet article démonter
comment cet outil d’évaluation peut être intégré dans un ECOS.
3. Snell L, Tallet S, Haist S, Hays R, Norcini J, Prince K, et al. A review of the
evaluation of clinical teaching: new perspectives and challenges. Med Educ
2000; 34(10):862-70.
Genre d’outil
Rétroaction de sources multiples (RSM)
Article de synthèse
Professeurs de médecine
Commentaires
Cette étude narrative procure un solide fondement théorique pour l’évaluation
des compétences en enseignement. Par exemple, l’étude fait ressortir
indirectement l’utilité de la RSM comme outil d’évaluation des habiletés en
enseignement.
92
Érudit
4. Katz NT, McCarty-Gillespie L, Magrane DM. Direct observation as a tool for
needs assessment of resident teaching skills in the ambulatory setting. Am J
Obstet Gynecol 2004;189(3):684-7.
Genre d’outil
Observation directe (liste de vérification)
Interventionelle, cohorte unique
Commentaires
Cette étude analyse un outil d’évaluation de l’enseignement par observation
directe se fondant sur un barème de notation à l’aide d’une liste de vérification.
Les constatations de l’étude font valoir que les comportements en enseignement
ne se sont pas améliorés avec le degré de formation. Les auteurs ont conclu
que cette absence d’amélioration était attribuable à des lacunes dans le programme
pédagogique. Par contre, les conclusions peuvent aussi être attribuables au
manque de sensibilité du barème de notation de la liste de vérification, facteur
à considérer dans la conception d’autres outils d’évaluation de l’enseignement
par observation directe.
5. Jackson JL, O’Malley PG, Salerno SM. The Teacher and Learner Interactive
Assessment System (TeLIAS): a new tool to assess teaching behaviours in the
ambulatory setting. Teach Learn Med 2002;14(4):249-56.
Genre d’outil
Observation directe (enregistrement audio)
Par observation, qualitative
Étudiants en médecine
Commentaires
L’outil d’évaluation décrit dans cette étude, qui porte sur l’enseignement clinique
(au chevet du patient) n’est pas immédiatement applicable dans l’évaluation de
l’apprenant. Par ailleurs, les conclusions de l’étude peuvent éclairer l’élaboration
d’un outil d’observation directe spécifique à une spécialité.
93
Braxtton JM, Del Favero M. Evaluating scholarship performance: traditional and
emergent assessment templates. N Dir Teach Learn 2002; (114):19-31.
Carusetta E. Evaluating teaching through teaching awards. N Dir Teach Learn 2001;
(88):31-40.
Cramer JS, Mahoney MC. Introducing evidence based medicine to the journal club,
using a structured pre and post test: a cohort study. BMC Med Educ 2001; 1(6)
[Epub Nov 6].
Hojat M, Nasca TJ, Erdmann JB, Fribsy AJ, Veloski JJ, Connella JS. An operational
measure of physician lifelong learning: its development, components and
preliminary psychometric data. Med Teach 2003; 25(4)433-7.
Ramos KD, Schafer S, Tracz SM. Validation of the Fresno test of competence in
evidence based medicine. BMJ 2003; 326:319-21.
Shelvin M et al. The validity of student evaluation of teaching in higher education:
love me, love my lectures? Assess Eval Higher Educ 2000; 25(4):397-405.
Wiese J, Varosy P, Tierney L. Improving oral presentation skills with a clinical reasoning
curriculum: a prospective controlled study. Am J Med 2002; 112(3):212-8.
94
Professionnel
3.8 Professionnel
Ramona A. Kearney, Derek Puddester et Jason R. Frank
Définition
Comme professionnels, les médecins sont voués à la santé et au mieux-être
de la personne et de la société, à la pratique respectueuse de l’éthique, à
l’autoréglementation de la profession et aux critères rigoureux de comportements
personnels.
1. démontrer un engagement envers leurs patients, la profession
et la société par la pratique respectueuse de l’éthique;
2. démontrer un engagement envers leurs patients, la profession
et la société en participant à l’autoréglementation de la profession;
3. démontrer un engagement envers la santé des médecins et leur
pratique durable.
Aperçu
En tant que membres d’une profession indépendante jouissant des privilèges
de l’autonomie clinique et de l’autoréglementation, on s’attend des médecins
contemporains qu’ils placent le mieux-être de leurs patients et de l’ensemble
de la société au-dessus de leurs propres intérêts. Pour que dure cette relation de
fiduciaire avec la société et pour que la société continue de considérer les médecins
comme des professionnels valorisés, compétents et autonomes, il est impératif de
manifester incessamment un engagement à l’endroit d’une pratique étique et du
maintien de normes de réglementation.
Le professionnalisme désigne à la fois les comportements des particuliers et les
valeurs fondamentales qu’a épousés la profession. Les compétences du rôle de
Professionnel ont été apprises principalement par l’entremise du curriculum
informel et tacite des facultés de médecine. On croit souvent que le professionnalisme
se développe chez les médecins simplement en complétant le programme
de formation au terme duquel une personne est réputée être « devenue » un
professionnel. Cette perception omet de reconnaître que l’environnement de
formation peut être hostile et susciter le cynisme et un jugement moral dégradé.
La société passe depuis un certain temps le professionnalisme à la loupe et a
identifié des menaces à ses principes. Les professeurs ont reconnu la nécessité
d’un curriculum explicite d’enseignement des compétences dans ce domaine et
de mettre en place les paradigmes d’évaluation afférents.
95
Le rôle CanMEDS de Professionnel est structuré de manière unique autour de
trois compétences principales. La première porte sur les comportements d’une
pratique éthique, soit le domaine auquel les professeurs pensent en premier lieu
lorsqu’il est question de « professionnalisme ». Il existe beaucoup d’ouvrages
spécialisés portant sur les approches à l’évaluation de cette dimension. Les
évaluations peuvent se produire dans le milieu clinique où les observations par
les nombreux collègues et pairs permettent de dégager le portrait complet du
professionnalisme de la personne. Puisque la réflexion est essentielle à
l’apprentissage et que le professionnalisme est un processus évolutif, les
évaluations qui examinent les réflexions des stagiaires peuvent représenter une
source précieuse d’information sur leur professionnalisme en émergence.
La deuxième compétence essentielle concerne les habiletés des médecins à exercer
efficacement la médecine en respectant les limites d’une profession autoréglementée.
Il existe peu d’ouvrages qui abordent les approches à l’évaluation de cette dimension.
Par ailleurs, ces comportements se prêtent bien à une évaluation au moyen de
portfolios et les connaissances sous-jacentes peuvent être mesurées à l’aide
d’examens écrits.
Enfin, la troisième compétence essentielle du rôle CanMEDS de Professionnel
englobe les habiletés nécessaires à une pratique efficace et durable. Les membres
de la profession se préoccupent de la santé et du mieux-être des médecins depuis
plus d’un siècle. Au cours des dernières décennies, la profession a reconnu
ouvertement la nécessité de donner une formation formelle sur la santé et le
mieux-être personnels, la résilience, la durabilité et le perfectionnement personnel
et professionnel. Ici aussi, les portfolios conviennent bien pour faire le suivi de la
progression dans ce domaine et les examens écrits peuvent servir à mesurer la
base des connaissances pertinentes qui s’y rattache.
Les outils les plus propices à l’évaluation du professionnalisme examinent
le comportement en milieu de travail et évaluent le développement du
professionnalisme chez l’individu par la réflexion. Les outils privilégiés pour
l’évaluation du comportement sont les suivants :
L’observation directe de la pratique concrète procure la plus grande fidélité dans
l’évaluation des aspects du professionnalisme. L’évaluation du comportement
peut se produire tout au long de la formation de l’apprenant et donne une idée
de l’évolution du professionnalisme, plus particulièrement si un petit groupe
d’évaluateurs participe à l’évaluation de nombreuses situations en cours de
formation. Les formulaires peuvent être conçus pour inclure des listes de
comportements explicites et des barèmes représentant leur fréquence (« jamais »
à « toujours ») et leur qualité (« médiocre » à « excellent ») ou encore la mesure
dans laquelle les exigences ont été satisfaites. Au nombre des éléments précis
96
Professionnel
peuvent figurer la façon de transiger avec les questions d’éthique (comme
l’autonomie et la confidentialité du patient), la conscience de soi, la responsabilité
et l’acquittement du devoir de diligence.
La rétroaction de sources multiples permet la contribution de divers collègues et
pairs pour produire de nombreux portraits de comportements dans différentes
circonstances. L’étendue du comportement peut être mesurée selon cette méthode,
tandis que la profondeur en est souvent analysée au moyen des fiches d’évaluation
en cours de formation (FECF). La validité repose sur le grand nombre d’évaluations
et la sélection réfléchie des contributeurs ajoute à la validité apparente. Les patients
et les familles peuvent attester des discussions franches et du respect de leur
autonomie, les infirmières peuvent donner leurs commentaires sur la délégation
d’actes médicaux et le respect dans les relations interprofessionnelles et les
superviseurs directs peuvent évaluer la réceptivité à la rétroaction et l’autoévaluation.
Les pairs se révèlent une source appropriée de rétroaction sur le mieux-être de
l’apprenant et ses comportements liés à la pratique durable.
3. Portefeuilles
Les portefeuilles donnent un aperçu de l’essence du professionnel en développement
en faisant le suivi de sa progression par la réflexion. Ils servent à donner de la
rétroaction à l’apprenant pour qu’il ou elle établisse ses propres objectifs de
perfectionnement et évalue ses progrès. Les portefeuilles sont aussi utiles pour
identifier des lacunes et facilitent donc la rémédiation. On peut y inclure, par
exemple, de courtes dissertations sur le règlement de problèmes d’éthique,
les expériences personnelles en matière d’acquittement du devoir de diligence,
des lettres attestant de l’implication au sein d’entités de réglementation ou
d’élaboration de politiques, ou des objectifs de perfectionnement personnel établis
par l’intéressé et les évaluations de suivi de la réussite dans leur atteinte.
Ouvrages pertinents
1. Arnold L. Assessing professional behaviour: yesterday, today, and tomorrow.
Acad Med 2002; 77(6):502-15.
Genres d’outils
Divers
Synthèse critique
Diversifiée (étudiants et résidents en médecine, étudiants de premier et
deuxième cycles dans d’autres disciplines)
97
Commentaires
C’est une excellente étude sur l’évaluation du professionnalisme. L’auteur
décrit des outils de mesure tirés d’études sur l’évaluation du comportement
professionnel comme partie intégrante du rendement clinique, du
comportement professionnel comme dimension distincte et des éléments
spécifiques de l’humanisme et de l’autoréflexion. Elle présente de nombreux
outils d’évaluation et une explication des propriétés psychométriques de
chacun d’entre eux.
2. Larkin GL, Binder L, Houry D, Adams J. Defining and evaluating
professionalism: a core competency for graduate emergency medicine
education. Acad Emerg Med 2002; 9(11):1249-56.
Genres d’outils
Divers
Commentaires
Cet article dresse une liste consensuelle des comportements professionnels.
Il présente aussi les outils d’évaluation du professionnalisme en fonction d’une
hiérarchie allant de la connaissance au comportement : « sait », « sait comment »,
« montre comment ».
3. Lynch DC, Surdyk PM, Eiser AR. Assessing professionalism: a review of the
literature. Med Teach 2004; 26(4):366-73.
Genres d’outils
Divers
Synthèse critique
Diversifiée (prédoctorale et postdoctorale)
Commentaires
Cette étude exhaustive insiste plus particulièrement sur l’éthique médicale.
Elle présente aussi des recommandations générales sur l’évaluation du
professionnalisme et des recommandations précises pour évaluer les résidents
et les médecins en pratique active.
98
Expert médical
4. Ginsburg S, Regehr G, Hatala R, McNaughton N, Frohna A, Hodges B, et al.
Context, conflict, and resolution: a new conceptual framework for evaluating
professionalism. Acad Med 2000; 75(10):S6-S11.
Genres d’outils
Divers
Synthèse critique
Diversifiée (prédoctorale et postdoctorale)
Commentaires
Cet article passe en revue les ouvrages sur les genres d’instruments d’évaluation
utilisés pour mesurer le professionnalisme dans la formation médicale.
Il dégage les lacunes conceptuelles fondamentales qui existent dans ces
ouvrages. Il fait valoir que les trois plus importantes composantes omises sont
l’examen des contextes dans lesquels se produisent les comportements non
professionnels, les conflits qui entraînent de telles fautes, et les raisons pour
lesquelles les étudiants ont fait ce choix. L’article propose ensuite des stratégies
pour résoudre ces problèmes.
Le Centre de l’AMC pour la santé et le mieux-être des médecins, un centre virtuel
dans le site Web www.amc.ca, a identifié un grand nombre de sources d’information,
de documents et d’études auxquels on peut aisément avoir accès à partir du site.
Les références suivantes peuvent être particulièrement utiles pour la formation
postdoctorale :
Manuels
Goldman LS, Myers M, Dickstein LJ, rédacteurs. The handbook of physician
health: the essential guide to understanding the health care needs of physicians.
Chicago (IL) : American Medical Association; 2000.
Peterkin A. Staying human during residency training. 3rd ed. Toronto : University of
Toronto, 2004.
Stern DT. Measuring medical professionalism; 2006. New York : Oxford University
Press; 2006.
Revues, brochures, déclarations de politique
Puddester D, rédacteur. Creating a healthy culture in medicine : Rapport de la
Conférence internationale de l’AMA/AMC de 2004 sur la santé des médecins.
Ottawa : Association médicale canadienne, 2005. Accessible à www.amc.ca.
99
Association médicale canadienne. La santé et le mieux-être des médecins [déclaration
de politique]. Accessible à http://www.cma.ca/index.cfm/ci_id/3211/la_id/2.htm.
Western Journal of Medicine 2001;174(1). Special issue on physicians, well-being.
Myers MF. Treatment of the mentally ill physician. Ottawa : Canadian Psychiatric
Association; 2001.
Articles
Keim S et al, Measuring wellness among resident physicians. Med Teach 2006;
28(4):370-4.
Kaufmann M. Recognition and management of the behaviourally disruptive doctor.
Ont Med Rev 2001; 53-5 April.
Kaufmann M. Physician Suicide: risk factors and prevention. Ont Med Rev 2000;
Sept 20-22.
100
Glossaire
Acronyme
Terme
Description
Choix de
réponses
Genre d’examen écrit qui comporte une
question et une liste d’options à partir de
laquelle l’apprenant doit choisir la bonne
réponse. Dans tous les examens à choix
de réponses, l’apprenant est appelé à
reconnaître la réponse correcte plutôt que
de s’en souvenir sans indice. Plusieurs des
outils d’évaluation écrits situent la question
dans un scénario clinique ou une vignette.
Les choix multiples, le jumelage, le
jumelage étendu, le choix d’un nombre de
bonnes réponses et les questions vrai ou
faux comptent parmi les outils habituels
dans cette catégorie.
Choix d’un nombre
de bonnes réponses
Genre d’examen écrit comportant un
amalgame de QCM et de jumelage étendu.
Il comporte un tronc d’introduction et des
instructions de choisir un nombre donné de
réponses correctes dans une longue liste.
Ces questions pourraient porter sur tous les
tests diagnostiques ou les interventions de
prise en charge qui seraient appropriés dans
une situation clinique donnée.
Utilisées dans les ouvrages spécialisés en
éducation pour désigner les habiletés, les
connaissances et les attitudes essentielles
pour qu’une personne atteigne une plus
grande compétence.
Compétences
Dissertation
Genre d’examen écrit qui comporte des
questions exigeant des apprenants qu’ils
formulent leurs réponses sous forme écrite
ou par ordinateur en se fondant sur leurs
connaissances. La dissertation exige une
synthèse et l’explication du contenu et
nécessite souvent des habiletés en réflexion
critique, comme l’évaluation, l’analyse et
le jugement.
101
Acronyme
Terme
Description
Effet de la bête
Influence négative sur la notation de tous
les sous-éléments en se fondant sur la note
globale perçue – parti pris défavorable. Par
exemple, un apprenant perçu comme étant
médiocre recevra des notes médiocres sur
tous les sous-éléments, quelles que soient
les habiletés de l’apprenant dans cet élément
en particulier. Contraire de l’effet de l’ange.
Effet de l’ange
Influence positive sur la notation de tous
les sous-éléments en se fondant sur la note
globale perçue – parti pris favorable. Par
exemple, un apprenant perçu comme étant
exceptionnel recevra des notes exceptionnelles
sur tous les sous-éléments, quelles que soient
les habiletés de l’apprenant dans cet élément
en particulier. Contraire de l’effet de la bête.
360º
Évaluation à 360
degrés alias
Rétroaction de
sources multiples
Les personnes qui se rapportent directement
à l’intéressé, les pairs et les superviseurs
remplissent un questionnaire pour recueillir
des renseignements, évaluer la conduite et
donner de la rétroaction.
EOSHTI
Évaluation objective
structurée des
habiletés en
techniques
d’intervention
Examen clinique
objectif structuré
Semblable à un ECOS (voir la définition
d’ECOS), mais insiste sur les habiletés
psychomotrices.
ECOS
102
Forme d’évaluation qui donne un échantillon
du rendement des apprenants tandis qu’ils
font le tour d’une série de stations représentant
divers scénarios cliniques. À chaque station,
l’apprenant peut rencontrer un patient
standardisé, faire un examen oral structuré,
examiner de l’information visuelle (p. ex.,
des radiographies, des électrocardiogrammes),
faire une simulation fortement ou faiblement
réaliste (p. ex., un dispositif d’entraînement
partiel) ou effectuer une tâche écrite. Les
apprenants sont habituellement appelés à
exécuter une technique spécifique, à simuler
une partie d’une rencontre avec un patient
ou à répondre à des questions fondées sur
le matériel présenté.
Acronyme
EOSRR
EOS
FECF
FEFF
Terme
Examen objectif
structuré relié
au rendement
Description
Semblable à un ECOS (voir la définition
d’ECOS), mais n’a pas nécessairement de
dimension clinique.
Examen oral
Méthode d’évaluation selon laquelle un
évaluateur ou un jury d’évaluateurs pose
à un apprenant une série de questions de
manière à évaluer les réponses de l’apprenant
et à y réagir. Les examens oraux procurent
une interaction dynamique intense entre
l’évaluateur et l’apprenant.
Examen oral
structuré
Méthode servant à évaluer un nombre
établi de cas standardisés à l’aide de
questions d’incitation anticipées, fondées
sur une gamme de résultats attendus du
candidat et un barème de notation bien
critérié pour accroître la fiabilité de
l’évaluation.
Fiche de rencontre
sur l’enseignement
Genre d’observation directe en cours
de formation qui se caractérise par des
observations documentées après de brèves
rencontres entre le superviseur et
l’apprenant dans le milieu clinique.
Fiche des
interventions
quotidiennes
Genre d’observation directe en cours
de formation qui se caractérise par des
rencontres entre le superviseur et l’apprenant
dans le milieu clinique, dans ce cas, en salle
d’opération.
Fiche d’évaluation en
cours de formation
Fiche d’évaluation en
fin de formation
Fiche d’évaluation
quotidienne de
l’enseignement
Instrument d’évaluation pour documenter
l’observation directe.
Rapport sommatif sur l’évaluation en cours
de formation.
Genre d’outil d’évaluation du professeur
qui se caractérise par des observations
documentées après de brèves rencontres
entre le superviseur et l’apprenant dans le
milieu clinique.
103
Acronyme
104
Terme
Fiches de rencontre
quotidienne ou
Fiche d’évaluation
quotidienne
Description
Genre d’outil d’évaluation en cours de
formation qui se caractérise par des
rencontres entre le superviseur et
l’apprenant dans le milieu clinique.
Jumelage
Genre d’examen écrit dans lequel deux
listes sont remises aux apprenants à qui
on demande de jumeler un élément d’une
colonne à un élément de l’autre colonne.
Un exemple courant de jumelage consiste
en une liste de termes dans une colonne et
de définitions dans l’autre.
Jumelage étendu
Genre d’examen écrit dans lequel les
apprenants reçoivent une liste de dix à
vingt éléments et sont appelés à les jumeler
à une série de réponses correspondantes.
Un élément peut être jumelé à plus d’une
réponse. Par exemple, on donne aux
apprenants une liste d’organes et une liste
de médicaments. On leur demande ensuite
de jumeler les organes de la liste avec les
médicaments qui ont un effet sur cet organe.
Observation directe
Dans le modèle d’évaluation en cours de
formation du Collège royal, l’observation
directe désigne l’observation, l’évaluation
et la documentation sur une base continue
des actes posés par les apprenants dans des
milieux cliniques réels durant leur formation.
Le facteur essentiel qui distingue l’observation
directe des autres formes d’évaluation est
que l’apprenant est observé pendant qu’il
pose des actes authentiques qui se produisent
naturellement dans l’expérience clinique au
quotidien. À l’instar de la simulation,
l’observation directe exige le recours à un
outil d’évaluation afférent pour structurer
et consigner le jugement de l’observateur.
Patients simulés
Acteurs en santé formés pour simuler une
situation ou un problème d’ordre médical.
Acronyme
Terme
Patients
standardisés
Description
Patients réels ou acteurs formés pour
simuler une situation ou un problème
d’ordre médical.
Portefeuilles
Méthode flexible et polyvalente de
recueillir des preuves de l’atteinte
progressive de la compétence.
Problème
de mémoire
Manque d’objectivité découlant d’erreurs
dans la souvenance des événements, à
cause de problèmes de mémoire et de la
considération des choses en rétrospective,
changeant peut-être la façon de voir la
situation.
QCM
Question à
choix multiples
Genre d’examen écrit consistant en une
question d’introduction ou tronc qui
demande à l’apprenant de choisir la
réponse la plus juste parmi une liste qui
inclut aussi de deux à cinq autres
distracteurs plausibles mais incorrects.
QJE
Question à
jumelage étendu
Genre d’examen écrit dans lequel les
apprenants reçoivent une liste de dix à
vingt éléments et sont appelés à les jumeler
à une série de réponses correspondantes.
Un élément peut être jumelé à plus
d’une réponse.
QRC
Question à
réponse courte
Genre d’examen écrit qui comporte une
brève question très ciblée, conçue pour
obtenir une réponse construite fiable de
l’apprenant. Les réponses consistent
habituellement en quelques phrases ou
mots concis. Le barème de correction est
conçu pour anticiper toutes les réponses
correctes possibles.
Réalisme
Degré de fidélité ou d’authenticité de
l’évaluation. Par exemple, la mise à
l’épreuve des habiletés en sutures sur un
cochon est plus réaliste que celle des
habiletés en intubation chirurgicale.
105
Acronyme
Terme
Registre
Description
Instrument structuré pour documenter
qu’une activité d’apprentissage a eu lieu.
Réponses construites
Genre d’examen écrit qui demande aux
apprenants de formuler leurs réponses
plutôt que de choisir les réponses correctes
dans une liste d’options fournies.
RSM
Rétroaction de sources Méthode qui se sert d’instruments
multiples alias
spécifiques conçus pour recueillir des
Rétroaction à 360°
données au sujet de comportements en
particulier ou de constructs professionnels
(p. ex., professionnalisme et habiletés en
communication) chez l’apprenant. Une
autoévaluation en fait aussi souvent partie.
Les questionnaires peuvent être les mêmes
ou différents selon le groupe d’évaluateurs.
La rétroaction est rassemblée et présentée
selon le groupe de provenance. On peut
utiliser la RSM pour des évaluations
formatives et sommatives et identifier les
apprenants en difficulté.
Simulation
Reproduction artificielle d’un environnement
ou de circonstances cliniques dans le but de
permettre à un apprenant d’effectuer une
tâche précise d’une manière contrôlée qui
ne présente aucun risque pour les patients.
CUSUM
Somme cumulative
Technique statistique qui permet la mesure
des progrès vers la maîtrise des habiletés en
techniques d’intervention en intégrant des
composantes comme les événements
indésirables et la fréquence de la répétition.
Vrai ou faux
Examen dans lequel les apprenants sont
appelés à se prononcer à savoir si un
énoncé est vrai ou faux.
106

Le guide des outils d`évaluation CanMEDS

Transcription

Documents pareils

le bonheur de se révéler

CLUB MED RECRUTE UN/UNE MONITEUR / ANIMATEUR

CLUB MED d`Opio - Atlantic Guillot

club med smir

Compétences

Affiche_CE_CLUB MED_BELDI_90416042011_V3x

Pour s`entraîner Compréhension du texte

carburant baisse oct08 - Club Med Collectivité

CLUB MED RECRUTE UN/UNE MONITEUR TENNIS (H/F) EN CDD

Grille d`évaluation du prof de langue - Insuf