A systematic review of the reliability of objective structured clinical

Balado sur la documentation clé en éducation médicale
(KeyLIME)
Responsable : Jonathan Sherbino
Date de diffusion :
A systematic review of the reliability of objective structured clinical examination scores
Référence :
Brannick M1, Erol-Korkmaz H2, Prewett M1. A systematic review of the reliability of objective structured
clinical examination scores. Medical Education; 45(12):1181-9.
Établissements auteurs :
1
Département de psychologie, College of Arts and Sciences, University of South Florida, Tampa (Floride),
É.-U.
2
Département de psychologie, Middle East Technical University, Ankara, Turquie
URL PubMed
Marqueurs
Domaine clinique
Expert médical
Communicateur
Domaine éducatif
Évaluation
Contexte
L’utilisation des examens cliniques objectifs structurés (ECOS) est devenue très
répandue, particulièrement dans le cadre de la formation médicale prédoctorale. En
raison de leur conception opérationnelle, ils présentent un intérêt pour les
éducateurs, qui ont besoin d’un instrument (relativement) peu coûteux, rapide et qui
éclaire leurs décisions sur les apprenants.
La définition de l’ECOS a évolué sur le plan strictement opérationnel. Aujourd’hui,
elle comprendrait les éléments suivants :
1. Un ensemble de problèmes cliniques ciblés, qui n’ont pas nécessairement de
rapport entre eux;
2. Les apprenants exécutent graduellement les stations;
3. Certaines stations comprennent des patients standardisés (c.-à-d. des
acteurs) qui simulent des situations réelles avec des patients;
4. La notation englobe une observation directe par un expert clinique;
5. Les outils de notation font appel à divers résultats globaux ou listes de
contrôle.
Objectif
Cette étude a pour but d'établir la fiabilité de l'ECOS. Les auteurs posent trois
questions :
1. À quel degré de fiabilité devrait-on s’attendre (en moyenne) lors de l’élaboration
de l’ECOS?
2. Quelle est l'étendue probable de ces valeurs?
3. Quels facteurs semblent influencer la fiabilité prévue?
Type de document
Méta-analyse
Principales caractéristiques de la méthodologie
L’étude en dit peu sur la portée de la recherche, la sélection et la notation qualitative
des études. Aucune mention également des éléments clés des normes PRISMA pour
les méta-analyses. Il n'y a aucun diagramme de contrôle pour la sélection des
études, aucun tableau des caractéristiques de l’étude, aucune analyse de sensibilité
(biais de publication) et aucune évaluation de l’hétérogénéité statistique.
Même si les auteurs reconnaissent la partialité inhérente du coefficient alpha de
Cronbach dans l'établissement de la fiabilité de l'ECOS, ce coefficient a été adopté,
car il est omniprésent dans la documentation.
Certaines études évaluent la fiabilité entre les stations et d'autres, à l’intérieur des
stations. Dans le dernier cas (souhaitons-le), on suppose que l’évaluation porterait
sur des éléments qui ont un lien entre eux, mais qui sont différents, dans le cadre
d’une brève rencontre clinique.
Les auteurs ne mentionnent aucune étude de généralisabilité incorporant l’écart
entre les stations et à l’intérieur de ces dernières.
Principaux résultats
La recherche initiale a fait ressortir 98 études, dont 64 ont été retenues. Les auteurs
ont combiné 39 études dans la méta-analyse faisant état d’une valeur alpha.
Parmi celles-ci, 65 % des études comprenaient des étudiants en médecine, 23 %,
des résidents, et les autres, une combinaison de ces deux groupes ou propre aux
médecins praticiens.
Entre les stations, le coefficient alpha non pondéré (fiabilité globale) est de 0,66
(intervalle de confiance de 95 % - 0,62-0,70). Cette étude confirme aussi un principe
reconnu selon lequel la fiabilité augmente en fonction du nombre de stations. Le
coefficient alpha non pondéré des ECOS comprenant moins de 10 stations était de
0,56 et de 0,74 pour les ECOS comprenant plus de 10 stations. Cependant, les
auteurs font encore mention de la variabilité de cette mesure de fiabilité (même avec
un nombre supérieur de stations).
La fiabilité est plus grande lorsqu’il y a deux évaluateurs (par rapport à un seul
évaluateur) et en présence d’évaluateurs experts (c.-à-d. cliniciens) (par rapport à
des évaluateurs de patients standardisés).
Principales conclusions
Selon les auteurs…
« Souvent, les résultats généraux des ECOS ne sont pas très fiables (...). En général,
il convient d'utiliser deux évaluateurs et un grand nombre de stations, mais certains
ECOS semblent plus fiables que d’autres pour des raisons que nous ne comprenons
pas encore entièrement. »
Si on reconnaît que les limites méthodologiques empêchent de tirer des conclusions
définitives, contrairement aux conclusions circonspectes des auteurs, les ECOS sont
relativement fiables (comme cet article le démontre) et importantes pour les
examens de haut niveau. Il est intéressant de constater que les auteurs ne parlent
pas de l’influence essentielle du contexte sur les paramètres psychométriques. Les
éducateurs médicaux doivent savoir que des éléments locaux non tangibles, présents
chez les apprenants, les évaluateurs et les stations, ont une grande incidence sur la
fiabilité de leur ECOS.
Une autre remarque a trait à l’aval des auteurs quant à l’adoption d’une liste de
contrôle au sujet d’un résultat global (selon les écarts de fiabilité). Ils négligent ainsi
l’influence des effets de halo/d’entrave des mesures multiples et la dévaluation de
l’expertise progressive rattachée aux listes de contrôle.
Commentaires supplémentaires à l’intention des
cliniciens enseignants
Cet article illustre les défis de l'éducateur médical, qui, en présence de multiples
statistiques, doit évaluer d’un œil critique (et plus important encore, utiliser) les
résultats d’une étude. Il devrait rappeler également l’importance de faire appel à des
experts psychométriques (c.-à-d. en matière de fiabilité et de validité) en ce qui a
trait à la conception d’instruments d’évaluation.