A systematic review of the reliability of objective structured clinical
Transcription
A systematic review of the reliability of objective structured clinical
Balado sur la documentation clé en éducation médicale (KeyLIME) Responsable : Jonathan Sherbino Date de diffusion : A systematic review of the reliability of objective structured clinical examination scores Référence : Brannick M1, Erol-Korkmaz H2, Prewett M1. A systematic review of the reliability of objective structured clinical examination scores. Medical Education; 45(12):1181-9. Établissements auteurs : 1 Département de psychologie, College of Arts and Sciences, University of South Florida, Tampa (Floride), É.-U. 2 Département de psychologie, Middle East Technical University, Ankara, Turquie URL PubMed Marqueurs Domaine clinique Expert médical Communicateur Domaine éducatif Évaluation Contexte L’utilisation des examens cliniques objectifs structurés (ECOS) est devenue très répandue, particulièrement dans le cadre de la formation médicale prédoctorale. En raison de leur conception opérationnelle, ils présentent un intérêt pour les éducateurs, qui ont besoin d’un instrument (relativement) peu coûteux, rapide et qui éclaire leurs décisions sur les apprenants. La définition de l’ECOS a évolué sur le plan strictement opérationnel. Aujourd’hui, elle comprendrait les éléments suivants : 1. Un ensemble de problèmes cliniques ciblés, qui n’ont pas nécessairement de rapport entre eux; 2. Les apprenants exécutent graduellement les stations; 3. Certaines stations comprennent des patients standardisés (c.-à-d. des acteurs) qui simulent des situations réelles avec des patients; 4. La notation englobe une observation directe par un expert clinique; 5. Les outils de notation font appel à divers résultats globaux ou listes de contrôle. Objectif Cette étude a pour but d'établir la fiabilité de l'ECOS. Les auteurs posent trois questions : 1. À quel degré de fiabilité devrait-on s’attendre (en moyenne) lors de l’élaboration de l’ECOS? 2. Quelle est l'étendue probable de ces valeurs? 3. Quels facteurs semblent influencer la fiabilité prévue? Type de document Méta-analyse Principales caractéristiques de la méthodologie L’étude en dit peu sur la portée de la recherche, la sélection et la notation qualitative des études. Aucune mention également des éléments clés des normes PRISMA pour les méta-analyses. Il n'y a aucun diagramme de contrôle pour la sélection des études, aucun tableau des caractéristiques de l’étude, aucune analyse de sensibilité (biais de publication) et aucune évaluation de l’hétérogénéité statistique. Même si les auteurs reconnaissent la partialité inhérente du coefficient alpha de Cronbach dans l'établissement de la fiabilité de l'ECOS, ce coefficient a été adopté, car il est omniprésent dans la documentation. Certaines études évaluent la fiabilité entre les stations et d'autres, à l’intérieur des stations. Dans le dernier cas (souhaitons-le), on suppose que l’évaluation porterait sur des éléments qui ont un lien entre eux, mais qui sont différents, dans le cadre d’une brève rencontre clinique. Les auteurs ne mentionnent aucune étude de généralisabilité incorporant l’écart entre les stations et à l’intérieur de ces dernières. Principaux résultats La recherche initiale a fait ressortir 98 études, dont 64 ont été retenues. Les auteurs ont combiné 39 études dans la méta-analyse faisant état d’une valeur alpha. Parmi celles-ci, 65 % des études comprenaient des étudiants en médecine, 23 %, des résidents, et les autres, une combinaison de ces deux groupes ou propre aux médecins praticiens. Entre les stations, le coefficient alpha non pondéré (fiabilité globale) est de 0,66 (intervalle de confiance de 95 % - 0,62-0,70). Cette étude confirme aussi un principe reconnu selon lequel la fiabilité augmente en fonction du nombre de stations. Le coefficient alpha non pondéré des ECOS comprenant moins de 10 stations était de 0,56 et de 0,74 pour les ECOS comprenant plus de 10 stations. Cependant, les auteurs font encore mention de la variabilité de cette mesure de fiabilité (même avec un nombre supérieur de stations). La fiabilité est plus grande lorsqu’il y a deux évaluateurs (par rapport à un seul évaluateur) et en présence d’évaluateurs experts (c.-à-d. cliniciens) (par rapport à des évaluateurs de patients standardisés). Principales conclusions Selon les auteurs… « Souvent, les résultats généraux des ECOS ne sont pas très fiables (...). En général, il convient d'utiliser deux évaluateurs et un grand nombre de stations, mais certains ECOS semblent plus fiables que d’autres pour des raisons que nous ne comprenons pas encore entièrement. » Si on reconnaît que les limites méthodologiques empêchent de tirer des conclusions définitives, contrairement aux conclusions circonspectes des auteurs, les ECOS sont relativement fiables (comme cet article le démontre) et importantes pour les examens de haut niveau. Il est intéressant de constater que les auteurs ne parlent pas de l’influence essentielle du contexte sur les paramètres psychométriques. Les éducateurs médicaux doivent savoir que des éléments locaux non tangibles, présents chez les apprenants, les évaluateurs et les stations, ont une grande incidence sur la fiabilité de leur ECOS. Une autre remarque a trait à l’aval des auteurs quant à l’adoption d’une liste de contrôle au sujet d’un résultat global (selon les écarts de fiabilité). Ils négligent ainsi l’influence des effets de halo/d’entrave des mesures multiples et la dévaluation de l’expertise progressive rattachée aux listes de contrôle. Commentaires supplémentaires à l’intention des cliniciens enseignants Cet article illustre les défis de l'éducateur médical, qui, en présence de multiples statistiques, doit évaluer d’un œil critique (et plus important encore, utiliser) les résultats d’une étude. Il devrait rappeler également l’importance de faire appel à des experts psychométriques (c.-à-d. en matière de fiabilité et de validité) en ce qui a trait à la conception d’instruments d’évaluation.