The Ottawa Surgical Competency Operating Room Evaluation (O

Balado sur la documentation clé en éducation médicale
(cléMED)
Responsable : Jonathan Sherbino
Date de diffusion :
The Ottawa Surgical Competency Operating Room Evaluation (O-­‐SCORE): A Tool to Assess Surgical Competence Référence :
Wade T. Gofton1, Nancy L. Dudek2, Timothy J. Wood3, Fady Balaa1, Stanley J.
Hamstra4. The Ottawa Surgical Competency Operating Room Evaluation (O-SCORE).
Acad Med. 2012 Aug 21. [Epub avant la publication imprimée]
Établissements auteurs :
1
Département de chirurgie, Université d’Ottawa, Faculté de médecine, Ottawa, Canada;
Département de médecine, Université d’Ottawa, Faculté de médecine, Ottawa, Canada;
3
Académie pour l’innovation en éducation médicale, Département de médecine, Université
d’Ottawa, Faculté de médecine, Ottawa, Canada;
4
Académie pour l’innovation en éducation médicale, Département de médecine, chirurgie et
anesthésie, Centre de compétences et de simulation de l’Université d’Ottawa, Université
d’Ottawa, Faculté de médecine, Ottawa, Canada;
2
Marqueurs
Domaine clinique
Expert médical
Domaine éducatif
Évaluation
Recherche en éducation
Contexte
Les programmes d’évaluation globale des spécialités techniques (p. ex., les
spécialités chirurgicales) accordent habituellement une trop grande importance à
l’évaluation des capacités cognitives sans disposer d’outils formels et fiables pour
évaluer les capacités psychomotrices. On utilise beaucoup les registres des
interventions pour les spécialités techniques, mais on croit à tort que « volume » est
synonyme de « compétence ». (N’oubliez pas ce qu’a dit Vince Lombardi : « La
pratique ne rend pas parfait. Une pratique parfaite rend parfait. »). Pour répondre à
cette situation, de nombreux chercheurs en éducation ont élaboré et validé (à
l’interne) des outils pour évaluer les tâches psychomotrices précises et distinctes. Le
défi avec cette approche est qu’une spécialité technique nécessite alors de nombreux
outils différents pour évaluer les multiples tâches psychomotrices que comprend une
spécialité.
Objectif
Cette étude avait pour but de déterminer la valeur d’un nouvel outil d’évaluation
générique visant à mesurer les compétences chirurgicales en fonction des spécialités,
des types d’intervention et des niveaux d’expérience (p. ex., année de formation
postdoctorale.)
Type de document
Recherche
Principales caractéristiques de la méthodologie
•
§
§
§
§
§
Validation d’un outil d’évaluation des capacités techniques par
observation directe (d’experts)
• Outil générique pour toutes les interventions et tous les niveaux
de formation postdoctorale
Renseignements tirés d’une revue de la littérature
Élaboration par des experts en contenu et en éducation
Cadre d'une intervention générique
• Plan avant l’intervention
• Préparation du cas
• Connaissance des étapes de l’intervention
• Performance technique
• Aptitudes visuo-spatiales
• Plan après l’intervention
• Efficacité
• Communication
Échelle d’évaluation fondée sur le comportement en fonction des critères
de préparation à la pratique indépendante
Dirigée et peaufinée
Principaux résultats
•
•
Au total, 34 chirurgiens ont évalué la performance de 37 résidents
pendant 163 interventions, pour une moyenne de 4,41 observations par
résident au cours de 6 interventions de chirurgie orthopédique et de
5 interventions de chirurgie générale à toutes les étapes de la formation.
Fiabilité
• Les principaux éléments de la variance étaient surtout associés
au rendement du stagiaire avec une petite partie de la variance
liée à la différence entre les internes dans ce cadre.
• À l’aide du cadre en huit points, il faudrait au moins cinq
observations avec le O-SCORE par stagiaire pour produire un
coefficient g de 0,80.
§ Validité
• Il y avait des différences significatives entre les scores moyens
des personnes ayant répondu à des questions binaires (oui ou
non en utilisant des questions distinctes du cadre) pour montrer
si le stagiaire est prêt pour la pratique indépendante.
• On a noté une augmentation significative des scores moyens en
fonction du niveau postdoctoral.
§
Faisabilité / Acceptabilité
• Selon les chirurgiens traitants, l’échelle était facile à utiliser.
• Les résidents ont indiqué qu'ils acceptaient les scores bas
signifiant qu’ils ne sont pas prêts pour la pratique indépendante
et que cette rétroaction explicite (p. ex., pointage ne tendant
pas vers le centre) facilitait leur apprentissage personnel. Le O-SCORE utilise le travail déjà fait avec OSATS, DOPS, miniCEX etc. Bien que
le concept de l’observation directe du rendement par les experts n’ait rien
d’original, le cadre de la procédure et les ancrages liés aux comportements
utilisés par le O-SCORE constituent une amélioration par rapport aux outils
d'observation directe précédents qui mesuraient les capacités techniques.
Principales conclusions
Selon les auteurs : «Ce nouvel outil d’évaluation a réussi à faire une différence entre
les résidents juniors et les résidents seniors et à déterminer les compétences
chirurgicales pour différents niveaux postdoctoraux, quel que soit le type
d’intervention. De nombreuses sources de données probantes appuient l’utilisation
du O-SCORE en tant qu’outil valide pour évaluer les compétences des stagiaires à
effectuer des interventions. »
Commentaires supplémentaires à l’intention des
cliniciens enseignants
Cette étude constitue un excellent exemple de collaboration entre un clinicien
enseignant et des chercheurs en éducation. On a répondu à une question clinique
importante grâce à une méthodologie rigoureuse.