2013-02-08 - Comment évaluer l`impact de la simulation
Transcription
2013-02-08 - Comment évaluer l`impact de la simulation
06/02/2013 Simulation : gadget ou outil pédagogique indispensable Comment évaluer l’impact de la simulation? Pr Denis Oriot Laboratoire de Simulation - SiMI, Poitiers Plan • • • • • • • • Quels enjeux? Qualité et amélioration Place de l’évaluation dans la simulation Caractéristiques et champs de l’évaluation Qualité de la méthode d’évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Simulation = 1 des 4 modes d’apprentissage Kolb 1984 Enjeu? Je fais Je simule Je vois Je lis Les types d’enseignement Patient imaginaire Patient simulé Equipe simulée Equipe Etudiant Enseignement magistral Plan Patient réel Equipe réelle Apprenant SIMULATION Enseignant Étudiant Réalité • • • • • • • • Quels enjeux? Qualité et amélioration Place de l’évaluation dans la simulation Caractéristiques et champs de l’évaluation Qualité de la méthode d’évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion 1 06/02/2013 PAS DE SIMULATION SANS EVALUATION Place essentielle de l’évaluation • • • • • • • • • • Situation clinique Analyse des besoins But général de la simulation Objectifs pédagogiques Schéma du scénario de simulation Identification des procédures/comportements qui seront évalués au cours de la séance et des outils Evaluation Feed-back = débriefing Modifications des pratiques Changement de la performance impact clinique • L’évaluation permet de valider le processus pédagogique lui-même • C’est le seul moyen de démontrer que la simulation s’inscrit bien dans un processus d’apprentissage avec acquisition de savoir, de savoir-faire et de savoir-être • Tous les enseignements devraient être évalués To Err Is Human Building a Safer Health System Linda T. Kohn, Janet M. Corrigan, and Molla S. Donaldson, Editors Committee on Quality of Health Care in America NATIONAL INSTITUTE OF MEDICINE NATIONAL ACADEMY PRESS 2000 Washington, D.C. “Medical errors exceed the deaths from motor vehicle accidents, as well as deaths due to breast cancer or AIDS.” Prévention des risques Meilleure pédagogie meilleurs soins Définition • « L’évaluation en pédagogie est l’analyse systématique de la qualité de l’enseignement et de l’apprentissage » (MacDougall 2010) • La qualité des soins dépend de la qualité de l’enseignement (To err is human, 2000) • L’évaluation de la formation par simulation préfigure de la qualité des soins qui seront prodigués Plan • • • • • • • • Quels enjeux? Qualité et amélioration Place de l’évaluation dans la simulation Caractéristiques et champs de l’évaluation Qualité de la méthode d’évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Caractéristiques (J.M. Chabot 2000) • Normée : le but est la hiérarchie de classement dans le groupe d’étudiants • Critériée : le but est la réalisation d’un certains nombre de critères prédéterminés 2 06/02/2013 Caractéristiques (J.M. Chabot 2000) • Sanctionnante : le but final est la note pour obtenir le diplôme Caractéristiques • Formative : le but est d’accélérer une dynamique de formation • Avoir une vision unitaire : ‘formation – évaluation’ – Il n’y a pas de formation sans évaluation – Il n’y a pas d’évaluation sans formation • Avoir une vision dynamique (Skinner) question 1-réponse 1-renforcement 1 question 2-réponse 2-renforcement 2… Evaluation de la performance Learning curve Evaluation et dynamique de la simulation • • • • • • Scenario # 1 Débriefing Scenario # 2 Débriefing Scenario # 3 Débriefing • • • • • • Performance Scenario # 1 Débriefing Scenario # 1 Débriefing Scenario # 1 Débriefing Je fais • Différents objectifs • Mêmes objectifs? • Améliorations non liées à • Construction de la une learning curve learning curve J’ai vu Temps 16 Evaluation de la performance Learning curve Evaluation de la performance Learning curve Performance Performance Objectif pédagogique Je fais Je fais SIMULATION J’ai vu Temps 17 J’ai vu Temps 18 3 06/02/2013 Continuum ‘novice’ ‘expert’ Champ de l’évaluation • L’évaluation est un jugement • On évalue le savoir, le savoir-faire et le savoir-être (knowledge, skills, attitudes) • Mais jamais les PERSONNES +++ • L’évaluation est circonstanciée +++ Dreyfus 1986, 2004 Que faut-il évaluer? Gestes techniques Respect de l’algorithme Que faut-il évaluer? Gestes techniques Respect de l’algorithme Sûreté du patient • • • • • • • • Travail en équipe Travail en équipe Plan Qualités de la méthode Quels enjeux? Qualité et amélioration Place de l’évaluation dans la simulation Caractéristiques et champs de l’évaluation Qualité de la méthode d’évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion • ‘Validité’ (face validity) : est d’autant plus grande que ce qui est proposé singe la réalité. Est à l’évaluation ce que la pertinence est aux moyens • Acceptabilité : pas ressentie comme une intrusion pour celui qui s’y soumet • Faisabilité : facile, peu coûteuse à organiser pour celui qui la met en place • Acceptabilité + faisabilité = Commodité 4 06/02/2013 Qualités de la méthode (suite) Qualités de la méthode (suite) • Ratio validité/commodité : – Plus on augmente la similitude avec le réel (simulation), plus on augmente le ratio validité/commodité • Ce qui veut dire que l’on complexifie l’évaluation qui devient moins commode ! • Donc, faire un choix raisonnable de la validité! • Reproductibilité : – Représente la solidité du savoir – Garantit l’objectivité de l’évaluation – Très importante dans un contexte sanctionnant Plan • • • • • • • • Quels enjeux? Qualité et amélioration Place de l’évaluation dans la simulation Caractéristiques et champs de l’évaluation Qualité de la méthode d’évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Quels moyens d’évaluation Ce n’est pas un moyen unique qui évalue un processus d’apprentissage complexe incluant plusieurs personnes Comment évaluer? 1. Avec quels moyens? 2. Pour quels niveaux? Critères de jugement d’une formation médicale Centré sur l’apprenant Centré sur le patient Timing Proche de la formation A distance de la formation Connaissances Tests par QCM Audit, meilleure pratique Aptitudes Echelle d’évaluation Taux de succès des interventions techniques (observation) Attitudes comportements Echelle d’évaluation Interview des patients (sortie) (observation) 5 06/02/2013 Evaluation : 4 niveaux Kirkpatrick : une vision dynamique Evaluation d’un processus d’apprentissage 4 3 2 1 Kirkpatrick D. 1967 Impact clinique Changement des pratiques Acquisition de compétences Degré de satisfaction Evaluation : 4 niveaux Modèle de Kirkpatrick, 1967 Science Translational Medicine 2010 1. Degré de satisfaction : toujours auto-évaluée 2. Acquisition de connaissances/performance - 2a : auto-évaluée ; 2b : hétéro-évaluée (mesurée) 3. Changement des pratiques professionnelles : - 3a : auto-évaluée ; 3b : hétéro-évaluée (mesurée) 4. Impact clinique : bénéfice pour les patients Kirkpatrick Evaluation : 4 niveaux Evaluation d’un processus d’apprentissage 4 3 2 1 Niveaux 1 et 2 Niveau 3 Niveau 4 Plan Kirkpatrick D. 1967 Impact clinique Changement des pratiques Acquisition de compétences LAB Degré de satisfaction • • • • • • • • Quels enjeux? Qualité et amélioration Place de l’évaluation dans la simulation Caractéristiques et champs de l’évaluation Qualité de la méthode d’évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion 6 06/02/2013 Niveau 1 Réalisme adhésion Niveau 1 Auto-évaluation • Questionnaire à la fin de la session 1. Degré de réalisme des différents modèles et scénarios utilisés durant la session – Likert ou échelle 0-10 : but > 80% bon réalisme 2. Degré de satisfaction: – Likert ou échelle 0-10 : but > 80% satisfaits Niveau 1 Niveau 2 • Niveau de satisfaction élevé – « expérience agréable, enrichissante… » Kurreck 1996 • Haut degré de réalisme des scénarios – 7.8 / 10 Devitt 2001 – « Face Validity » validité ‘écologique’ • Une réponse positive ne garantit pas un apprentissage, mais une réponse négative réduit toujours la possibilité d’apprentissage • Donc, très important d’avoir un haut niveau de satisfaction (> 80%) Hétéro-évaluation • Connaissance : • Utilisée par tous les centres • QCM (5-10, couvrant le sujet) ou un cas clinique avec des questions après ou avant/après la session – Score du post-test – Δ = score post – test-prétest – Objectif : Sim augmente le score au post-test 7 06/02/2013 Test théorique • Test = pré-test et post-test pour chaque niveau • QCM : 5 à 10 questions complexes mais importantes pour les apprenants (QCM et réponses aléatoires) • Questions directement en lien avec le sujet de l’apprentissage • Test établi et revu par plusieurs spécialistes • Aucune équivoque sur questions ou réponses • Aspect consensuel du test et des réponses • Comparaison pré/post-test Delta Evaluation (test théorique) On ne peut pas évaluer deux choses à la fois : • Exemple : un choc septique se traite initialement par oxygénothérapie en lunettes sous-nasales et expansion volémique • Si réponse oui : on ne sait pas quel est l’item concerné; on imagine que les 2 sont bons • Si réponse non : on ne sait pas pour quel item : O2 lunettes ou expansion volémique ou les 2 • Bonne réponse : O2 au MHC + expansion volémique Niveau 2 Test théorique Connaissances techniques : ACLS • 41 internes de médecine (2ème année) • Tous certifiés ACLS • Pré-test / post-test design • Intervention: – 4 x 2h formation ACLS sur mannequin simulateur avec débriefing • Résultats: – Amélioration des scores de 24 % – Succès : 17 % pré-test 100% post-test Wayne DB, J Gen Intern Med 2006 Niveau 2 Niveau 2 Hétéro-évaluation • Gestes pratiques : performance • Difficile à évaluer +++ Evaluateurs Hétéro-évaluation • Gestes pratiques : performance • Difficile à évaluer +++ Outils d’évaluation • Un superviseur évaluation subjective • Deux superviseurs meilleure évaluation (objective?) mais ne voient pas la même chose? • Vidéo : emplacement des caméras; revoir les vidéo? Comparaison de visu vs. vidéo • • • • Difficulté complexité procédure; IOT vs. PMO Développement d’échelles d’évaluation Car les gestes sont le 1er champ de la simulation Nécessaire d’avoir une évaluation objective des gestes pratiqués +++ 8 06/02/2013 Gestes : outils d’évaluation Gestes : outils d’évaluation Echelle d’observation Comment évaluer une procédure? Validité Avantages Désavantages Checklist Validité modeste Novice peut voir où Demande le temps il doit s’améliorer d’évaluation d’un expert Double évaluation Echelle Applicable dans de Demande du temps pour sa réalisation d’évaluation nombreuses Demande le temps Forte situations par d’évaluation d’un validité différents expert évaluateurs (objective) Echelle d’évaluation • • • • Construite à partir d’une check-list de la procédure Dédiée à l’évaluation en simulation/clinique ‘Face validity’ : facile à comprendre Validité de contenu : repose sur les différentes étapes de la procédure • Validité de construit : les apprenants expérimentés ont un meilleur score que les novices • Fiabilité : statistiques K et coefficient de corrélation intra-classe (> 0.80) reproductibilité • • • • • • • • • Réalisée par plusieurs spécialistes Amendée par un expert en évaluation modif Avis de N experts internationaux modif Rodée sur 20 situations cliniques (2 observateurs) Analyse de la reproductibilité inter-observateurs Repérage des paires discordantes modif Réévaluée sur 20 situations cliniques (2 observateurs) Analyse de la reproductibilité inter-observateurs Obtention d’un taux de reproductibilité > 80% Echelle d’évaluation : pose d’une voie intra-osseuse N = 30 Kappa = 0.946 ICC = 0.947 Accord quasi parfait entre des observateurs indépendants 9 06/02/2013 Echelle d’évaluation : pose d’une voie intra-osseuse Sim Healthcare 2012;7:171-175 20 IO performance score/20 18 16 14 12 10 8 6 4 2 0 MS2 – impression subjective de maitrise identique – groupe simulateur résout les 2 crises plus vite MS5 PGY Echelle d’évaluation : annonce d’une mauvaise nouvelle Niveau 2 : acquisition de compétences techniques Introduction d’un nouvel équipement : • Familiarisation avec le ventilateur Dräger Fabius • 18 anesthésistes en formation randomisés en 2 groupes • Groupe 1 : cours • Groupe 2 : cours + pratique en simulateur • Test : résolution de 2 crises simulées • Résultats : MS3 N = 16 90 ICC = 0.917 80 70 60 50 Obs 1 40 Obs 2 30 20 Très bon accord entre deux observateurs indépendants 10 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 of students students ## of Dalley P, Anesth Analg 2004 Une option : questionnaire d’intention Rudolph 2006 • Etabli pour chacun des gestes étudiés • Une question une réponse unique – Ex : Quel est le risque s’il y a issue de muqueuse par le surjet? (Réponse = fistule) – Ex : Quel est le risque de l’absence de garde sur l’aiguille intra-osseuse? (Réponse = tibia transfixié) • Couplé à la grille d’observation • Validé par plusieurs spécialistes • Permet de repérer des apprenants avec une intention erronée à la base du déficit de performance Une option : questionnaire d’intention Rudolph 2006 • Où se situe le déficit de performance? • Quelle est l’intention? GOLD STANDARD Résultat bon Success Résultat mauvais 10 06/02/2013 Une option : questionnaire d’intention Une option : questionnaire d’intention Rudolph 2006 Rudolph 2006 • Où se situe le déficit de performance? • Quelle est l’intention? GOLD STANDARD • Où se situe le déficit de performance? • Quelle est l’intention? Action bonne Résultat bon Action bonne Résultat bon Process Success Process Success Action inadaptée Résultat mauvais Action inadaptée Résultat mauvais Une option : questionnaire d’intention Une option : questionnaire d’intention Rudolph 2006 • Où se situe le déficit de performance? • Quelle est l’intention? Intention adéquate Rudolph 2006 GOLD STANDARD • Où se situe le déficit de performance? • Quelle est l’intention? Invisible Action bonne Résultat bon Intention adéquate Frame Process Résultat lambda Intention erronée Action inadaptée Résultat mauvais Une option : questionnaire d’intention • Où se situe le déficit de performance? • Quelle est l’intention? Invisible Action bonne Pb conceptuel sur la raison de la technique poser la question : Pourquoi? Intention erronée Action inadaptée GOLD STANDARD Action bonne Résultat bon Frame Process Résultat lambda Intention erronée Action inadaptée Résultat mauvais Une option : questionnaire d’intention Rudolph 2006 Intention adéquate GOLD STANDARD Rudolph 2006 GOLD STANDARD Résultat bon Résultat lambda Résultat mauvais • Où se situe le déficit de performance? • Quelle est l’intention? Invisible Intention adéquate Action bonne Pb conceptuel sur la raison de la technique poser la question : Pourquoi? Intention erronée Action inadaptée GOLD STANDARD Résultat bon Success Résultat mauvais 11 06/02/2013 Good-judgment debriefing : base conceptuelle Défi = évaluation des scénarios complexes Algorithme Intention Action Résultat Ce que l’on pense Ce que l’on fait L’objectif Frame Rationalité de l’intention ? Process Success Feed-back orienté vers l’intention Rudolph SIH 2006, Enseignement à deux boucles : Rudolph et al. Explorer les intentions, relativiser, Acad Emerg Med 2008;15:1010-6 Détecter déficit de performance Défi = évaluation des scénarios complexes Algorithme Défi = évaluation des scénarios complexes Algorithme Défi = évaluation des scénarios complexes Algorithme Défi = évaluation des scénarios complexes Algorithme 12 06/02/2013 Evaluation des scénarios complexes : Niveau 2 Hétéro-évaluation • Evaluation de scénarios complexes : performance • Evaluation de la performance d’une équipe prenant en charge une situation de menace vitale (trauma sévère, hémorragie de la délivrance, nourrisson en choc…) • Evaluation des algorithmes et du CRM • Développement d’échelles d’évaluation +++ Evaluation du CRM Exemples pédiatriques Nom Année Auteur Items ICC, Crombach Alpha Standardized Direct Observation Tool (SDOT) 2004 Joshi 26 ICC = 0.81, CA = 0.95 Neonatal Resuscitation Program Megacode Checklist (NRPMC) 2004 Wood 20 CA = 0.70 Tool for Resuscitation Assessment Using Computerized Simulation (TRACS) 2009 Calhoun 72 ICC = 0.80 Multirater Instrument for the Assessment of Simulated Pediatric Crises (MIASPC) 2011 Calhoun 44 ICC = 0.72, CA = 0.69 Evaluation Tool for Simulated Pediatric Resuscitation (ETSPR) 2012 Grant 12 ICC = 0.76, CA = 0.82 Niveau 2 : acquisition de compétences Hétéro-évaluation • Evaluation du CRM (Crisis Resource Mangement) performance • Neuf échelles validée • Evaluation difficile (plusieurs évaluateurs, vidéo…) pendant une situation de crise! • Mais rarement utilisées Quels outils d’évaluation? Evaluation du CRM : échelles spécifiques Kardgong-Edgren, Clin Sim Nurs 2010 Nom Année Auteur Anaesthetists’ Non-Technical Skills (ANTS) 2003 Fletcher Ottawa Global Rating Scale 2006 Kim Behavioral Assessment Tool (BAT) 2006 Anderson Mayo High Performance Teamwork Scale 2007 Malec Clinical Teamwork Scale (CTS) 2008 Guise Team Performance During Simulated Crises Instrument (TPDSCI) Evaluation instrument of CRM 2009 Calhoun 2011 Plant Simulation Team Assessment Tool (STAT) 2012 Reid Evaluation tool of CRM 2012 Grant 13 06/02/2013 Clinical Teamwork Scale (CTS) La simulation en Médecine d’Urgence Niveau 2 : acquisition de compétences non techniques • • • • Répartition des tâches Fonctionnement en équipe Conscience de la situation Prise de décision Crowded unit Patient 1 Patient 2 Yee B, Anesthesiology 2005 ; 103 : 241-8 Mannequins HF • • • • • • Défi : Crowded unit Niveau 3 2 équipes de 4 personnes 1 équipe de 3 personnes « rescue team » 5 évaluateurs Quels objectifs pédagogiques? Quoi évaluer? Quels outils d’évaluation? Auto-évaluation • Questionnaire à la fin de la session • Changement des pratiques professionnelles • « Pensez-vous que cette séance de simulation vous fera changer quelque chose dans votre pratique professionnelle? » : objectif > 50% de OUI • « Dans quels domaines? Connaissances, procédures, attitudes » 14 06/02/2013 Niveau 3 Niveau 3 : Just-In-Time Treatment Performance Mastery JIT Learning Curve JIT O’Donnell, SIH 2011 Temps Niveau 3 Niveau 3 • Mesure du transfert apparu dans le comportement de l’apprenant suite à la sim • Connaissances, la compétence technique ou le savoir-être récemment acquis, sont utilisés dans l’environnement quotidien de l’apprenant? • La plus véridique évaluation de l’efficacité d’un programme de formation • Mais difficile, impossible de prédire quand le changement surviendra • Quand évaluer? À quelle fréquence évaluer? Comment évaluer? Niveau 3b Intubation fibroscopique : • 24 internes novices en intubation fibroscopique orale • 2 groupes randomisés : Gr1 (n=12) : cours Gr 2 (n=12) : cours + mannequin . Mesure de la performance en salle d’opération Groupe cours Groupe cours + modèle P Durée de l intubation (s’ 210 81 < 0.01 Intubation réussie 42 % 92 % < 0.005 Naik VN, Anesthesiology 2001 Weller J, Anaesthesia 2003 : • Changements de pratique 3-12 mois après un cours sur la CRM (Crisis Resource Management) – 61% exposés à une ou plus situations critiques – 70% estiment que leur gestion de la crise a été améliorée • Perceptions / attitudes • Formation de collègues à la gestion des crises, stratégies de résolution de problème, planification / anticipation d’effets indésirables, travail en équipe, communication avec collègues, impact sur la pratique clinique Niveau 3b Performance du travail en équipe : • Beaucoup plus difficile à étudier • Pas d’étude disponible en anesthésieréanimation • 1 étude en médecine d’urgence (Shapiro 2004): – Observation « live » pré et post-training (8h de simulation et débriefing) – « Tendance » à l’amélioration du travail en équipe aux urgences (p = 0.07) – Mais petit collectif (4 équipes de 5 pers.) 15 06/02/2013 Efficacité de la simulation : Quelles sont les preuves ? • Étalon-or de la médecine factuelle : – « Étude randomisée contrôlée » = RCT – Souvent difficile à réaliser en pédagogie – Raisons éthiques / pratiques – « Outcomes » difficiles à mesurer • Méta-analyses impossibles • Comment faire? Niveau 4 : Impact clinique • Le niveau 4 essaie d’évaluer la formation comme s’il s’agissait d’un processus économique • Bénéfice secondaire au processus pédagogique = la santé des patients Moyens d’évaluation Impact clinique : • Recherche de marqueurs cliniques pertinents en rapport avec la formation, dont la modification de l’incidence et/ou de la gravité serait un reflet de l’acquisition de savoir, de savoir-faire et de savoir-être par les apprenants, uniquement en lien avec la formation par simulation réalisée Epidémiologie des éléments traceurs • Recherche translationnelle (= passer du modèle de simulation au patient) • Relevé rétrospectif de 2-3 éléments cliniques traceurs bien ciblés lors des années n-1 et n-2 dans l’activité de chaque centre • Relevé prospectif des mêmes éléments cliniques traceurs lors des années n et n+1 • Pré-intervention vs. post-intervention • Mesure de l’impact clinique de l’apprentissage • Mais… effet TEMPS inéluctable Niveau 4 : Impact clinique • Obstétrique Draycott T. BJOG 2006;113:177-82 Sim HF -50% d’encéphalopathies +++ (avant/après formation) 1998–1999 (n = 8430) 2001–2003 (n = 11030) Relative risk 5’ Apgar ≤ 6, n (rate / 10.000) 73 (86.6) 49 (44.4) 0.51 (0.35–0.74) HIE n (rate / 10.000) 23 (27.3) 15 (13.6) 0.50 (0.26–0.95) Mod /sev HIE n (rate/10.000) 16 (19.0) Niveau 4 : Impact clinique Comparaison intra-régionale Pour 1000 naissances vivantes 2 1,8 NS 1,6 1,4 1,2 1993-1997 1 11 (10.0) 0.53 (0.24–1.13) 1998-2006 * 0,8 ** 0,6 0,4 0,2 NB : Montre une association, pas un lien de causalité ; possibilité d’un effet-temps! mais encourageant ! 0 MNP IM total IM graves 16 06/02/2013 Niveau 4 : Impact clinique Niveau 4 : Impact clinique Comparaison inter-régionale (1998-2006) 2 Pour 1000 naissances vivantes 1,8 NS 1,6 • Soins intensifs **** 1,4 **** 1,2 Limousin 1 Poitou-Charentes 0,8 – CVC en USI adulte 0.5 (SIM+) vs 3.2 (SIM-) infections sur cathéter sur 32 mois (p<0.001) Barsuk JH, Arch Intern Med 2009;169:1420-3 0,6 0,4 0,2 0 MNP IM total IM graves Moyens d’évaluation de la performance Plan • Questionnaire d’auto-évaluation • • • • • • • • Quels enjeux? Qualité et amélioration Place de l’évaluation dans la simulation Caractéristiques et champs de l’évaluation Qualité de la méthode d’évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion Moyens d’évaluation de la performance – Nv 1 (satisfaction = réalisme du modèle) – Nv 2a (connaissances) – Nv 3a (changement des pratiques) • Tests théoriques (quiz avec QCM ou QROC) – Nv 2b : acquisition de connaissances (pré/post-test) • Echelle(s) d’évaluation (hétéro-évaluation) – Nv 2b (au labo) : performance gestes, algorithme, travail d’équipe Mais pas d’échelles combinées! – Nv 3b (in situ) : changement des pratiques • Epidémiologie d’éléments traceurs – Nv 4 : mesure de l’impact clinique de la formation Rare! Moyens d’évaluation de la performance Non technical skills Individu Non technical skills Equipe Technical skills Individu Equipe Technical skills 17 06/02/2013 Simulation = 1 des 4 modes d’apprentissage Kolb 1984 Je fais Mastery training (procédure) 1. Package ‘procedure guidelines’ e-learning – Prétest 2. Cours théorique et vidéo - [Post-test 1] Je simule Je vois 3. Simulation en basse fidélité – Evaluation et feed-back 4. Simulation en haute-fidélité Je lis Plan • • • • • • • • Quels enjeux? Qualité et amélioration Place de l’évaluation dans la simulation Caractéristiques et champs de l’évaluation Qualité de la méthode d’évaluation Comment évaluer? Modèle de Kirkpatrick Niveaux 1, 2, 3 et 4 avec données de la littérature Quelles difficultés? Conclusion – Evaluation et débriefing – Post-test 2 – Questionnaire: autoéaluation Niveaux 1, 2 et 3 Conclusion • L’évaluation est indispensable à toute formation par simulation • Apporte la différence entre une activité pédagogique et une activité ludique • Donne une légitimité scientifique en tant que processus pédagogique • Valide ou invalide les hypothèses formulées • Précise les déficits de performance possibles complément de formation • Lien entre l’enseignement et la recherche Limites de l’évaluation en simulation? Après apprentissage par simulation (Gaba) : • 90% ont réussi la simulation et réussiront dans la réalité • 5% ont réussi la simulation et ne réussiront pas dans la réalité • 5% n’ont pas réussi la simulation et réussiront dans la réalité 18