2013-02-08 - Comment évaluer l`impact de la simulation

Transcription

2013-02-08 - Comment évaluer l`impact de la simulation
06/02/2013
Simulation : gadget ou outil pédagogique
indispensable
Comment évaluer l’impact
de la simulation?
Pr Denis Oriot
Laboratoire de Simulation - SiMI, Poitiers
Plan
•
•
•
•
•
•
•
•
Quels enjeux? Qualité et amélioration
Place de l’évaluation dans la simulation
Caractéristiques et champs de l’évaluation
Qualité de la méthode d’évaluation
Comment évaluer? Modèle de Kirkpatrick
Niveaux 1, 2, 3 et 4 avec données de la littérature
Quelles difficultés?
Conclusion
Simulation = 1 des 4 modes
d’apprentissage
Kolb 1984
Enjeu?
Je fais
Je simule
Je vois
Je lis
Les types d’enseignement
Patient
imaginaire
Patient
simulé
Equipe
simulée
Equipe
Etudiant
Enseignement
magistral
Plan
Patient
réel
Equipe
réelle
Apprenant
SIMULATION
Enseignant
Étudiant
Réalité
•
•
•
•
•
•
•
•
Quels enjeux? Qualité et amélioration
Place de l’évaluation dans la simulation
Caractéristiques et champs de l’évaluation
Qualité de la méthode d’évaluation
Comment évaluer? Modèle de Kirkpatrick
Niveaux 1, 2, 3 et 4 avec données de la littérature
Quelles difficultés?
Conclusion
1
06/02/2013
PAS DE SIMULATION
SANS EVALUATION
Place essentielle de l’évaluation
•
•
•
•
•
•
•
•
•
•
Situation clinique
Analyse des besoins
But général de la simulation
Objectifs pédagogiques
Schéma du scénario de simulation
Identification des procédures/comportements qui
seront évalués au cours de la séance et des outils
Evaluation
Feed-back = débriefing
Modifications des pratiques
Changement de la performance impact clinique
• L’évaluation permet de valider le processus
pédagogique lui-même
• C’est le seul moyen de démontrer que la
simulation s’inscrit bien dans un processus
d’apprentissage avec acquisition de savoir,
de savoir-faire et de savoir-être
• Tous les enseignements devraient être
évalués
To Err Is Human
Building a Safer Health System
Linda T. Kohn, Janet M. Corrigan, and
Molla S. Donaldson, Editors
Committee on Quality of Health Care in
America
NATIONAL INSTITUTE OF MEDICINE
NATIONAL ACADEMY PRESS 2000
Washington, D.C.
“Medical errors exceed the
deaths from motor vehicle
accidents, as well as deaths
due to breast cancer or AIDS.”
Prévention des risques
Meilleure pédagogie meilleurs soins
Définition
• « L’évaluation en pédagogie est l’analyse
systématique de la qualité de
l’enseignement et de l’apprentissage »
(MacDougall 2010)
• La qualité des soins dépend de la qualité
de l’enseignement (To err is human, 2000)
• L’évaluation de la formation par
simulation préfigure de la qualité des
soins qui seront prodigués
Plan
•
•
•
•
•
•
•
•
Quels enjeux? Qualité et amélioration
Place de l’évaluation dans la simulation
Caractéristiques et champs de l’évaluation
Qualité de la méthode d’évaluation
Comment évaluer? Modèle de Kirkpatrick
Niveaux 1, 2, 3 et 4 avec données de la littérature
Quelles difficultés?
Conclusion
Caractéristiques (J.M. Chabot 2000)
• Normée : le but est la hiérarchie de
classement dans le groupe d’étudiants
• Critériée : le but est la réalisation d’un
certains nombre de critères prédéterminés
2
06/02/2013
Caractéristiques (J.M. Chabot 2000)
• Sanctionnante : le
but final est la note
pour obtenir le
diplôme
Caractéristiques
• Formative : le but
est d’accélérer une
dynamique de
formation
• Avoir une vision unitaire :
‘formation – évaluation’
– Il n’y a pas de formation sans évaluation
– Il n’y a pas d’évaluation sans formation
• Avoir une vision dynamique (Skinner)
question 1-réponse 1-renforcement 1
question 2-réponse 2-renforcement 2…
Evaluation de la performance
Learning curve
Evaluation et dynamique de la simulation
•
•
•
•
•
•
Scenario # 1
Débriefing
Scenario # 2
Débriefing
Scenario # 3
Débriefing
•
•
•
•
•
•
Performance
Scenario # 1
Débriefing
Scenario # 1
Débriefing
Scenario # 1
Débriefing
Je fais
• Différents objectifs
• Mêmes objectifs?
• Améliorations non liées à • Construction de la
une learning curve
learning curve
J’ai vu
Temps
16
Evaluation de la performance
Learning curve
Evaluation de la performance
Learning curve
Performance
Performance
Objectif
pédagogique
Je fais
Je fais
SIMULATION
J’ai vu
Temps
17
J’ai vu
Temps
18
3
06/02/2013
Continuum ‘novice’ ‘expert’
Champ de l’évaluation
• L’évaluation est un jugement
• On évalue le savoir, le savoir-faire et le
savoir-être
(knowledge, skills, attitudes)
• Mais jamais les PERSONNES +++
• L’évaluation est circonstanciée +++
Dreyfus 1986, 2004
Que faut-il évaluer?
Gestes
techniques
Respect de
l’algorithme
Que faut-il évaluer?
Gestes
techniques
Respect de
l’algorithme
Sûreté du
patient
•
•
•
•
•
•
•
•
Travail en
équipe
Travail en
équipe
Plan
Qualités de la méthode
Quels enjeux? Qualité et amélioration
Place de l’évaluation dans la simulation
Caractéristiques et champs de l’évaluation
Qualité de la méthode d’évaluation
Comment évaluer? Modèle de Kirkpatrick
Niveaux 1, 2, 3 et 4 avec données de la littérature
Quelles difficultés?
Conclusion
• ‘Validité’ (face validity) : est d’autant plus grande
que ce qui est proposé singe la réalité. Est à
l’évaluation ce que la pertinence est aux moyens
• Acceptabilité : pas ressentie comme une
intrusion pour celui qui s’y soumet
• Faisabilité : facile, peu coûteuse à organiser pour
celui qui la met en place
• Acceptabilité + faisabilité = Commodité
4
06/02/2013
Qualités de la méthode (suite)
Qualités de la méthode (suite)
• Ratio validité/commodité :
– Plus on augmente la similitude avec le réel
(simulation), plus on augmente le ratio
validité/commodité
• Ce qui veut dire que l’on complexifie
l’évaluation qui devient moins commode !
• Donc, faire un choix raisonnable de la
validité!
• Reproductibilité :
– Représente la solidité du savoir
– Garantit l’objectivité de l’évaluation
– Très importante dans un contexte sanctionnant
Plan
•
•
•
•
•
•
•
•
Quels enjeux? Qualité et amélioration
Place de l’évaluation dans la simulation
Caractéristiques et champs de l’évaluation
Qualité de la méthode d’évaluation
Comment évaluer? Modèle de Kirkpatrick
Niveaux 1, 2, 3 et 4 avec données de la littérature
Quelles difficultés?
Conclusion
Quels moyens d’évaluation
Ce n’est pas un moyen unique qui
évalue un processus d’apprentissage
complexe incluant plusieurs personnes
Comment évaluer?
1. Avec quels moyens?
2. Pour quels niveaux?
Critères de jugement d’une formation médicale
Centré sur
l’apprenant
Centré sur le
patient
Timing
Proche de la
formation
A distance de la
formation
Connaissances
Tests par QCM
Audit, meilleure
pratique
Aptitudes
Echelle
d’évaluation
Taux de succès des
interventions
techniques
(observation)
Attitudes
comportements
Echelle
d’évaluation
Interview des
patients (sortie)
(observation)
5
06/02/2013
Evaluation : 4 niveaux
Kirkpatrick : une vision dynamique
Evaluation d’un processus
d’apprentissage
4
3
2
1
Kirkpatrick D. 1967
Impact
clinique
Changement des
pratiques
Acquisition de compétences
Degré de satisfaction
Evaluation : 4 niveaux
Modèle de Kirkpatrick, 1967
Science Translational Medicine 2010
1. Degré de satisfaction : toujours auto-évaluée
2. Acquisition de connaissances/performance
- 2a : auto-évaluée ; 2b : hétéro-évaluée (mesurée)
3. Changement des pratiques professionnelles :
- 3a : auto-évaluée ; 3b : hétéro-évaluée (mesurée)
4. Impact clinique : bénéfice pour les patients
Kirkpatrick
Evaluation : 4 niveaux
Evaluation d’un processus
d’apprentissage
4
3
2
1
Niveaux 1 et 2
Niveau 3
Niveau 4
Plan
Kirkpatrick D. 1967
Impact
clinique
Changement des
pratiques
Acquisition de compétences
LAB
Degré de satisfaction
•
•
•
•
•
•
•
•
Quels enjeux? Qualité et amélioration
Place de l’évaluation dans la simulation
Caractéristiques et champs de l’évaluation
Qualité de la méthode d’évaluation
Comment évaluer? Modèle de Kirkpatrick
Niveaux 1, 2, 3 et 4 avec données de la littérature
Quelles difficultés?
Conclusion
6
06/02/2013
Niveau 1
Réalisme adhésion
Niveau 1
Auto-évaluation
• Questionnaire à la fin de la session
1. Degré de réalisme des différents modèles
et scénarios utilisés durant la session
– Likert ou échelle 0-10 : but > 80% bon réalisme
2. Degré de satisfaction:
– Likert ou échelle 0-10 : but > 80% satisfaits
Niveau 1
Niveau 2
• Niveau de satisfaction élevé
– « expérience agréable, enrichissante… » Kurreck 1996
• Haut degré de réalisme des scénarios
– 7.8 / 10 Devitt 2001
– « Face Validity » validité ‘écologique’
• Une réponse positive ne garantit pas un
apprentissage, mais une réponse négative réduit
toujours la possibilité d’apprentissage
• Donc, très important d’avoir un haut niveau de
satisfaction (> 80%)
Hétéro-évaluation
• Connaissance :
• Utilisée par tous les centres
• QCM (5-10, couvrant le sujet) ou un cas clinique
avec des questions après ou avant/après la
session
– Score du post-test
– Δ = score post – test-prétest
– Objectif : Sim augmente le score au post-test
7
06/02/2013
Test théorique
• Test = pré-test et post-test pour chaque niveau
• QCM : 5 à 10 questions complexes mais
importantes pour les apprenants (QCM et
réponses aléatoires)
• Questions directement en lien avec le sujet de
l’apprentissage
• Test établi et revu par plusieurs spécialistes
• Aucune équivoque sur questions ou réponses
• Aspect consensuel du test et des réponses
• Comparaison pré/post-test Delta
Evaluation (test théorique)
On ne peut pas évaluer deux choses à la fois :
• Exemple : un choc septique se traite initialement
par oxygénothérapie en lunettes sous-nasales et
expansion volémique
• Si réponse oui : on ne sait pas quel est l’item
concerné; on imagine que les 2 sont bons
• Si réponse non : on ne sait pas pour quel item : O2
lunettes ou expansion volémique ou les 2
• Bonne réponse : O2 au MHC + expansion volémique
Niveau 2
Test théorique
Connaissances techniques : ACLS
• 41 internes de médecine (2ème année)
• Tous certifiés ACLS
• Pré-test / post-test design
• Intervention:
– 4 x 2h formation ACLS sur mannequin simulateur
avec débriefing
• Résultats:
– Amélioration des scores de 24 %
– Succès : 17 % pré-test 100% post-test
Wayne DB, J Gen Intern Med 2006
Niveau 2
Niveau 2
Hétéro-évaluation
• Gestes pratiques : performance
• Difficile à évaluer +++ Evaluateurs
Hétéro-évaluation
• Gestes pratiques : performance
• Difficile à évaluer +++ Outils d’évaluation
• Un superviseur évaluation subjective
• Deux superviseurs meilleure évaluation
(objective?) mais ne voient pas la même chose?
• Vidéo : emplacement des caméras; revoir les
vidéo? Comparaison de visu vs. vidéo
•
•
•
•
Difficulté complexité procédure; IOT vs. PMO
Développement d’échelles d’évaluation
Car les gestes sont le 1er champ de la simulation
Nécessaire d’avoir une évaluation objective des
gestes pratiqués +++
8
06/02/2013
Gestes : outils d’évaluation
Gestes : outils d’évaluation
Echelle d’observation
Comment évaluer une procédure?
Validité
Avantages
Désavantages
Checklist
Validité
modeste
Novice peut voir où Demande le temps
il doit s’améliorer
d’évaluation d’un
expert
Double évaluation
Echelle
Applicable dans de Demande du temps pour
sa réalisation
d’évaluation nombreuses
Demande le temps
Forte
situations par
d’évaluation d’un
validité
différents
expert
évaluateurs
(objective)
Echelle d’évaluation
•
•
•
•
Construite à partir d’une check-list de la procédure
Dédiée à l’évaluation en simulation/clinique
‘Face validity’ : facile à comprendre
Validité de contenu : repose sur les différentes
étapes de la procédure
• Validité de construit : les apprenants expérimentés
ont un meilleur score que les novices
• Fiabilité : statistiques K et coefficient de corrélation
intra-classe (> 0.80) reproductibilité
•
•
•
•
•
•
•
•
•
Réalisée par plusieurs spécialistes
Amendée par un expert en évaluation modif
Avis de N experts internationaux modif
Rodée sur 20 situations cliniques (2 observateurs)
Analyse de la reproductibilité inter-observateurs
Repérage des paires discordantes modif
Réévaluée sur 20 situations cliniques (2 observateurs)
Analyse de la reproductibilité inter-observateurs
Obtention d’un taux de reproductibilité > 80%
Echelle d’évaluation :
pose d’une voie intra-osseuse
N = 30
Kappa = 0.946
ICC = 0.947
Accord quasi parfait
entre des observateurs
indépendants
9
06/02/2013
Echelle d’évaluation :
pose d’une voie intra-osseuse
Sim Healthcare 2012;7:171-175
20
IO performance score/20
18
16
14
12
10
8
6
4
2
0
MS2
– impression subjective de maitrise identique
– groupe simulateur résout les 2 crises plus vite
MS5
PGY
Echelle d’évaluation :
annonce d’une mauvaise nouvelle
Niveau 2 : acquisition de compétences
techniques
Introduction d’un nouvel équipement :
• Familiarisation avec le ventilateur Dräger Fabius
• 18 anesthésistes en formation randomisés en 2 groupes
• Groupe 1 : cours
• Groupe 2 : cours + pratique en simulateur
• Test : résolution de 2 crises simulées
• Résultats :
MS3
N = 16
90
ICC = 0.917
80
70
60
50
Obs 1
40
Obs 2
30
20
Très bon accord
entre deux
observateurs
indépendants
10
0
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16
of students
students
## of
Dalley P, Anesth Analg 2004
Une option : questionnaire d’intention
Rudolph 2006
• Etabli pour chacun des gestes étudiés
• Une question une réponse unique
– Ex : Quel est le risque s’il y a issue de muqueuse
par le surjet? (Réponse = fistule)
– Ex : Quel est le risque de l’absence de garde sur
l’aiguille intra-osseuse? (Réponse = tibia transfixié)
• Couplé à la grille d’observation
• Validé par plusieurs spécialistes
• Permet de repérer des apprenants avec une
intention erronée à la base du déficit de
performance
Une option : questionnaire d’intention
Rudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
GOLD
STANDARD
Résultat
bon
Success
Résultat
mauvais
10
06/02/2013
Une option : questionnaire d’intention
Une option : questionnaire d’intention
Rudolph 2006
Rudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
GOLD
STANDARD
• Où se situe le déficit de performance?
• Quelle est l’intention?
Action
bonne
Résultat
bon
Action
bonne
Résultat
bon
Process
Success
Process
Success
Action
inadaptée
Résultat
mauvais
Action
inadaptée
Résultat
mauvais
Une option : questionnaire d’intention
Une option : questionnaire d’intention
Rudolph 2006
• Où se situe le déficit de performance?
• Quelle est l’intention?
Intention
adéquate
Rudolph 2006
GOLD
STANDARD
• Où se situe le déficit de performance?
• Quelle est l’intention?
Invisible
Action
bonne
Résultat
bon
Intention
adéquate
Frame
Process
Résultat
lambda
Intention
erronée
Action
inadaptée
Résultat
mauvais
Une option : questionnaire d’intention
• Où se situe le déficit de performance?
• Quelle est l’intention?
Invisible
Action
bonne
Pb conceptuel sur la raison de la technique
poser la question : Pourquoi?
Intention
erronée
Action
inadaptée
GOLD
STANDARD
Action
bonne
Résultat
bon
Frame
Process
Résultat
lambda
Intention
erronée
Action
inadaptée
Résultat
mauvais
Une option : questionnaire d’intention
Rudolph 2006
Intention
adéquate
GOLD
STANDARD
Rudolph 2006
GOLD
STANDARD
Résultat
bon
Résultat
lambda
Résultat
mauvais
• Où se situe le déficit de performance?
• Quelle est l’intention?
Invisible
Intention
adéquate
Action
bonne
Pb conceptuel sur la raison de la technique
poser la question : Pourquoi?
Intention
erronée
Action
inadaptée
GOLD
STANDARD
Résultat
bon
Success
Résultat
mauvais
11
06/02/2013
Good-judgment debriefing : base conceptuelle
Défi = évaluation des scénarios complexes
Algorithme
Intention
Action
Résultat
Ce que l’on
pense
Ce que l’on
fait
L’objectif
Frame
Rationalité de
l’intention ?
Process
Success
Feed-back orienté vers l’intention
Rudolph SIH 2006,
Enseignement à deux boucles :
Rudolph et al.
Explorer les intentions, relativiser,
Acad Emerg Med
2008;15:1010-6
Détecter déficit de performance
Défi = évaluation des scénarios complexes
Algorithme
Défi = évaluation des scénarios complexes
Algorithme
Défi = évaluation des scénarios complexes
Algorithme
Défi = évaluation des scénarios complexes
Algorithme
12
06/02/2013
Evaluation des scénarios complexes :
Niveau 2
Hétéro-évaluation
• Evaluation de scénarios complexes :
performance
• Evaluation de la performance d’une équipe
prenant en charge une situation de menace vitale
(trauma sévère, hémorragie de la délivrance,
nourrisson en choc…)
• Evaluation des algorithmes et du CRM
• Développement d’échelles d’évaluation +++
Evaluation du CRM
Exemples pédiatriques
Nom
Année
Auteur
Items
ICC, Crombach Alpha
Standardized Direct Observation
Tool (SDOT)
2004
Joshi
26
ICC = 0.81, CA = 0.95
Neonatal Resuscitation Program
Megacode Checklist (NRPMC)
2004
Wood
20
CA = 0.70
Tool for Resuscitation
Assessment Using Computerized
Simulation (TRACS)
2009
Calhoun
72
ICC = 0.80
Multirater Instrument for the
Assessment of Simulated
Pediatric Crises (MIASPC)
2011
Calhoun
44
ICC = 0.72, CA = 0.69
Evaluation Tool for Simulated
Pediatric Resuscitation (ETSPR)
2012
Grant
12
ICC = 0.76, CA = 0.82
Niveau 2 : acquisition de compétences
Hétéro-évaluation
• Evaluation du CRM (Crisis Resource Mangement)
performance
• Neuf échelles validée
• Evaluation difficile (plusieurs évaluateurs,
vidéo…) pendant une situation de crise!
• Mais rarement utilisées
Quels outils d’évaluation?
Evaluation du CRM : échelles spécifiques
Kardgong-Edgren, Clin Sim Nurs 2010
Nom
Année Auteur
Anaesthetists’ Non-Technical Skills (ANTS)
2003
Fletcher
Ottawa Global Rating Scale
2006
Kim
Behavioral Assessment Tool (BAT)
2006
Anderson
Mayo High Performance Teamwork Scale
2007
Malec
Clinical Teamwork Scale (CTS)
2008
Guise
Team Performance During Simulated
Crises Instrument (TPDSCI)
Evaluation instrument of CRM
2009
Calhoun
2011
Plant
Simulation Team Assessment Tool (STAT)
2012
Reid
Evaluation tool of CRM
2012
Grant
13
06/02/2013
Clinical Teamwork Scale (CTS)
La simulation en Médecine d’Urgence
Niveau 2 : acquisition de compétences
non techniques
•
•
•
•
Répartition des tâches
Fonctionnement en équipe
Conscience de la situation
Prise de décision
Crowded unit
Patient 1
Patient 2
Yee B, Anesthesiology 2005 ; 103 : 241-8
Mannequins HF
•
•
•
•
•
•
Défi : Crowded unit
Niveau 3
2 équipes de 4 personnes
1 équipe de 3 personnes « rescue team »
5 évaluateurs
Quels objectifs pédagogiques?
Quoi évaluer?
Quels outils d’évaluation?
Auto-évaluation
• Questionnaire à la fin de la session
• Changement des pratiques professionnelles
• « Pensez-vous que cette séance de simulation
vous fera changer quelque chose dans votre
pratique professionnelle? » : objectif > 50% de OUI
• « Dans quels domaines? Connaissances,
procédures, attitudes »
14
06/02/2013
Niveau 3
Niveau 3 : Just-In-Time Treatment
Performance
Mastery JIT
Learning Curve
JIT
O’Donnell, SIH 2011
Temps
Niveau 3
Niveau 3
• Mesure du transfert apparu dans le
comportement de l’apprenant suite à la sim
• Connaissances, la compétence technique ou le
savoir-être récemment acquis, sont utilisés dans
l’environnement quotidien de l’apprenant?
• La plus véridique évaluation de l’efficacité
d’un programme de formation
• Mais difficile, impossible de prédire quand le
changement surviendra
• Quand évaluer? À quelle fréquence évaluer?
Comment évaluer?
Niveau 3b
Intubation fibroscopique :
• 24 internes novices en intubation fibroscopique orale
• 2 groupes randomisés : Gr1 (n=12) : cours
Gr 2 (n=12) : cours + mannequin
. Mesure de la performance en salle d’opération
Groupe
cours
Groupe
cours + modèle
P
Durée de
l intubation (s’
210
81
< 0.01
Intubation
réussie
42 %
92 %
< 0.005
Naik VN, Anesthesiology 2001
Weller J, Anaesthesia 2003 :
• Changements de pratique 3-12 mois après un cours sur
la CRM (Crisis Resource Management)
– 61% exposés à une ou plus situations critiques
– 70% estiment que leur gestion de la crise a été améliorée
• Perceptions / attitudes
• Formation de collègues à la gestion des crises, stratégies
de résolution de problème, planification / anticipation
d’effets indésirables, travail en équipe, communication
avec collègues, impact sur la pratique clinique
Niveau 3b
Performance du travail en équipe :
• Beaucoup plus difficile à étudier
• Pas d’étude disponible en anesthésieréanimation
• 1 étude en médecine d’urgence (Shapiro 2004):
– Observation « live » pré et post-training (8h de
simulation et débriefing)
– « Tendance » à l’amélioration du travail en
équipe aux urgences (p = 0.07)
– Mais petit collectif (4 équipes de 5 pers.)
15
06/02/2013
Efficacité de la simulation :
Quelles sont les preuves ?
• Étalon-or de la médecine factuelle :
– « Étude randomisée contrôlée » = RCT
– Souvent difficile à réaliser en pédagogie
– Raisons éthiques / pratiques
– « Outcomes » difficiles à mesurer
• Méta-analyses impossibles
• Comment faire?
Niveau 4 : Impact clinique
• Le niveau 4 essaie d’évaluer la formation comme
s’il s’agissait d’un processus économique
• Bénéfice secondaire au processus pédagogique
= la santé des patients
Moyens d’évaluation
Impact clinique :
• Recherche de marqueurs cliniques
pertinents en rapport avec la formation,
dont la modification de l’incidence et/ou de
la gravité serait un reflet de l’acquisition de
savoir, de savoir-faire et de savoir-être par
les apprenants, uniquement en lien avec la
formation par simulation réalisée
Epidémiologie des éléments traceurs
• Recherche translationnelle (= passer du modèle
de simulation au patient)
• Relevé rétrospectif de 2-3 éléments cliniques
traceurs bien ciblés lors des années n-1 et n-2
dans l’activité de chaque centre
• Relevé prospectif des mêmes éléments
cliniques traceurs lors des années n et n+1
• Pré-intervention vs. post-intervention
• Mesure de l’impact clinique de l’apprentissage
• Mais… effet TEMPS inéluctable
Niveau 4 : Impact clinique
• Obstétrique
Draycott T. BJOG 2006;113:177-82
Sim HF -50% d’encéphalopathies +++ (avant/après formation)
1998–1999
(n = 8430)
2001–2003
(n = 11030)
Relative risk
5’ Apgar ≤ 6,
n (rate / 10.000)
73 (86.6)
49 (44.4)
0.51 (0.35–0.74)
HIE
n (rate / 10.000)
23 (27.3)
15 (13.6)
0.50 (0.26–0.95)
Mod /sev HIE
n (rate/10.000)
16 (19.0)
Niveau 4 : Impact clinique
Comparaison intra-régionale
Pour 1000 naissances vivantes
2
1,8
NS
1,6
1,4
1,2
1993-1997
1
11 (10.0)
0.53 (0.24–1.13)
1998-2006
*
0,8
**
0,6
0,4
0,2
NB : Montre une association, pas un lien de causalité ;
possibilité d’un effet-temps! mais encourageant !
0
MNP
IM total
IM graves
16
06/02/2013
Niveau 4 : Impact clinique
Niveau 4 : Impact clinique
Comparaison inter-régionale (1998-2006)
2
Pour 1000 naissances vivantes
1,8
NS
1,6
• Soins intensifs
****
1,4
****
1,2
Limousin
1
Poitou-Charentes
0,8
– CVC en USI adulte 0.5 (SIM+) vs 3.2 (SIM-)
infections sur cathéter sur 32 mois (p<0.001)
Barsuk JH, Arch Intern Med 2009;169:1420-3
0,6
0,4
0,2
0
MNP
IM total
IM graves
Moyens d’évaluation de la performance
Plan
• Questionnaire d’auto-évaluation
•
•
•
•
•
•
•
•
Quels enjeux? Qualité et amélioration
Place de l’évaluation dans la simulation
Caractéristiques et champs de l’évaluation
Qualité de la méthode d’évaluation
Comment évaluer? Modèle de Kirkpatrick
Niveaux 1, 2, 3 et 4 avec données de la littérature
Quelles difficultés?
Conclusion
Moyens d’évaluation de la performance
– Nv 1 (satisfaction = réalisme du modèle)
– Nv 2a (connaissances)
– Nv 3a (changement des pratiques)
• Tests théoriques (quiz avec QCM ou QROC)
– Nv 2b : acquisition de connaissances (pré/post-test)
• Echelle(s) d’évaluation (hétéro-évaluation)
– Nv 2b (au labo) : performance gestes, algorithme, travail
d’équipe Mais pas d’échelles combinées!
– Nv 3b (in situ) : changement des pratiques
• Epidémiologie d’éléments traceurs
– Nv 4 : mesure de l’impact clinique de la formation Rare!
Moyens d’évaluation de la performance
Non technical
skills
Individu
Non technical
skills
Equipe
Technical
skills
Individu
Equipe
Technical
skills
17
06/02/2013
Simulation = 1 des 4 modes
d’apprentissage
Kolb 1984
Je fais
Mastery training (procédure)
1. Package ‘procedure guidelines’ e-learning
– Prétest
2. Cours théorique et vidéo
- [Post-test 1]
Je simule
Je vois
3. Simulation en basse fidélité
– Evaluation et feed-back
4. Simulation en haute-fidélité
Je lis
Plan
•
•
•
•
•
•
•
•
Quels enjeux? Qualité et amélioration
Place de l’évaluation dans la simulation
Caractéristiques et champs de l’évaluation
Qualité de la méthode d’évaluation
Comment évaluer? Modèle de Kirkpatrick
Niveaux 1, 2, 3 et 4 avec données de la littérature
Quelles difficultés?
Conclusion
– Evaluation et débriefing
– Post-test 2
– Questionnaire: autoéaluation Niveaux 1, 2 et 3
Conclusion
• L’évaluation est indispensable à toute formation
par simulation
• Apporte la différence entre une activité
pédagogique et une activité ludique
• Donne une légitimité scientifique en tant que
processus pédagogique
• Valide ou invalide les hypothèses formulées
• Précise les déficits de performance possibles
complément de formation
• Lien entre l’enseignement et la recherche
Limites de l’évaluation en simulation?
Après apprentissage par simulation (Gaba) :
• 90% ont réussi la simulation et réussiront
dans la réalité
• 5% ont réussi la simulation et ne réussiront
pas dans la réalité
• 5% n’ont pas réussi la simulation et
réussiront dans la réalité
18