Formation sur la revue systématique Institut universitaire 2014

2014-06-12
Formation sur la
revue
systématique
dans le cadre
d’une ETMI
Par Pierre Dagenais et Isabelle Beaudoin
6 juin 2014
Objectifs de la formation
• Présenter et expliquer les étapes d’une revue
systématique dans le cadre d’une ÉTMI1;
• Illustrer les concepts à l’aide d’une revue
systématique réalisée à l’INESSS: L’efficacité de
l’approche « logement d’abord » pour les
personnes en situation d’itinérance vivant avec
des troubles mentaux ou des troubles liés aux
substances psychoactives
1À
noter que la liste des normes complètes des revues systématiques de l’INESSS est disponible à l’adresse suivante:
http://www.inesss.qc.ca/fileadmin/doc/INESSS/DocuMetho/INESSS_Normes_production_revues_systématiques.pdf
2
1
2014-06-12
Mise en contexte – RS sur l’efficacité de
l’approche « logement d’abord » pour les
personnes en situation d’itinérance
• Demande du MSSS:
– Connaître les interventions jugées efficaces auprès
des personnes en situation d’itinérance vivant avec
des troubles mentaux ou des troubles liés aux
substances
• Revue exploratoire de la littérature:
– Trois modèles: suivi intensif dans la communauté,
soutien d’intensité variable, modèle de soutien au
logement Pathways to Housing
– Choix: Pathways to Housing
3
Le modèle Pathways to Housing
•
Housing First
•
Logique sous-jacente
–
–
–
–
–
•
Inverse de l’approche linéaire
1er besoin à combler: le logement
Logement = condition préalable à l’insertion sociale
Réduction des méfaits
Philosophie d’obligations minimales
Interventions
– Suivi intensif dans la communauté
– Soutien d’intensité variable
•
Logements privés sont priorisés
4
2
2014-06-12
Rencontres auprès d’intervenants du
milieu de l’itinérance
• Intervenants rencontrés
– Intervenants communautaires
– Représentants d’organismes qui viennent en aide aux
personnes en situation d’itinérance
– Psychiatres
• Validation du modèle Pathways to Housing
–
–
–
–
Confirmée, mais…
N’importe quel type de logement
Toutes les intensités d’intervention
L’approche générale de « logement d’abord », plutôt que le
modèle Pathways to Housing en particulier
5
Revue systématique - Définition
•
Méthode explicite standardisée utilisée pour
•
•
Repérer
Évaluer
•
Synthétiser les preuves scientifiques
permettant de répondre à une question de recherche spécifique de façon
systématique et explicite
•
En combinant les résultats de plusieurs études à l’aide d’une méthode explicite
et reproductible, on peut ainsi :
•
•
Estimer l’effet d’une intervention avec une plus grande fiabilité et une plus grande précision
Minimiser l’effet des biais ou des erreurs systématiques pouvant s’immiscer dans les études
primaires
• Possibilité de consulter des experts, décideurs
• Informations non-scientifiques
6
3
2014-06-12
Les étapes d’une RS
Étape 1: Formulation de la question décisionnelle, des questions de
d’évaluation/clinique/de pratique et des questions clés
Étape 2: Repérage de la documentation pertinente
Banques de données
Littérature grise
Références bibliographiques
Étape 3: Sélection des documents
Doublons
Titres et résumés
Documents complets
Étape 4: Évaluation de la qualité des documents et sélection finale –
Documentation incluse
Étape 5: Extraction des données
Étape 6: Analyse et interprétation des résultats
7
Caractéristiques d’une revue
systématique
•
Objectif spécifique ou question précise
•
Critères de sélection des études clairement définis
•
Méthodologie explicite, transparente et reproductible
•
Recherche d’information systématique et exhaustive qui tente de repérer
l’ensemble des études répondant aux critères de sélection
•
Évaluation de la qualité des études incluses
•
Présentation et synthèse systématique des caractéristiques et des
résultats des études incluses
•
Méta analyse - si indiquée et possible
•
Participation précoce des parties prenantes pour assurer la pertinence et
l’utilité de la revue systématique.
8
4
2014-06-12
Étape 1: Formulation de la question décisionnelle, des questions
d’évaluation/clinique/de pratique et des questions clés
9
1.1 Question décisionnelle et questions
d’évaluation/clinique/ de pratique1
Question décisionnelle
• À quel niveau la décision doit-elle être prise?
– au niveau des politiques (macro)
– au niveau des organisations (méso)
– au niveau des professionnels (micro)
• À qui s’adressera le produit réalisé?
– aux décideurs politiques (macro)
– aux organisations (méso)
– aux professionnels (micro)
Questions d’évaluation/clinique/de pratique
• Quelles dimensions souhaiteriez-vous explorer dans votre RS?
–
–
–
–
–
1
Sécurité
Efficacité (réelle/pratique)
Psychologique, sociale, éthique, légale
Organisationnelle et professionnelle
Économique
Réfère à la norme 5 de l’INESSS
10
5
2014-06-12
Question décisionnelle du projet
Itinérance
Quelles sont les interventions jugées efficaces
auprès des personnes en situation d’itinérance
vivant avec des troubles mentaux ou des
troubles liés aux substances?
Niveaux décisionnels:
Politique et organisationnel
11
Questions d’évaluation du projet
Itinérance
• L’approche « logement d’abord » peut-elle être efficace en réponse
aux besoins des personnes en situation d’itinérance ayant des
troubles mentaux ou des troubles liés à une substance psychoactive
ou peut-elle avoir des conséquences négatives?
• Dans quelles conditions cette approche est-elle efficace ou produitelle des conséquences négatives?
• Pour quelles populations cette approche est-elle efficace ou
produit-elle des conséquences négatives?
Dimensions sélectionnées:
Sécurité et efficacité (incluant psychologique et sociale)
12
6
2014-06-12
1.2. Questions clés1
• Elles découlent du modèle logique et s’inscrivent dans
un cadre d’analyse
• Elles sont basées sur les critères PICO(TS)
• Elles devraient contenir les informations nécessaires
pour déterminer les critères d’inclusion et d’exclusion
de la documentation
• 1 question clé = 1 revue systématique
1Réfère
aux normes 6, 7, 8 et 9 de l’INESSS
13
1.2.1 Modèle logique
•
Illustration qui représente les liens entre les ressources, les activités et les
effets d’une intervention ou d’un programme;
– Quels sont les liens entre les causes, les structures, les processus et les
résultats de l’intervention ou du programme?
– Quels sont les contextes dans lesquels les intervenants œuvrent?
•
Permet de raffiner le sujet lorsqu’il est complexe;
– Le modèle peut être simple ou complexe puisque chaque étape peut être
décomposée;
– Plusieurs éléments du contexte peuvent être présentés si on souhaite
représenter l’ensemble des liens;
– On peut aussi décider d’illustrer uniquement une fraction du modèle,
correspondant aux liens pertinents à la revue systématique.
•
Peut provenir d’un modèle existant dans la littérature ou être élaboré
pour les besoins d’un projet particulier.
14
7
2014-06-12
Le modèle logique du projet
Itinérance
Clientèle ciblée
Pratiques cliniques
qui s’adressent à la
clientèle en situation
d’itinérance
Types
d’interventions
Résultats attendus
Services usuels
(refuges, soupes
populaires, etc.)
Divers
Interventions
psychosociales
traditionnelles (SIM,
SIV, traitement d’abord)
Divers
Approche « logement
d’abord »
Divers
15
1.2.2 Le cadre d’analyse
• Le cadre d’analyse:
– Découle du modèle logique;
– Désigne les liens qui font l’objet de questions clés
de recherche
16
8
2014-06-12
Les questions clés du projet Itinérance
•
L’approche « logement d’abord » permet-elle d’améliorer les conditions de vie des personnes en
situation d’itinérance ayant des troubles mentaux ou liés à une substance psychoactive:
–
–
•
En comparaison avec l’accès aux services usuels seulement? (Q1)
En comparaison avec les interventions psychosociales traditionnelles? (Q2)
Certaines modalités de l’approche « logement d’abord » permettent-elles d’améliorer davantage les
conditions de vie de ces personnes:
–
–
L’approche « logement d’abord » couplée à une équipe mobile d’intervenants en comparaison avec
l’approche « logement d’abord » couplée à une équipe fixe d’intervenants? (Q3)
L’approche « logement d’abord » couplée à des interventions d’intensité régulière en comparaison avec
l’approche « logement d’abord » couplée à des interventions intensives ou à des services spécialisés? (Q4)
•
Les effets de l’approche « logement d’abord » en termes de logement et d’itinérance varient-ils en
fonction : a) du sexe; b) de la culture; c) de l’âge; et d) de la durée de la période d’itinérance
(situationnelle, cyclique, chronique)? (Q5)
•
Quelles sont les conséquences négatives de l’approche « logement d’abord »? (Q6)
17
Le cadre d’analyse du projet
Itinérance
Interventions
Modalités de
l’approche
« logement
d’abord »
Effets proximaux
Effets distaux
Accès aux services
usuels
Q1
Personnes en
situation
d’itinérance
ayant un
trouble mental
ou un trouble
lié aux
substances
psychoactives
Approche
« logement
d’abord »
Q2
Interventions
psychosociales
traditionnelles
• Équipe mobile
d’intervenants
• Équipe fixe
d’intervenants
Q3
• Interventions
intensives/
services spéc.
• Interventions
régulières Q4
• Diminution du
temps passé en
situation
d’itinérance et
• Augmentation
du temps passé
en logement
Q5
Conséquences
négatives
Amélioration :
• santé mentale
et physique
• consommation
de substances
psychoactives
• utilisation des
services
• etc.
Q6
18
9
2014-06-12
1.2.3 Critères PICO(TS)
•
•
•
•
•
•
P: Population
I: Intervention
C: Comparateur
O: Outcomes/Résultats
T: Temporalité
S: Setting/Milieu d’intervention
19
Critères PICOTS du projet Itinérance
• P: Personnes en situation d’itinérance ayant des
troubles mentaux ou liés à une substance
psychoactive
• I: Approche « logement d’abord »
• C: non-spécifié
• O: Efficacité – psychologique, physique et sociale
• T: • S: 20
10
2014-06-12
1.2.4 Critères de sélection de la
documentation
• Déterminer des critères d’inclusion et des critères d’exclusion
• PICO(TS)
• Types de publication
• Années de publication
• Qualité méthodologique
• Langue
21
Critères de sélection de la documentation
pour le projet Itinérance – Inclusion
Population
Intervention
Comparateur
Critères d’inclusion — Études scientifiques
Personnes en situation d’itinérance ayant un trouble mental ou un trouble lié à
une substance psychoactive
Modèle/programme basé sur l’approche « logement d’abord »
Services usuels, interventions psychosociales traditionnelles
Résultats
•
•
Contexte
Aucune précision
Types de
publication
•
•
Efficacité des modèles ou programmes
Conséquences négatives des modèles ou programmes
Pour l’efficacité: Revues systématiques, études expérimentales, études
quasi-expérimentales avec groupe de comparaison
Pour les conséquences: tous types d’études, revues systématiques
Qualité
Publications jugées de moyenne ou de bonne qualité méthodologique
méthodologique
22
11
2014-06-12
Critères de sélection de la documentation
pour le projet Itinérance – Exclusion
Population
Intervention
Types de
publication
Critères d’exclusion — Études scientifiques
Qui ne répond pas aux critères d’inclusion
•
•
•
Centre de derniers recours (refuge)
Communauté thérapeutique
Obligation d’abstinence, d’observance des ordonnances médicales, de
traitement d’abord
•
•
Étude économique
Étude quasi-expérimentale sans groupe de comparaison (pour l’efficacité)
Qualité
Publications jugées de faible qualité méthodologique
méthodologique
Langue
Autre que le français et l’anglais
23
Étape 2: Repérage de la littérature pertinente
24
12
2014-06-12
2.1 Les sources d’information1
•
Les banques de données
–
–
–
–
–
–
Medline (PubMed)
PsycINFO
CINAHL (EBSCO)
Social Work Abstracts
Recherche de revues systématiques existantes (www.cochrane.org/cochrane-reviews;
www.crd.york.ac.uk/PROSPERO)
Etc.
•
Littérature grise scientifique
•
Examen des références bibliographiques des documents repérés
•
Autres:
–
–
–
–
–
–
1Réfère
Recherche d’études en cours (www.clinicaltrials.gov; www.who.int/trialsearch)
Recherche sur le Web (scholar.google.ca)
Recherche dans les tables des matières des périodiques clés
Recherche de citations à partir d’articles clés (Science Citation Index Expanded, Social Sciences Citation Index
et Arts & Humanities Citation Index)
Mise en ligne d’une page Web sur le projet invitant des personnes et des groupes intéressés à fournir de
l’information sur le sujet
Communication avec des experts
aux normes 10 et 11 de l’INESSS
25
Les sources d’information consultées
dans le projet Itinérance
• Banques de données
–
–
–
–
–
Medline
PsycINFO
Current Contents Connect
Social Work Abstracts
EBM Reviews
• Littérature grise et autres sources d’information
– Sites web d’organisations spécialisées en ETS
– Sites web d’organisations spécialisées en itinérance ou autres
domaines connexes
– Google
– Google Scholar
26
13
2014-06-12
2.2 Biais de divulgation des résultats1
•
Ils entraînent une surreprésentation des études obtenant des effets positifs, favorables
ou statistiquement significatifs
•
Types de biais de divulgation
–
–
–
–
–
–
–
•
De publication
De retard de publication
Attribuable à la multiplication des publications
De lieu de publication
De citation
De la langue de publication
De présentation sélective des résultats
Pour réduire les risques de biais
–
–
–
–
1Réfère
Rechercher dans plusieurs sources
Toutes les langues
Contacter les auteurs – informations manquantes
Sensibilité de la stratégie de recherche
à la norme 12 de l’INESSS
27
Diminution des risques de biais dans le
projet Itinérance
• Recherche dans diverses banques de données et sites
Web
• Recherche dans les bibliographies des documents
retenus
• Recherche dans toutes les langues
– Sélection des articles en fonction de la langue du
titre/résumé
– Traduction d’une RS (Larsen et Nordentoft, 2010)
• Résultats regroupés par étude, plutôt que par
publication
• Ajout d’une étude a posteriori
28
14
2014-06-12
2.3 Stratégie de recherche de la
documentation1
• Basée sur les critères PICO(TS) et sur les
critères d’inclusion et d’exclusion
• Présentation des équations de recherche en
annexe du rapport final
1Réfère
aux normes 13 et 14 de l’INESSS
29
Stratégie de recherche du projet
Itinérance
MEDLINE [PubMed]
Dates de la recherche : 12 et 29 juin 2012
Mise à jour : 14 mai 2013
Limites : 2002-2013; anglais et français
#1
housing first[tw]
#2
homeless persons[mh] OR homeless youth[mh]
#3
housing[majr]
#4
mental disorders[mh] OR substance-related disorders[mh]
#5
#2 AND #3 AND #4
#6
housing[tiab] OR lodging*[tiab] OR home[tiab] OR homes[tiab]
#7
homeless*[tiab]
#8
mental*[tiab] OR psychiatric*[tiab] OR substance*[tiab] OR addict*[tiab] OR drug[tiab]
OR drugs[tiab] OR alchool*[tiab]
#9
intervention*[tiab] OR program[tiab] OR programs[tiab] OR approach*[tiab] OR
model[tiab] OR models[tiab] OR treatment*[tiab]
#10
#6 AND #7 AND #8 AND #9
#11
#1 OR #5 OR #10
30
15
2014-06-12
Étape 3: Sélection des documents
31
Considérations générales1
• La sélection des études est réalisée par deux personnes et une
troisième personne arbitre les différends ou tranche lorsque les
deux personnes sont en désaccord
– Réduit les erreurs de jugement et de subjectivité
– Facilite la reproductibilité des résultats
• La sélection se fait sur la base des critères préétablis
• Les décisions relatives à l’inclusion et à l’exclusion sont
documentées
– Tableau des raisons d’exclusion des documents complets
• Création d’un diagramme de flux
– http://theta.utoronto.ca/tools/prisma
1Réfère
aux normes 15, 17, 18, 19 et 20 de l’INESSS
32
16
2014-06-12
Les étapes de sélection
3.1 La gestion des doublons
• Regrouper l’ensemble des références provenant des diverses stratégies de
recherche
• Retirer les références en double
3.2 La sélection à partir des titres et résumés
• Lire l’ensemble des titres et résumés
• Exclure les documents clairement non pertinents
• Approche inclusive
3.3 La sélection à partir des documents complets
• Lire les documents complets de l’ensemble des références sélectionnées à l’étape
3.2
• Examiner le texte complet en fonction des critères de sélection
• Communiquer avec les auteurs, si nécessaire et noter les réponses
• Exclure les documents qui ne répondent pas aux critères d’inclusion et/ou
caractérisés par au moins un critère d’exclusion
33
Diagramme de flux du projet
Itinérance – Sélection
Repérage de la documentation pertinente
Banques de données, littérature grise, bibliographies:
1231 références repérées
Sélection des documents
Doublons:
729 titres et résumés:
502 références retirées
586 exclus
143 documents
complets:
101 exclus
34
17
2014-06-12
Exercice: Sélection à partir de titres et résumés
35
Étape 4: Évaluation de la qualité des documents
et sélection finale – Documentation incluse
36
18
2014-06-12
Considérations générales1
• Tous les documents sélectionnés à la suite de la lecture
complète font l’objet d’une évaluation de la qualité
• L’évaluation de la qualité est réalisée par deux personnes et
une troisième personne arbitre les différends ou tranche
lorsque les deux personnes sont en désaccord
– Réduit les erreurs de jugement et de subjectivité
– Facilite la reproductibilité des résultats
• Évaluation critique
– Recherche de biais volontaires et involontaires
1Réfère
aux normes 15 et 21 de l’INESSS
37
Outils d’évaluation de la qualité
• Outils validés
– Liste de contrôle
– Échelle de cotation
• Nature subjective de l’évaluation
– Jugement
• Processus décisionnel
– Exclure les documents de moins bonne qualité
– Considération de la qualité dans l’interprétation des
résultats et conclusions
38
19
2014-06-12
Exemple - Évaluation critique de la
qualité des études
INESSS. Diagnostic à domicile de l’apnée
obstructive du sommeil chez l’enfant.
Rapport préparé par Christine Lobè. ETMIS
2011 ; 7(5): 1-37
39
Exemple – Évaluation de la qualité
des revues systématiques (CASP)
Questions générales
La question d’évaluation est-elle claire ?
La revue a-t-elle retenu les bons types d’études ?
DOIT‐ON CONTINUER À ÉVALUER CETTE REVUE SYSTÉMATIQUE?
Questions spécifique
Les auteurs de la revue ont-ils tenté de répertorier toutes les études pertinentes ?
Les auteurs de la revue ont-ils évalué la qualité des études retenues ?
Si les résultats des études ont été combinés, était-il pertinent de le faire ?
Les résultats, dont le résultat principal sont-ils présentés clairement?
Les résultats sont-ils précis ?
Les résultats peuvent-ils être appliqués à la population locale ?
Tous les résultats importants ont-ils été pris en considération ?
La pratique d’intervention ou la politique publique devrait-elle être modifiée à la lumière des données de cette revue ?
Les auteurs de la revue ont-ils tenté de répertorier toutes les études pertinentes ?
40
20
2014-06-12
Exemple – Évaluation de la qualité des revues
systématiques (AMSTAR – Assessment of Multiple
Systematic Reviews)
1. Un plan de recherche établi a priori est-il fourni ?
La question de recherche et les critères d’inclusion des études doivent être déterminés
avant le début de la revue.
 Oui
 Non
 Impossible de répondre
 Sans objet
2. La sélection des études et l’extraction des données ont-elles été faites par au
moins deux personnes ?
Au moins deux personnes doivent procéder à l’extraction des données de façon
indépendante, et une méthode de consensus doit avoir été mise en place pour
régler les divergences.
 Oui
 Non
 Impossible de répondre
 Sans objet
3. La recherche documentaire était-elle exhaustive ?
Au moins deux sources électroniques doivent avoir été utilisées. Le rapport doit
comprendre l’horizon temporel de la recherche et les bases de données
interrogées (Central, EMBASE, MEDLINE, par exemple). Les mots clés et (ou)
les termes MeSH doivent être indiqués et, si possible, la stratégie de recherche
complète doit être fournie. Toutes les recherches doivent être complétées par la
consultation des tables des matières de revues scientifiques récentes, de revues de
la littérature, de manuels, de registres spécialisés ou d’experts dans le domaine
étudié et par l’examen des références fournies dans les études répertoriées.
 Oui
 Non
 Impossible de répondre
 Sans objet
4. La nature de la publication (littérature grise, par exemple) était-elle un critère
d’inclusion ?
Les auteurs doivent indiquer s’ils ont recherché tous les rapports, quel que soit le type
de publication, ou s’ils ont exclu des rapports sur la base du type de publication,
41
de la langue, etc.
 Oui
 Non
 Impossible de répondre
 Sans objet
Exemple – Évaluation de la qualité des revues
systématiques (AMSTAR – Assessment of Multiple
Systematic Reviews) (suite 1)
5. Une liste des études (incluses et exclues) est-elle fournie ?
Une liste de toutes les études incluses et exclues doit être fournie.
 Oui
 Non
 Impossible de répondre
 Sans objet
6. Les caractéristiques des études incluses sont-elles indiquées ?
Les données portant sur les sujets qui ont participé aux études originales, les
interventions qu’ils ont reçues et les résultats doivent être regroupés, sous forme de
tableau, par exemple. L’étendue des données sur les caractéristiques des sujets de
toutes les études analysées (âge, race, sexe, données socio-économiques pertinentes,
nature, durée et gravité de la maladie, autres maladies, par exemple) doit y figurer.
 Oui
 Non
 Impossible de répondre
 Sans objet
7. La qualité scientifique des études incluses a-t-elle été évaluée et consignée ?
Les méthodes d’évaluation déterminées a priori doivent être indiquées (par exemple,
pour les études sur l’efficacité pratique, le choix de n’inclure que les essais cliniques
randomisés à double insu avec placebo ou de n’inclure que les études où l’affectation
des sujets aux groupes d’étude était dissimulée; pour d’autres types d’études, d’autres
critères d’évaluation seront à prendre en considération).
 Oui
 Non
 Impossible de répondre
 Sans objet
42
21
2014-06-12
Exemple – Évaluation de la qualité des revues
systématiques (AMSTAR – Assessment of Multiple
Systematic Reviews) (suite 2)
8. La qualité scientifique des études incluses dans la revue a-t-elle été utilisée
adéquatement dans la formulation des conclusions ?
Les résultats de l’évaluation de la rigueur méthodologique et de la qualité scientifique
des études incluses doivent être pris en considération dans l’analyse et les
conclusions de la revue et formulés explicitement dans les recommandations.
 Oui
 Non
 Impossible de répondre
 Sans objet
9. Les méthodes utilisées pour combiner les résultats des études sont-elles
appropriées ?
Si l’on veut regrouper les résultats des études, il faut effectuer un test d’homogénéité
afin de s’assurer qu’elles sont combinables (chi carré ou I2, par exemple). S’il y a
hétérogénéité, il faut utiliser un modèle d’effets aléatoires et (ou) vérifier si la
nature des données cliniques justifie la combinaison.
 Oui
 Non
 Impossible de répondre
 Sans objet
10. La probabilité d’un biais de publication a-t-elle été évaluée ?
Une évaluation du biais de publication doit comprendre une association d’outils
graphiques (diagramme de dispersion des études ou autre test) et (ou) des tests
statistiques (test de régression d’Egger, par exemple).
 Oui
 Non
 Impossible de répondre
 Sans objet
11. Les conflits d’intérêts ont-ils été déclarés ?
Les sources possibles de soutien doivent être déclarées, tant pour la revue
systématique que pour les études qui y sont incluses.
 Oui
 Non
 Impossible de répondre
 Sans objet
43
Exemple – Évaluation de la qualité des
essais randomisés (grille non-validée
INESSS)
CRITÈRES
OUI
(1 POINT)
OUI/NON
(0,5 POINT)
NON
(0 POINT)
PAS D’INFO
(0 POINT)
A‐ La population à l’étude
1. Les critères d’inclusion et d’exclusion sont explicites et appropriés?
2. Les lieux et dates de recrutement sont spécifiés?
3. Les groupes sont comparables à l’inclusion?
4. Les co-morbidités/co-interventions sont décrites/contrôlées?
B‐ L’intervention
1. La méthode d’allocation est explicite et appropriée*?
2. L’intervention est suffisamment décrite pour être reproductible?
3. L’intervention groupe témoin est adéquate pour éviter les biais?
4. L’observance / changements de groupe en cours d’étude sont décrits?
C‐ Les mesures d’évaluation
1. Les résultats principal et secondaires sont définis et spécifiés d’avance?
2. Les instruments de mesure sont validés et standardisés?
3. Les évaluations sont faites à l’insu† du groupe d’appartenance?
4. Y a-t-il évaluation des effets indésirables?
D‐ Le recrutement et le suivi
1. Le taux de participation est adéquat / représente la population étudiée?
2. Le taux de suivi est comparable entre les groupes?
3. L’intensité du suivi clinique est identique entre les groupes?
4. La durée du suivi est suffisamment longue?
E‐ Les analyses
1. La taille de l’échantillon / puissance sont justifiées et suffisantes?
2. Les résultats sont décrits pour chaque groupe (et les mesures de dispersion)?
3. Les résultats sont ajustés ou stratifiés pour les variables importantes?
4. Analyse en intention de traitement pour le résultat principal?
F‐ La déclaration de conflits d’intérêts potentiels
44
22
2014-06-12
Exemple – Évaluation de la qualité des
études de cohortes, cas-témoin et séries
de cas (grille non-validée INESSS)
CRITÈRES
OUI
(1 POINT)
OUI/NON
(0,5 POINT)
NON
(0 POINT)
PAS D’INFO
(0 POINT)
NA
A‐ La population à l’étude
1. La population source est identifiable et commune à tous les groupes?
2. Les critères généraux d’admissibilité sont uniformément appliqués?
3. La population étudiée est homogène pour lieu/date/population?
4. Les groupes sont comparables à l’inclusion?
B‐ La constitution des groupes index et témoin
1. Les critères définissant les sujets dans le groupe index sont explicites et standardisés?
2. Les critères définissant les sujets dans le groupe témoin sont explicites et standardisés?
3. Le groupe témoin est approprié aux objectifs visés?
4. Des précautions ont été prises pour l’application des critères définissant les groupes de sujets sans
erreur ou biais?
C‐ Les mesures d’évaluation
1. Les instruments de mesure sont validés et standardisés?
2. Les évaluations sont faites à l’insu* du groupe d’appartenance?
3. Des précautions ont été prises pour éviter les erreurs de raisonnement sur la relation cause-effet?
4. Il y a absence de biais lié à la connaissance des sujets de leur groupe?
D‐ Le recrutement et le suivi
1. Le taux de participation est adéquat /comparable entre les groupes?
2. Le taux de suivi et les caractéristiques des suivis sont comparables entre les groupes?
3. L’intensité du suivi est identique entre les groupes?
4. La durée de la période de suivi/référence est identique entre les groupes?
E‐ Les analyses
1. Les résultats sont suffisamment décrits et compréhensibles?
2. Les résultats sont ajustés pour les variables importantes?
3. Les analyses sont conformes aux objectifs poursuivis?
4. La taille de l’étude est suffisante pour l’objectif poursuivi?
F‐ La déclaration de conflits d’intérêts potentiels
45
Études exclues dans le projet
Itinérance
Documents complets évalués et exclus
Raisons de l’exclusion – Les documents
ne répondaient pas aux critères
d’inclusion suivants:
Anucha U. Housed but Homeless? Negotiating
Everyday Life in a Shared Housing Program.
Families in Society: The Journal of
Contemporary Social Services 2010;91(1):6775.
•
•
•
•
•
Anucha U. "We are not just rent receipts":
Housing, neighborhood, and community reimaged by formerly homeless people. Canadian
Social Work Review 2005;22(2):189-209.
46
Blid M et Gerdner A. Socially excluding housing
support to homeless substance misusers: Two
Swedish case studies of special category
housing. International Journal of Social Welfare
2006;15(2):162-71.
Troubles mentaux ou liés aux substances
psychoactives
Approche « logement d’abord »
Efficacité de l’approche « logement d’abord
»
Conséquences négatives de l’approche «
logement d’abord »
Troubles mentaux ou liés aux substances
psychoactives
• Étude évaluée comme étant de qualité
« moyenne » ou « bonne »
23
2014-06-12
Diagramme de flux du projet Itinérance –
Évaluation de la qualité et extraction
Évaluation de la qualité des documents
42 documents complets évalués
14 documents exclus – faible
qualité méthodologique
Sélection finale – documentation incluse
28 documents inclus pour l’extraction des données
47
Diagramme de flux complet du projet
Itinérance1
1Présentation
standard (PRISMA) adoptée par l’INESSS.
48
24
2014-06-12
Étape 5: Extraction des données
49
Considérations générales1
• L’extraction est réalisée par deux personnes et une
troisième personne arbitre les différends
– Extraction indépendante et comparaison
– Ou Extraction par une personne et validation par une autre
– Réduit les erreurs, dont les erreurs de jugement et de
subjectivité
• Utilisation d’un formulaire d’extraction
– Déterminer au préalable les données/informations à
extraire
– Permet de structurer l’extraction
1Réfère
aux normes 16, 22 et 23 de l’INESSS
50
25
2014-06-12
Exemple - Tableau d’extraction (SCIE)
•
Publication details
–
–
–
–
•
Nature of the study
–
–
–
–
–
–
•
Aims
Any further research questions adressed
Country in which the study was done
Target population
Sampling/recruitment procedures/Number of participants/sample size, etc.
Study design, etc.
Nature of intervention
–
–
–
–
–
•
Authors
Year
Title of paper
Title of publication, etc.
Name of intervention
Aims of intervention
Target population
Who provided the intervention?
How was the intervention/service delivered (group work, home visits, teaching module, etc.), etc.?
Outcomes and results
–
–
Outcomes measures used
Details of outcomes/findings, etc.
51
Tableau d’extraction du projet
Itinérance
Référence
Burt (2012)
Lieu de l’étude
Los Angeles
Plan de l’étude
Étude quasi-expérimentale
Qualité de l’étude
Bonne
Temps de suivi
12 mois avant, à l’entrée et 13 mois après l’entrée en logement
Caractéristiques de
l’échantillon
N = 471
Hommes = 56%
Caucasiens = 33%
TM graves = 88%
Troubles conco = 57%
Modalités du programme
de soutien au logement
Programme LA’s Hope;
Basé sur le modèle Housing First;
Soutien intensité variable;
Différents types de logement
Comparateurs
Programmes AB2034 : offre moins de soutien que LA’s HOPE
Résultats
LA’s HOPE vs AB2034:
+ nombreux en logement permanent;
+ jours en logement;
+ nombreux en emploi;
52
26
2014-06-12
Étape 6: Analyse et interprétation des résultats
53
6.1 Synthèse narrative analytique1
•
Objectif : établir des conclusions basées sur des données probantes
–
–
–
–
•
Les effets sont-ils semblables dans toutes les études?
Comment explique-t-on les effets différents entre les études?
Pour qui l’intervention fonctionne? dans quel contexte? comment?
Quelle est la force des preuves?
Analyse des biais de divulgation
– Peut nécessiter l’utilisation de méthodes de modélisation graphique ou de
méthodes statistiques
– Interprétation des résultats et discussion
•
Méta-analyse
– Lorsque la nature des données le permet
1Réfère
aux normes 24, 25, 26 et 27 de l’INESSS
54
27
2014-06-12
6.1 Synthèse narrative analytique
(suite)
•
Va au-delà de la simple description des études
•
Analyse critique des résultats
–
–
–
–
–
•
Caractéristiques des études incluses
Forces et limites des études
Faiblesse du plan d’étude ou de sa réalisation
Relations entre les caractéristiques des études et les résultats
Pertinence de chaque étude pour les populations, comparaisons, milieux
d’intervention, etc.
Robustesse de la synthèse
– Fiabilité du processus de synthèse
– Exactitude et précision des résultats de la revue systématique
•
Généralisabilité des résultats de la revue systématique
55
Résultats du projet Itinérance – Q1 et
Q2
Logement d’abord vs
Accès aux services usuels
Logement d’abord vs
Interventions traditionnelles
Logement
+
+
Santé mentale
≠
≠
≠
≠
≠
±
±
±
±
±
±
≠
Consommation de substances
Santé physique
Utilisation des services externes
Utilisation des services internes
Qualité de vie
Criminalité/Incarcération
56
28
2014-06-12
6.2 Discussion et conclusion1
• La discussion contient généralement les éléments suivants
–
–
–
–
–
Sommaire des principaux résultats
Niveau de preuve
Interprétation générale des résultats pour chaque question clé
Forces et limites de la revue systématique
Lacunes sur le plan des preuves scientifiques
• Une conclusion par question clé
– Appuyée sur les données probantes
– Tout en mettant en relief les limites de la littérature
1Réfère
à la norme 28, 29, 30 et 31 de l’INESSS
57
Discussion et conclusion du projet
Itinérance
• Discussion – utilisation des services externes et internes
–
–
–
–
–
–
Diminution services internes/augmentation services externes
Absence de différence significative entre les groupes
Taille des échantillons
Évaluation de la qualité
Interprétation globale
« Résultat prometteur »
• Conclusion: Pour contrer l’itinérance, l’approche
« logement d’abord » est plus efficace que:
– L’accès aux services usuels
– Les interventions psychosociales traditionnelles
58
29
2014-06-12
Conclusion de la formation
• Retour sur les objectifs
– Présenter et expliquer les étapes d’une revue
systématique dans le cadre d’une ÉTMI1;
– Illustrer les concepts à l’aide d’une revue
systématique réalisée à l’INESSS
• Commentaires/feedbacks sur la formation
59
MERCI!!
inesss.qc.ca
[email protected]
1195, avenue Lavigerie, 1er étage, bureau 60
Québec (Québec) G1V 4N3
2021, avenue Union, bureau 10.083
Montréal (Québec) H3A 2S9
30