Analyse critique d`article
Transcription
Analyse critique d`article
Analyse critique d’article P Vignon Réanimation polyvalente CHU Limoges Analyse « critique » • Déterminer objectivement les points forts et faibles d’un article scientifique • Pouvoir le situer dans la littérature existante pour déterminer son apport éventuel à l’état des connaissances • Définir son champ d’application potentiel • Choisir s’il doit être mis en pratique dans son service, le cas échéant en modifiant des procédures de soins écrites • Evaluer l’impact d’éventuelles modification dans les procédures de soins et suivre la littérature à ce sujet. Analyse de la qualité d’un article 1. Objectif de l’étude (hypothèse testée) 2. Type d’étude (adaptée à l’hypothèse) 3. Facteur étudié (critère principal de jugement) 4. Population source (critères d’inclusion et exclusion) 5. Facteurs de confusion et biais (liés à la méthodologie) 6. Analyse statistique (adaptée au type d’étude / objectif) 7. Aspect éthique (accord CPP, loi de bioéthique) 8. Présentation des résultats (exhaustivité, détails) 9. Discussion et conclusion des auteurs (rapport avec les résultats) Objectif principal de l’étude • Une étude = un objectif principal • Un objectif principal = un critère principal de jugement • Le critère principal de jugement doit permettre d’évaluer l’objectif principal de l’étude • Il doit être aisément utilisable et reproductible par toute équipe qui prend en charge le même type de malades • Fondamental : conditionne le succès de l’étude ! (ex, midazolam) L’hypothèse de l’étude est-elle clairement énoncée dans l’introduction ? A-t-elle été posée a priori ? Objectif(s) secondaire(s) de l’étude • Une étude peut avoir un ou plusieurs objectifs secondaires • Evaluent des questions complémentaires (ex, tolérance d’un traitement, facteurs de risque d’une complication…) • Souvent en rapport avec la littérature existante (ex, mortalité à 28 jours ; UTSTEIN et arrêt cardiaque) • Evitent la multiplication d’études « ancillaires »… Les objectifs secondaires sont-ils pertinents et en nombre raisonnable ? S’agit-il d’une étude ancillaire ou d’une duplication de publication ? Type d’étude • Identifier le type d’étude : – Expérimentale (animaux, volontaires sains) • Prospectiv e Rétrospec – Essais cliniques (thérapeutiques ou diagnostiques) tive Randomis – Enquêtes (population ou échantillon de population) ée Contrôlée – Autre (synthèse, mise au point, méta-analyse, recommandation non randomisé d’experts etc…) e Déterminer si le type d’étude est adapté à l’hypothèseCastémoin… testée (ex, Swan-Ganz et mortalité) Le type d’étude permet-il de répondre à l’objectif principal ? Critère principal de jugement • Le critère principal de jugement doit être idéalement : – Unique (non composite) – Objectif (mesurable) – Reproductible (inter- et intra-observateur) – Utilisable en pratique (faisabilité) • Il doit découler directement de l’objectif principal Le critère de jugement a-t-il tous les critères de qualité ? Est-il adapté pour répondre à l’objectif principal de l’étude ? Population source • Doit être adaptée pour tester l’hypothèse de l’étude (ex, trachéotomie en réanimation) • Doit être représentative (échantillon) de la population de patients intéressés par l’hypothèse testée (ex, choc septique et nb défaillances d’organes ; ATIII et héparine) • Doit être détaillée (caractéristiques) en terme de critères d’inclusion et d’exclusion (ex, choc septique et fenêtre d’inclusion) Existe-t-il un « flow chart » type CONSORT ? Randomisation • Centralisée ou non • Stratification ou non : – Par centre ? – Selon le patient (ex, ATIII et héparine, TVP et âge) • Taille des blocs variable ou non Le type de randomisation a-t-il permis de limiter le biais de sélection ? Biais • Dépendent directement de la qualité de la méthodologie • Biais de sélection : – Précision des critères d’inclusion / exclusion – Exhaustivité (« screen failure log) +++ • Biais d’exécution : – En rapport avec les soins / explorations réalisés – Faisabilité et logistique (24h/24 ou diurne ou jours ouvrables) • Biais d’exclusion : – Perte de vue (suivi) • Biais de détection : – Exclusion de l’analyse finale – Honnêteté scientifique… Les biais de l’étude remettentils en cause les résultats ? Biais de sélection Biais d’exécution Biais d’exclusion Biais de détection Taille de l’échantillon • Doit être adaptée à l’objectif principal : – Calcul d’effectif a priori ? – Base : littérature, résultats préliminaires (observationnel)? • Etude de supériorité ou d’équivalence (non infériorité) ? • Ampleur de la différence pertinente ? – Relation ampleur de différence et taille des groupes – Balance : faisabilité / pertinence (ex, 2% mortalité sur 50%) • Analyse intermédiaire prise en compte dans le calcul d’effectif • Durée du suivi adapté à l’objectif principal (ex, mortalité J28 dans le choc septique) Bases pour les règles de calculs • Supériorité ou équivalence • Risque ALPHA : en règle 5% risque consenti de mettre en évidence une différence qui n’existe pas • Risque BETA : en règle 20% mais parfois inférieur risque consenti de ne pas mettre en évidence une différence qui existe) Puissance de l’étude = 1 – BETA (en règle 80%, ou plus) • Tests uni- / bilatéraux : différence détectée dans un seul / deux sens La puissance de l’étude est-elle adaptée / suffisante pour en tirer les conclusions ? Analyse statistique : validité ? • Description (moyenne / médiane ; déviation standard / erreur standard, intervalles de confiance) : dispersion des valeurs • Paramétrique et non paramétrique (distribution normale / non) : n < ou > 30 ou distribution a-normale (durée hospitalisation…) • Distinguer comparaisons ponctuelles et mesures répétées • Comparaison de deux méthodes de mesures : Blant et Altman et non corrélation (linéaire) & dispersion (2 SD) • Comparaison de deux interprétations qualitatives : Kappa & dispersion (intervalles de confiance 90%) • Identification d’une valeur seuil : courbe ROC Analyse statistique : validité ? • Temps de survie d’un événement : modèles de survie (Kaplan-Meier, Cox…) • Influence de co-variables sur le critère principal de jugement : analyse multivariée et ajustement sur les différences PAS DE COMPARAISONS UNIVARIEES MULTIPLES +++ (test de Bonferroni : 5% / nb de tests réalisés) • Valeur de P < 0,05 : à relativiser !!! – Pas de rapport de cause à effet – 5% de risque d’erreur à conclure à une différence statistiquement significative alors qu’elle n’existe pas réellement) Attention au culte du P !! • Significatif ne veut pas dire relation de cause à effet +++ • Seuil de 5% : 1 chance sur 20 de mettre en évidence une différence qui n’existe pas dans une comparaison au hasard !! Donner la valeur du P (0,04 ou 0,000000001 ?) • P > 0,05 : – Pas de différence entre les deux groupes comparés – Puissance insuffisante +++ (pb calcul d’effectif) • Juger selon les intervalles de confiance du paramètre comparé entre les groupes (pertinence augmente si IC étroits) Analyses en sous-groupes • Doivent avoir été prévues a priori pour être exploitable • Sinon : hypothèses nouvelles à explorer par d’autres études prospectives mais pas de conclusions possibles (risque de conclusion faussement positive) • Problème : manque de puissance +++ Les analyse en sous-groupes ne prévalent-elle pas sur l’analyse principale dans la présentation ? Les conclusions des auteurs ne sont-elles pas excessives ? Aspects éthiques • Interventionnelle : CPP, consentement éclairé signé (dérogation consentement d’urgence, prolongement de consentement) • Observationnelle : avis d’un comité d’éthique, information au patient traçabilitié) Présentation des résultats • Caractéristiques de la population d’étude (« flow chart ») • Tableau : population globale et groupes comparés Comparabilité des groupes ? • Critère principal de jugement • Critères secondaires de jugement • Analyses post-hoc éventuelles Présentation des résultats en accord avec les objectifs et la méthodologie choisie ? Discussion et conclusion • Discussion de la validité interne et externe des résultats • Limites de l’étude • Conclusion à tirer des résultats présentés La discussion est-elle directement en rapport avec les résultats de l’étude ? La conclusion des auteurs est-elle supportée réellement par les résultats obtenus ? Analyse « critique » • Déterminer objectivement les points forts et faibles d’un article scientifique • Pouvoir le situer dans la littérature existante pour déterminer son apport éventuel à l’état des connaissances • Définir son champ d’application potentiel • Choisir s’il doit être mis en pratique dans son service, le cas échéant en modifiant des procédures de soins écrites • Evaluer l’impact d’éventuelles modification dans les procédures de soins et suivre la littérature à ce sujet. Cohérence externe • Intérêt / pertinence de l’étude : – Originalité (ex, pas de réponse dans la littérature) ? – Intérêt de dupliquer les résultats (ex, données rares ou parcellaires, publication thématique d’une même équipe) ? – Hypothèse née d’une étude en sous-groupe d’une étude précédente ? – Extension à une population plus large / représentative ? • Comparaison à des études antérieures : – Validité de la confirmation de résultats antérieurs – Raison pour des résultats différents (comparabilité des populations ?) Intérêt scientifique / pratique de l’étude ? Analyse « critique » • Déterminer objectivement les points forts et faibles d’un article scientifique • Pouvoir le situer dans la littérature existante pour déterminer son apport éventuel à l’état des connaissances • Définir son champ d’application potentiel • Choisir s’il doit être mis en pratique dans son service, le cas échéant en modifiant des procédures de soins écrites • Evaluer l’impact d’éventuelles modification dans les procédures de soins et suivre la littérature à ce sujet. Champ d’application potentiel • Dépend des caractéristiques de la population d’étude • Dépend de l’exhaustivité des inclusions des patients éligibles et de la qualité méthodologique (biais réduits) • Pièges à éviter : – Ne pas appliquer aveuglément un nouveau traitement / procédure sans discernement : population étudiée comparable au recrutement du service ? – Ne pas appliquer systématiquement les résultats concernant une analyse posthoc même s’ils confirment une conviction personnelle – Appliquer le même traitement à la même population et ne pas « personnaliser » les résultats d’une étude +++ • Résister aux effets modes !!! (ex, NO inhalé et SDRA ; HSCH et choc septique ; insuline et normoglycémie stricte…) Conclusions • Article « critique » d’article = garder son indépendance !! • Règles simples et générales : – Lecture d’articles scientifiques – Préparation et rédaction du mémoire de DESC – Publication dans des revues à comité de lecture – Règles utilisés par les « lecteurs » de revues à comité de lecture (« reviewers ») • Professionalisation de la recherche « académique » sur les traces de la recherche « industrielle » : exigences accrues ! • Gagnant : malade car recherche indivisible des soins !