3. Evaluer les preuves - tutoriel | Centre Cochrane Français

Transcription

Tutoriel « Introduction à l’Evidence-based nursing »
1
3. Evaluer les résultats
Objectifs du module
Vous devez connaître les 3 points à vérifier dans la lecture critique d'une étude
épidémiologique :
•
•
•
La méthodologie utilisée permet elle d’avoir des résultats valides ?
Les résultats ont-ils une pertinence clinique ?
Les résultats sont ils applicables à votre patient ?
Vous devrez savoir appliquer ces 3 points à une étude thérapeutique.
Vous devrez connaître l'existence de fiches de lecture critique pour les autres types d'études
(étiologique, pronostique, diagnostique, étude qualitative).
Avant de commencer
A l’issue de votre recherche bibliographique (étape 2), une première étape consiste à présélectionner les articles qui répondent le mieux à votre question. Pour cela, vous devez
vérifier pour chaque article que l'objectif de l'étude, les critères PICO et le type d’étude
sont similaires à ceux de votre question. Ces informations se trouve souvent dans le titre et
l'abstract de l'article.
•
•
Si ce n’est pas le cas, vous pouvez exclure l’article.
Si c’est le cas, vous pouvez passer à l’étape suivante: la lecture critique de l'article.
Centre Cochrane Français: http://tutoriel.fr.cochrane.org/fr
02/09/2011
2
Les 3 points à vérifier
I. Validité méthodologique
La première question consiste à vous demander si les résultats de l’étude sont fiables avant de
les utiliser. La méthodologie utilisée est elle valide pour que vous puissiez utiliser en toute
confiance les résultats de l'étude?
Une étude épidémiologique a pour but de fournir une estimation de la grandeur d'un
phénomène qui peut être le lien entre un facteur de risque et une maladie ou l'effet d'un
traitement. Pour des questions de faisabilité, l'étude travaille souvent sur un échantillon tiré de
la population d'intérêt.
Evaluer la qualité méthodologique d'une étude (validité interne) permet de dire si la valeur
mesurée dans l'étude est une bonne estimation de la valeur vraie dans la population d'intérêt.
Si elle diffère de façon systématique de cette vraie valeur, on parle alors de biais. Un biais est
une erreur systématique due à la conception de l’étude, qui conduit à une distorsion des
résultats de l’étude par rapport à la vraie valeur que l'étude cherche à estimer dans la réalité
(sous ou surestimation).
L'objectif de cette étape est de vérifier si la méthodologie employée dans l'étude minimise la
présence de biais. Dans ce but, des critères de qualité méthodologique existent pour chaque
type d'étude. Il faut donc les vérifier systématiquement dans la section "Méthodologie".
II. Pertinence clinique
Une fois la méthodologie validée, vous pouvez regarder la section "Résultats". Vous devez
évaluer la pertinence clinique de l’effet mesuré, en vous posant 2 questions :
1. La taille de l'effet traitement mesurée dans cette étude est elle importante?
2. L'effectif de l'étude est il assez grand pour permettre une mesure précise de l'effet?
III. Utilité pour mon patient
Finalement, vous devez évaluer si les résultats de l'étude sont utiles pour votre patient, en
posant 3 questions:
1. Les patients et le contexte de soins de l’étude sont ils similaires aux vôtres ?
2. Les critères de jugement sont ils importants pour votre patient ?
3. Enfin, vous devez vérifier si les risques ne contrebalancent pas les bénéfices pour
votre patient.
02/09/2011
3
Evaluation des résultats: les 3 points à vérifier
Nous prendrons un exemple thérapeutique pour illustrer ces 3 points. Il faut savoir qu'il existe
des fiches de lecture critique qui reprennent ces 3 points pour chaque type de question.
Exemple thérapeutique
Reprenons le patient de l'exercice 2: Mr B. 45 ans, diabétique de type II, qui vient de guérir
récemment d'un ulcère du pied gauche surinfecté.
Vous souhaitez prévenir un nouvel ulcère du pied chez ce patient. Votre question est donc:
"L’éducation du patient permet elle de prévenir l’apparition d’ulcère de pied par rapport aux
soins habituels, en prévention secondaire ?"
Vous devez chercher en priorité les recommandations pour la pratique clinique publiées, et
en faire l'analyse critique. Dans un souci de simplification, elles ne seront pas illustrées ici,
mais dans le tutoriel niveau 2.
Votre recherche bibliographique dans Pubmed retrouve la revue systématique Cochrane et
l'essai clinique les plus récents suivants:1, 2
Dorresteijn JAN, Kriegsman DMW, Assendelft WJJ, Valk GD. Patient education for
preventing diabetic foot ulceration. Cochrane Database of Systematic Reviews 2010, Issue 5.
Art. No.: CD001488. DOI: 10.1002/14651858.CD001488.pub3. Téléchargez l'article.
Lincoln NB, Radford KA, Game FL, Jeffcoate WJ. Education for secondary prevention of
foot ulcers in people with diabetes: a randomised controlled trial. Diabetologia 2008
Nov;51(11):1954-61. Téléchargez l'article.
02/09/2011
4
Cet essai thérapeutique est déjà inclus dans la revue systématique Cochrane, mais nous
l'étudierons en détail à titre d'exemple.
Pour ces 2 articles: l'objectif, les critères PICO et le type d’étude sont similaires à ceux de
votre question. Vous décidez donc de garder les garder à l'issu de votre pré-sélection, et d’en
évaluer les résultats.
Pour une meilleure compréhension, nous étudierons d'abord l'essai clinique, puis la revue
systématique car elle fait la synthèse de ces études originales.
02/09/2011
5
Essai thérapeutique
I. VALIDITE METHODOLOGIQUE
L'objectif d'un essai thérapeutique est d’évaluer l'efficacité d'un traitement. Dans ce but, on
répartit les patients en 2 groupes (le groupe expérimental recevant le traitement évalué et le
groupe témoin qui reçoit le traitement de référence ou un placebo) afin de comparer leurs
résultats. On parle d'étude comparative ou contrôlée (le groupé traité est comparé à un groupe
témoin).
Afin de montrer que l’amélioration des patients en fin d’étude n’est imputable qu’au seul effet
du traitement évalué, les 2 groupes doivent être comparables au début et jusqu’à la fin de
l’étude pour tous les autres facteurs pronostiques.
L’essai contrôlé randomisé est l’étude de premier choix dans ce cas, car un tirage au sort
(randomisation) détermine le traitement reçu par le patient. Ceci permet d'équilibrer les
facteurs pronostiques entre les 2 groupes de traitement au début de l’étude. Si la
randomisation n’est pas possible, la cohorte est à préférer à l’étude cas-témoins puis à la série
de cas. Faites un rappel des études épidémiologiques.
Les questions à vous poser
Pour s’assurer que les 2 groupes ont le même pronostic au début de l'étude
Q1. La randomisation a-t-elle été correctement réalisée ?
Q2. Les patients des 2 groupes sont ils similaires du point de vue des facteurs pronostiques
autres que le traitement reçu et des traitements associés?
Pour s’assurer que les 2 groupes gardent le même pronostic jusqu'à la fin de l'étude
Q3. Le patient et le médecin investigateur connaissent ils le groupe de traitement du patient ?
Q4. L’évaluateur du résultat clinique au cours du suivi connait il le groupe de traitement du
patient ?
Nous les appliquerons à l'article de Lincoln que vous avez déjà consulté.
Q1. La randomisation a-t-elle été correctement réalisée ?
La randomisation (tirage au sort) est le tirage au sort du traitement reçu par le patient. ainsi,
chaque patient a la même chance d’être assigné dans chaque groupe de taritement. Elle permet
d’aboutir à 2 groupes semblables en tous points à l’exception du traitement reçu, et d'éviter
l'attribution de patients plus sévères dans un groupe que dans l'autre.
02/09/2011
6
Importance de la randomisation:
Il existe plusieurs exemples historiques où les essais contrôlés randomisés ont changé les
pratiques basées sur les études non randomisées existantes.3
Pour exemple, une étude non randomisée des années 1970 avait montré l'efficacité de la
vitamine C par rapport à l'absence de traitement supplémentaire dans le traitement des cancers
en phase terminale, avec une durée de survie moyenne trois fois supérieure au groupe témoin.
Les études contrôlées randomisées ultérieures ont finalement contredit ces résultats et montré
l'absence de différence entre les 2 groupes.3
Le moyen de randomisation le plus simple est la liste constituée à l’avance, idéalement à
l’aide d’un programme informatique, si possible par un centre indépendant.4 Les séquences
d’allocation du type date de naissance, jour d’entrée à l’hôpital, heure d’arrivée, numéro de
dossier, initiales du nom… sont inadéquates (le terme « quasi-randomisé » qui est parfois
utilisé est aussi inadéquat), car il est possible de prédire quel traitement sera reçu par le patient
et de changer l'ordre d'inclusion des patients en conséquence.5
Dans l'article de Lincoln: la séquence de randomisation a été générée avant l'étude par un
centre indépendant, à l'aide d'un programme informatique.
"Participants were randomized 1:1 to receive either education or not by telephoning an
independent randomization centre which held a computer-generated random allocation
sequence prepared in advance of the study." (Page 1955)
Q2. Les patients des 2 groupes sont ils similaires du point de vue des facteurs
pronostiques autres que le traitement reçu et des traitements associés?
Il est possible de détecter un déséquilibre entre les 2 groupes en regardant le tableau 1 des
résultats, où sont présentées les caractéristiques des 2 groupes de patients à l'inclusion. Si un
déséquilibre important est constaté, vous pouvez vous demander si la randomisation a été bien
faite, avant de conclure à la part du hasard dans ce déséquilibre.
Dans l'article de Lincoln: les caractéristiques à l'inclusion sont bien équilibrées entre les 2
groupes (pour le sexe, le centre, le type de diabète, les complications du diabète..., mais les
traitements associés ne sont pas présentés). (Tableau 1, page 1958)
02/09/2011
7
Q3. Le patient et le médecin investigateur connaissent ils le groupe de traitement du
patient ?
Pour maintenir la comparabilité des 2 groupes durant le suivi, on applique si possible le
principe du double aveugle : le patient et l’équipe soignante sont tenus dans l’ignorance du
traitement reçu. Le but est d'éviter que ces derniers changent leur comportement ou la prise en
charge, en connaissant le traitement reçu, et influent sur l'évolution de la maladie.
Q4. L’évaluateur du résultat clinique au cours du suivi connait il le groupe de
traitement du patient ?
La lecture ou l’appréciation des critères de jugement clinique peut aussi se faire par un
évaluateur en aveugle, à plus forte raison si le double aveugle n’est pas possible.
Dans l'article de Lincoln: les patients et les soignants qui les prennent en charge ne pouvaient
être en aveugle du fait de la nature de l'intervention, l'éducation. Par conséquent, en cas de
discordance entre le dossier médical et le questionnaire patient, un évaluateur en aveugle
tranchait en retournant au dossier médical, pour le critère de jugement principal (survenue
d'un nouvel ulcère du pied dans les 12 mois).
02/09/2011
8
"The primary outcome measure was the occurrence of any new ulcers and was determined by
medical and foot clinic records in the three hospitals supported by questionnaires sent to the
patient... Where a discrepancy between the patient report and medical records was found, the
latter were re-checked and the probable cause of the discrepancy determined by blinded
observers." (Page 1956)
Conclusion :
Au terme de ces questions, vous pouvez dire que l'article de Lincoln présente un risque
minime de biais, donc une bonne validité interne.
II. PERTINENCE CLINIQUE
1. La taille de l'effet traitement est elle importante ? 6
Les essais cliniques utilisent souvent comme critère de jugement la survenue d’un évènement
(maladie ou complication pour l’efficacité, effet indésirable pour la tolérance). Il s’agit d’un
critère binaire où la réponse est « oui / non ».
Pour ce type de critère, on peut calculer le taux d’événement dans le groupe témoin (TET) et
dans le groupe expérimental (TEE). On compare les risques entre les 2 groupes en faisant le
rapport (risque relatif, RR) ou la différence (risque absolu, RA):
RR = TEE / TET
RA = TEE - TEC
Pour savoir de combien le nouveau traitement réduit le risque par rapport au traitement
témoin, on calcule la "réduction du risque" par rapport au traitement témoin. Là aussi, il
peut s'agir de réduction du risque relatif (RRR) ou de réduction du risque absolu (RRA):
RRR = 1 - RR = 1 - TEE / TEC
RRA = 1 - ( TEE - TEC ) = TEC - TEE
Attention: le RRR ne donne pas une idée du risque de base d’avoir un événement dans le
groupe témoin. Par conséquent, pour une appréciation complète de l’effet (réduction du risque
et risque de base dans le groupe témoin), il est utile de connaître la réduction du risque
absolu (RRA). 7
L’inverse de la RRA est le nombre de sujets à traiter (NST) pour éviter un événement
durant la durée de l’essai. C'est un indicateur de l'effet traitement facile à comprendre: plus le
nombre de sujets à traiter avec le nouveau traitement est faible pour éviter un évènement,
meilleur est son efficacité. Il faut donc le rechercher en priorité voire le calculer, car il est
rarement reporté. L’acronyme anglais « NNT » (number needed to treat) est aussi
couramment utilisé en français.
02/09/2011
9
NST = 1 / RRA
Exemple : 7
On peut lire dans un essai contrôlé randomisé qu’un médicament réduit le risque de fracture
du col du fémur de 50 % sur 3 ans. A première vue, cette quantité d'effet du médicament
paraît importante. Mais il peut également signifier que le taux de fracture, qui est de 1 % sans
traitement, passe à 0,5 % avec le traitement. Dans ce cas, le bénéfice de ce médicament paraît
beaucoup moins important.
Une autre manière de formuler ce résultat consiste à dire que 200 personnes doivent prendre
ce médicament pendant 3 ans pour prévenir un nouveau cas de fracture du col du fémur. Dans
ce cas, ce médicament peut semble moins intéressant voire être une option coûteuse.
De même, la réduction du risque relatif (« le médicament réduit le risque de 50 % ») est ainsi
moins bien comprise. Pour une même réduction du risque, l’expression sous forme de RRR
est souvent perçue de façon plus élevée à tort que la RRA ou le NST, et encourage plus le
clinicien à adopter le nouveau traitement.
Taux d’évènement
Dans le
Dans le groupe
groupe témoin
expérimental (TEE)
(TET)
0,5%
1,0%
Nombre de sujets
à traiter
Réduction du
risque relatif
(RRR)
Réduction du
risque absolu
(RRA)
RRR=1-RR=1TEE/TET
RRA=1-(TEETET)=TET-TEE
NST=1/RRA*
1 - 0,005/0,01 =
0,5 (50%)
1% - 0,5% = 0,5%
NST = 1/0,005 =
20
(NST)
* Il faut toujours tenir compte de la durée de l’essai pour comparer les NST de différents
essais
Dans l'article de Lincoln: le tableau 2 donne les taux d'évènement et le RR pour le critère de
jugment principal (ulcère du pied à 12 mois).
Taux d’évènement
Dans le groupe
Dans le groupe
témoin « control » expérimental
(TET)
(TEE)
41/85 = 48,2%
41/87 = 47,1%
Réduction du
risque relatif
(RRR)
Réduction du
risque absolu
(RRA)
RRR=1-RR=1- RRA=1-(TEETEE/TET
TET)=TET-TEE
Nombre de sujets à
traiter (NST)
NST=1/RRA*
1 - 0,471/0,482 = 48,2% - 47,1% = NST = 1/0,011 =
0,977 (97,7%)
1,1%
91
* Pour la durée de l’essai
02/09/2011
10
L'éducation semble réduire le risque de survenue d'ulcère à 1 an de 97,7% en terme de RRR.
Cependant, si l'on regarde en terme de risque absolu, le bénéfice semble faible: RRA=1,1% et
il faudrait traiter 99 patients pour éviter un ulcère à un an.
2. L'effectif de l'échantillon est il suffisant pour permettre une mesure précise de l'effet ?
La question est de savoir ici si l’effet traitement observé est une bonne estimation de la vraie
valeur en situation réelle, dans la population d’où est tirée l’échantillon. Autrement dit, est ce
que le hasard (lié au tirage au sort de l'échantillon de la population d'intérêt) n’explique pas à
lui seul la taille de l'effet observée. On parle de hasard lié à la fluctuation d’échantillonnage.
Il dépend directement de l'effectif de l'échantillon: plus l'effectif de l'échantillon est important,
meilleure est la précision de l'estimation.
Pour nous aider, nous disposons de 2 indicateurs :
– L’intervalle de confiance (IC) fournit les limites dans lesquelles la vraie valeur qu’on
cherche à estimer doit se situer. Si on répète la même étude 100 fois (chaque répétition
produisant une valeur estimée et son intervalle de confiance), 95 intervalles de confiance
contiendront la vraie valeur. On dit que la vraie valeur a une forte probabilité (95% de chance)
de se situer dans cet intervalle. Le choix d’un seuil à 95 % est arbitraire. L’intervalle de
confiance est ici une mesure de l’incertitude des résultats observés, due au hasard dans la
sélection de l’échantillon (fluctuation d’échantillonnage).
•
Si l’IC englobe la valeur « 1 » pour un RR: le résultat est considéré comme non
statistiquement significatif. La part du hasard est trop grande pour avoir confiance
dans l'estimation.
•
Concernant la largeur de l'IC95%: plus l'échantillon est grand, plus il fournira une
estimation précise de l'effet, c'est à dire que la largeur de l'IC95% sera petite.
– La valeur « p » indique la probabilité que le résultat de l'étude soit attribué au seul fait du
hasard. En pratique, la valeur de p est comprise entre 0 et 1, et est déterminée par un test
statistique.8 Cependant, elle ne donne ni la taille ni la direction de la différence d’effet observé
entre les 2 groupes. Son seuil est habituellement fixé à 0,05.
•
Si p<0,05: la probabilité que le hasard explique la différence observée est faible
(<5%). Le résultat est statistiquement significatif.
•
Si p>0,05: la probabilité que le hasard explique la différence observée n'est pas
négligeable (>5%). Le résultat est statistiquement non significatif.
Exemple pour le risque de fracture du col du fémur:
•
RR=0,5 (IC95%=0,3-0,7) ; p=0,033
RR est inférieur à 1 donc le traitement diminue le nombre de fractures du col fémoral.
L’intervalle de confiance ne contient pas 1, donc l’effet observé est statistiquement
significatif, ce qui est confirmé par le p<0,05.
02/09/2011
•
11
RR=0,8 (IC95%=0,4-1,2) ; p=0,58
RR est inférieur à 1 donc le traitement diminue le nombre de fractures du col fémoral. Mais
l’intervalle de confiance contient 1, donc l’effet observé n’est pas statistiquement significatif,
ce qui est confirmé par le p>0,05.
Dans l'article de Lincoln: le tableau 2 montre un RR=0,997 (IC95%=0,776-1,280).
L'intervalle de confiance contient 1, donc la différence n'est pas statistiquement significative
pour le critère de jugement principal. Ce qui est confirmé par le p>0,05 (abstract).
III. Utilité pour mon patient
1. Les patients de l'étude et le contexte de soins sont ils similaires aux vôtres?
Vous devez vérifier que votre patient a des caractéristiques similaires aux patients de l'étude,
en termes d'âge, sexe, sévérité de la maladie, co-mobidités... Pour cela, il suffit de regarder si
votre patient répond aux critères d'inclusion et d'exclusion de l'étude (section
"Méthodologie").
Le traitement doit être utilisé dans un contexte de soins similaire à celui de votre pratique
(même organisation du système de soins, même protocole suivi, même définition de
l'intervention…). Cette description doit être détaillée dans la section "Méthodologie".
Dans l'étude de Lincoln: les critères d'inclusion sont: un ulcère du pied diabétique guéri
depuis plus de 28 jours, patient suivi dans une clinique spécialisée dans le pied. Les critères
d'exclusion sont: l'institutionnalisation, la démence, la présence de problèmes médicaux
importants.
Votre patient Mr B. 45 ans, diabétique de type II, sans autre antécédent important, répond aux
critères de l'étude. A préciser que le suivi en clinique peut être l'équivalent en France du suivi
multidisciplinaire à l'hôpital et en ville par un pédicure-podologue.
L'intervention pourrait être appliquée dans votre pratique: séance d'éducation d'1 heure à
domicile par un pédicure-podologue, dépliants d'information, un entretien téléphonique 1
mois après la séance à domicile. Cependant, cela représente un coût supplémentaire non
négligeable.
2. Le critère de jugement est il important pour mon patient?
Un essai thérapeutique n'a qu'un seul objectif principal, et donc un critère de jugement
principal. Bien sûr, il peut y avoir plusieurs objectifs et critères secondaires. Il faut que le
critère de jugement principal réponde à l'objectif de l'étude et soit pertinent cliniquement.
Ainsi, évaluer l'efficacité d'un médicament sur des critères physiologiques seuls n'est pas
suffisant. Il faut des critères cliniques qui permettent d'évaluer le pronostic clinique du
patient.
02/09/2011
12
Exemple: L'efficacité d'une nouvelle statine sur le taux de LDL-CT seul ne suffit pas, il faut
aussi que le traitement diminue l'incidence d'évènements cardio-vasculaires (infarctus du
myocarde, accident vasculaire cérébral, décès cardio-vasculaires...).
Dans l'étude de Lincoln: le critère principal clinique répond à l'objectif de l'étude: prévenir les
nouveaux ulcères du pied. La durée de suivi (12 mois) semble suffisante et compatible avec le
dépistage annuel des lésions du pied d'après les recommandations internationales.9
3. Les effets indésirables contrebalancent ils le bénéfice du traitement?
La question d'adopter un traitement ne se pose pas si celui ci est efficace, sans effet
indésirable, peu coûteux et facile à appliquer dans la pratique. Malheureusement, tous ces
paramètres sont rarement réunis.
Pour que le traitement ait un impact positif sur votre patient, vous devez vérifier que les effets
indésirables potentiels du traitement ne contrebalancent pas ses bénéfices. On parle de balance
bénéfice-risque. Les données sur la tolérance proviennent non seulement des essais cliniques
mais aussi de cohortes. En effet, ces dernières présentent l'intérêt d'avoir un suivi plus long et
de suivre les patients en situation de vie réelle.
De même que pour l'efficacité, il vaut mieux préférer le RRA au RRR. On calcule dans ce cas,
l’équivalent du NNT pour les effets indésirables: le « NNH » (number needed to harm) qui
indique le nombre de patients à traiter pour voir apparître un événement indésirable lié au
traitement, durant la durée de l’essai. Le NNH se calcule de la même manière que le NNT.
S'agissant de différence absolue (RRA, NNT et NNH), pour effectuer une confrontation
numérique du bénéfice et du risque, les effets indésirables doivent être de nature similaire aux
événements évités. 10
Exemple: L'étude SPARCL a montré qu'une haute dose d'atorvastatine chez les patients avec
un antécédent d'accident vasculaire cérébral (AVC) pouvait prévenir un nouvel AVC
ischémique mais augmentait en contrepartie le risque d'AVC hémorragique (effet
indésirable).11
Sur une durée de suivi médiane de 5 ans, 2 365 patients ont reçu l'atorvastatine et 2 666 un
placebo. Concernant les AVC ischémiques, 218 sont survenus dans le groupe expérimental, et
274 dans le groupe témoin (Figure 2). Concernant les AVC hémorragiques, 55 sont survenus
dans le groupe expérimental, et 33 dans le groupe témoin (Figure 3). Pour les 2 types
d'évènements, la différence observée entre les 2 groupes est statitiquement significative, car
l'intervalle de confiance de la différence absolue ne contient pas 0 (Figures 2 et 3).
Nous obtenons donc un NNT=42 et un NNH=112, selon le tableau suivant:
02/09/2011
Taux
d'évènements
Groupe
expériemental
(TEE)
n=2366
13
Taux
d'évènements
Groupe témoin
(TET)
n=2365
218/2365 =
0,092
AVC ischémique (effet
bénéfique)
274/2366 = 0,116
AVC hémorragique
(effet indésirable)
55/2366 = 0,023 33/2365 = 0,014
Différence de
risque absolu
NNT ou
NNH
RRA
= 1-(TEE-TET) =
TET-TEE
= 1/RRA
-0,024
NNT= 42
+0,009
NNH=
112
Le rapport NNH/NNT quantifie en moyenne le nombre d’événements évités pour un
événement indésirable induit.
Dans cet exemple, NNH/NNT=112/42=3. En moyenne, un événement indésirable (AVC
hémorragique) survient pour 3 AVC ischémiques évités par le traitement. Le bénéfice apporté
par les statines est donc contrebalncé en grande partie par leur effet indésirable.
Dans l'étude de Lincoln: il n'y a pas d'effet indésirable s'agissant d'éducation.
Conclusion pour l'article de Lincoln:
1. La qualité méthodologique et bonne, il y a donc peu de risque de biais.
2. L'effet traitement est de taille faible et statistiquement non significatif.
3. Les résultats de l'étude sont appliquables à votre patient, mais avec un coût
supplémentaire non négligeable.
4. De plus les effets indésirables contrebalancent le bénéfice faible et non démontré.
Vous n'utiliserez donc pas cette méthode d'éducation chez votre patient Mr B.
02/09/2011
14
Revue systématique
I. VALIDITE METHODOLOGIQUE
L'objectif d'une revue systématique est d'évaluer les effets (efficacité et tolérance) d’une
intervention (souvent thérapeutique, parfois diagnostique), en faisant la synthèse critique de
toutes les études répondant à la question.
Pour cela, elle suit une méthodologie systématique et rigoureuse:
1. Elle commence par une recherche exhaustive de toutes les études (publiées et non
publiées) répondant à une question précise,
2. Puis fait l’évaluation critique de la qualité méthodologique des études retenues,
3. Elle en fait ensuite la synthèse des résultats. Si les études sont assez homogènes, une
analyse quantitative peut être réalisée à partir des données, il s'agit d'une méta-analyse.
Les questions à vous poser
Q1. Une question clinique claire a-t-elle été spécifiée ?
Q2. Toutes les études ont elles été cherchées ?
Q3. La sélection des articles est elle explicitée ?
Q4. La méthodologie des études a-t-elle été évaluée?
Q1. Une question clinique claire a-t-elle été spécifiée ?
Une revue systématique doit se focaliser sur une seule question claire, définie a priori. On
peut utiliser pour cela, les critères PICO. La question soulevée doit figurer dans le titre ou
l'abstract ou dans la dernière phrase de l'introduction. En effet, en ciblant une question
précise, les auteurs arrivent plus facilement à réunir des études homogènes et aboutir à une
conclusion.
Dans la revue de Dorresteijn: le titre expose clairement la question: "Patient education for
preventing diabetic foot ulceration". On retrouve les critères P: diabetic ; I: patient education;
O: preventing foot ulceration.
Q2. Toutes les études ont elles été cherchées ?
L'auteur doit décrire les sources de données qu'il a interrogées et sa stratégie de recherche
bibliographique. Il doit notamment expliciter comment il a recherché les études non publiées
(littérature grise).
02/09/2011
15
Importance de rechercher les études non publiées:
Les études rapportant des résultats positifs (statistiquement significatif) sont plus souvent
publiées que celles rapportant des résultats négatifs (non statitiquement significatifs). Le fait
de ne pas prendre en compte les études négatives dans une revue systématique peut entraîner
une surestimation en faveur du traitement évalué. On parle de biais de publication. 12
Exemple: Egger et al. (BMJ, 1998)13 ont réalisé une méta-analyse comparant la polychimiothérapie à la monothérapie dans le cancer ovarien avancé. Ils ont pour cela comparé
des essais enregistrés dans un registre international du cancer (qui recense de façon exhaustive
les études publiées et non publiées sur les cancers) à des essais publiés dans des journaux. Si
l'on prend seulement les études publiées, les résultats montrent que la polychimiothérapie
améliore significativement la survie dans les études publiées. Par contre, si l'on prend les
études publiées et non publiées (recensées dans le registre), la quantité d'effet est réduite,
voire non statitistiquement non significative ici.
Dans la revue de Dorresteijn: les auteurs ont interrogé les principales bases biomédicales
utilisées pour réaliser une revue systématique sur les soins (section "Methods", page 4). Il
s'agit de:
- Ovid Medline: principale base de données biomédicales, répertoriant surtout des
publications issues d'Amérique du Nord ;
- CINAHL: principale base de données sur les soins infirmiers;
- Ovid Embase: base de données complémentaire à Medline car elle regroupe surtout les
publications issues d'Europe;
- CENTRAL: une des 6 bases proposées par la Cochrane Library, qui regroupe les essais
cliniques issus de Medline, d'Embase et d'autres sources non publiées (abstracts de congrès,
recherche manuelle....).
Pour rechercher les études non publiées, les auteurs ont consulté le registre du groupe
Cochrane spécialisé dans les blessures, qui recense les études publiées et non publiées dans ce
domaine. Par contre, ils n'ont pas spécifié s'ils avaient contacté les investigateurs des études,
02/09/2011
16
les industries pharmaceutiques ou regardé dans les publications d'agences gouvernementales,
ni fait une recherche manuelle dans les références des articles ou dans des revues.
Les auteurs ont utilisé une équation de recherche ultrasensible qui cherche de façon
exhaustive les études. L'équation est fournie en annexe pour les principales bases de données.
Q3. La sélection des articles est elle explicitée?
La sélection des études doit se faire sur des critères de sélection prédéfinis et justifiés, décrits
et pertinents. Pour être reproductible et réduire au maximum la subjectivité du lecteur, elle
doit être réalisée par 2 personnes au minimum, indépendamment l'une de l'autre. En cas de
désaccord, un consensus doit être recherché.
Les critères de sélection sont au minimum les critères PICO, le type d'étude et la durée de
suivi.
Dans la revue de Dorresteijn: les études sélectionnées sont des essais contrôlés randomisés qui
ont évalué l'effet des programmes d'éducation du patient dans la prévention de l'ulcère du pied
diabétique (abstract, page 1). Ces critères sont détaillés dans la section "Methods" (page 3),
comme suit:
P: diabète de type 1 ou 2
I: éducation du patient, seul ou intégré à un programme plus large
O: survenue d'un ulcère du pied (premier ou réccidive) ou d'une amputation. Ont été exclues
les études évaluant uniquement la glycémie.
Il n'y a pas de limite concernant la durée de suivi des études.
Q4. La méthodologie des études a-t-elle été évaluée?
La méthode d’évaluation du risque de biais doit être précisée et reproductible. Elle commence
d'abord par l'extraction des données des études puis l'évaluation du risque de biais à partir de
ces données.
- Une grille d’extraction standardisée doit être utilisée, comportant les données à extraire et la
définition précise de chaque type de biais à rechercher.
- Pour être reproductible, l’évaluation doit être faite par 2 lecteurs indépendants au minimum.
En cas de désaccord, une recherche de consensus ou l'intervention d'un tiers doit être réalisée.
Les lecteurs doivent être formés à l'utilisation de la grille d'extraction.
02/09/2011
17
Dans la revue de Dorresteijn (section "Methods", page 4 et 5):
L'extraction des données a été faite en utilisant un formulaire standardisé, par 2 extracteurs
indépendants.
L'évaluation du risque de bais a été faite par 2 lecteurs indépendants, en utilisant le logiciel
"Risk of Bias Tool" développé par la Cochrane Collaboration, qui permet de côter chaque
étude sélectionnée, selon les 6 types de bias rencontrés dans les études thérapeutiques. Les
critères permettant de déterminer le niveau de risque pour chaque type de biais ont été définis
à l'avance et sont donnés dans l'Annexe 5. Sur les 11 essais de cette revue, un seul avait un
faible risque de biais (Lincoln, 2008).
En cas de désaccord pour l'extraction des données ou l'évaluation du risque de biais, un
consensus a été recherché.
Evaluation du risque de biais pour chaque étude de la revue de Dorresteijn
(par le logiciel Risk of Bias Tool)
Pour chaque étude et chaque type de biais: la pastille rouge indique un risque de biais élevé,
vert: minime, jaune: incertain.
02/09/2011
18
Conclusion
Les 4 points méthodologiques ont été réalisés correctement dans la revue systématique de
Dorresteijn. Vous concluez donc que la validité interne de cette revue systématique est bonne.
Néanmoins, le risque de biais des études inclues est élevé.
Vous pouvez maintenant lire les résultats.
II. PERTINENCE DES RESULTATS
1. La taille de l'effet traitement mesurée dans cette revue est elle importante?
La méta-analyse est une méthode statistique qui permet de combiner les résultats individuels
de plusieurs études indépendantes en un résultat commun. L'estimation de l'effet traitement
commun est la moyenne pondérée des estimations individuelles de chaque étude. Elle donne
plus de poids aux études de grande taille.
La mesure de cet effet traitement varie en fonction de la nature du critère de jugement
(qualitatif ou quantitatif) :
- Un risque relatif ou un odds ratio dans le cas des critères de jugement binaires (ex: survenue
d'un cancer. Les valeurs possibles sont : oui/non). Néanmoins, il est préférable de se référer au
risque absolu et au nombre de sujets à traiter, pour l’interprétation clinique.
De même que pour l'essai clinique, on peut calculer la réduction du risque absolu (RRA) et le
nombre de sujets à traiter pour éviter un évènement avec le nouveau traitement (NST). Pour
avoir une bonne interprétation de la taille de l'effet, mieux vaut utiliser le NST voire le
calculer.
- Une différence moyenne pour les critères de jugement continus (ex: évaluation du niveau de
douleur. On peut utiliser une échelle visuelle analogique qui côte la douleur sur une échelle
continue allant de 0 à 10).
2. L'effectif de l'étude est il assez grand pour permettre une mesure précise de l'effet?
Cette estimation ponctuelle doit être accompagnée de son intervalle de confiance à 95%.
Un test fournit également un « p » permettant de tester si l’effet traitement commun est
significativement non nul. Si cet effet est non significatif, deux interprétation sont possibles:
soit il n'y pas de différence entre les 2 groupes, soit de la puissance de la méta-analyse n'est
pas suffisante pour arriver à conclure statistiquement.
La taille de l'effet et son intervalle de confiance sont synthétisés pour chaque étude et de façon
combinée sur un graphique appelé "forest plot".
02/09/2011
19
3. Représentation graphique
Le forest plot est un graphique représentant les résultats des différentes études inclues dans la
méta-analyse.
(1) A gauche se trouve la description des études inclues, notamment leur poids alloué selon la
taille de l'effectif. Ainsi, les études de grande taille ont plus de poids.
(2) A droite, le résultat de chaque étude est représenté sous forme d’un carré, avec son
intervalle de confiance (trait horizontal de part et d'autre)
Les résultats sont combinés sous la forme d’un losange qui représente l’effet traitement
combiné. Le milieu du losange représente la valeur estimée ponctuelle. Les extrémités sont
les bornes de l'intervalle de confiance qui entourent cette estimation ponctuelle.
(3) La ligne horizontale en bas du graphique doit préciser quel indicateur est utilisé pour
quantifier l’effet traitement (RR, OR, diférence moyenne), et dans quel sens l’interpréter ("en
faveur du traitement" ou "en faveur du contrôle").
La ligne verticale représente un effet traitement nul (égal à 1 pour un risque relatif ou un odds
ratio, 0 pour une différence moyenne). Si l'intervalle de confiance englobe ce repère, le
résultat obtenu au niveau de l'essai ou de la méta-analyse n'est pas statistiquement significatif.
Dans l'exemple ci-dessous 14: le losange est situé à gauche sans la toucher de la ligne effet
traitement nul: le traitement évalué est donc supérieur à celui du groupe témoin, ce qui est
confirmé par le test d’association significatif (p=0,0003) en (4).
Forest Plot 14
02/09/2011
20
4. Les études sont elles suffisamment similaires pour être combinées ?
Cette estimation de l’effet traitement commun ne peut se faire que si les études sont assez
proches (en termes de population, intervention, critères de jugement et méthodologie de
l’étude) pour être combinées et fournir une estimation commune cohérente.
C’est pourquoi une autre analyse doit évaluer l’hétérogénéité entre les études: est-ce que
l’estimation de l’effet traitement varie trop d’un essai à l’autre pour être combinée? Pour
s'orienter, il est possible de s'aider d'une évaluation graphique ou de tests statistiques. A noter
que ces derniers outils d'évaluation ne sont là que pour vous orienter.
Evaluation visuelle
Le forest plot permet de positionner les résultats de chaque essai les uns par rapport à l'autre.
Ainsi, si les intervalles de confiance de tous les essais se recoupent, cela vous oriente pour
dire que les téudes sont homogènes entre elles.
Evaluation statistique
Le test d'hétérogénéité teste si les résultats de tous les essais peuvent être considérés comme
similaires. C'est l'hypothèse d'homogénéité. Le regroupement de ces essais est alors licite. Si
le test d'hétérogénéité est non significatif, cela vous oriente pour dire que les téudes sont
homogènes entre elles.
Dans l’exemple ci-dessus14 :
Le forest plot montre des intervalles de confiance qui se recoupent entre les études. Ce
résultat est renforcé par le résultat du test d’hétérogénéité en bas à gauche (5) qui est non
significatif (p>0,05). 15, 16 Ces 2 résultats vous orientent pour dire que les études sont
homogènes entre elles, et que la méta-analyse est justifiée dans ce cas.
Au contraire, si ces 2 méthodes avaient mis en évidence une hétérogénéité trop importante
entre les études, il aurait fallu chercher la cause de cette hétérogénéité dans le type de
population, d'intervention, de critères de jugement ou de méthodologie de chaque étude. Et si
rien ne l’expliquait, il aurait fallu soit la prendre en compte dans l’estimation de l’effet
combiné, soit ne pas faire de méta-analyse.
Dans la revue de Dorresteijn :
Les 11 études inclues étaient trop hétérogènes pour l'ensemble des critères PICO. Le
programme éducationnel variait de la séance courte au programme intensif, plus ou moins
intégré à un programme de prévention plus large. Une analyse groupée n'a donc pas été
réalisée, mais de façon isolée pour chaque étude (section "Discussion", page 13).
Seules 4 études ont utilisé un critère de jugement clinique (survenue d'ulcère ou amputation,
qui représentent l'objectif final de l'éducation), et pas seulement des critères de jugement
intermédiaires (ex: scores sur le savoir et le comportement des patients). Parmi ces 4 études, 2
avaient une puissance trop faible pour montrer un effet statistiquement significatif pour ces
02/09/2011
21
critères cliniques. Une étude (Malone, 1989) a montré un effet positif de l'éducation
statistiquement significatif, mais son risque de biais était trop important. Son résultat n'a pas
été retrouvé par l'étude de Lincoln (2008) qui était la seule étude à présenter un risque de biais
faible.
En se basant sur les études de Malone et de Lincoln, seules à avoir assez des données
suffisantes permettant de conclure sur des critères cliniques, les auteurs de la revue ne
retrouvent pas de différence statistiquement significative.
02/09/2011
22
Essentiel et plus
Les points essentiels
Les 3 points à vérifier dans la lecture critique d'un essai thérapeutique sont les suivants :
1. La méthodologie est elle valide pour avoir confiance dans les résultats ?
o Randomisation correctement réalisée ?
o Sujets du groupe expérimental et ceux du groupe témoins similaires pour les
facteurs pronostiques autres que le traitement évalué et pour les traitements
associés
o Double aveugle, sinon évaluateur en aveugle au minimum
2. Les résultats ont-ils une pertinence clinique ?
o La taille de l'effet traitement est elle importante ?
o L'effectif de l'échantillon est il suffisant pour avoir une estimation précise de
l'effet traitement ?
3. Les résultats sont ils utiles à votre patient ?
o Les résultats de l’étude sont ils applicables à votre patient ?
o Les critères de jugement sont ils importants pour votre patient ?
o Les risques contrebalancent ils les bénéfices pour votre patient ?
Pour aller plus loin
Il existe des fiches de lecture critique pour chaque type d'étude (étiologique, pronostique,
diagnostique, étude qualitative...).
Références
1. Dorresteijn JAN, Kriegsman DMW, Assendelft WJJ, Valk GD. Patient education for preventing
diabetic foot ulceration. Cochrane Database of Systematic Reviews 2010, Issue 5. Art. No.:
CD001488. DOI: 10.1002/14651858.CD001488.pub3. Téléchargez l'article.
2. Lincoln NB, Radford KA, Game FL, Jeffcoate WJ. Education for secondary prevention of foot
ulcers in people with diabetes: a randomised controlled trial. Diabetologia 2008
Nov;51(11):1954-61. Téléchargez l'article.
3. Abel U, Koch A. The role of randomization in clinical studies: myths and beliefs. J Clin
Epidemiol. 1999 Jun;52(6):487-97.
4. Lecture critique des méta-analyses. Michel Cucherat. Service de Biostatistique et Service de
Pharmacologie Clinique - EA643. Faculté de médecine Laennec & CHU Lyon.
http://www.spc.univ-lyon1.fr/lecture-critique/metaanalyse/texte2.htm
5. Lecture critique d’un article médical scientifique : objectifs pédagogiques. Isabelle
COLOMBET. Cours Faculté de médecine Paris Descartes. Décembre 2007.
6. Maîtrise de l'information médicale. D. Nanchen, O. Pasche, B. Burnand, N. Rodondi, J.
Cornuz. Groupe Médecine & Hygiène :
http://www.medhyg.ch/pmu/themes_generaux/4_maitrise_de_l_information_medicale
02/09/2011
23
7. Akl EA, Oxman AD, Herrin J, Vist GE, Terrenato I, Sperati F, Costiniuk C, Blank D, Schünemann
H. Using alternative statistical formats for presenting risks and risk reductions. Cochrane
Database of Systematic Reviews 2011, Issue 3. Art. No.: CD006776. DOI:
10.1002/14651858.CD006776.pub2.
8. Glossaire des termes utilisés en Evidence-Based Medicine. Deuxième édition remaniée, 2008.
Minerva : http://minerva-ebm.be/fr/lexicon.asp
9. Séances de prévention des lésions des Pieds chez le patient diabétique, par le Pédicure
podologue. Haute Autorité de Santé. 2007. P. 13. http://www.hassante.fr/portail/upload/docs/application/pdf/rapport_pied_diabetique.pdf
10. Balance bénéfice risque. Interprétation des essais cliniques pour la pratqiue médicale. Michel
Cucherat. Service de Biostatistique et Service de Pharmacologie Clinique - EA643. Faculté de
médecine Laennec & CHU Lyon. http://www.spc.univlyon1.fr/polycop/balance%20benefice%20risque.htm
11. Vergouwen M.D., de Haan R.J., Vermeulen M., Roos Y.B. (2008). Statin treatment and the
occurrence of hemorrhagic stroke in patients with a history of cerebrovascular disease.
Stroke 39, 497–502. [PubMed]
12. Biais de publication. Interprétation des essais cliniques pour la pratique médicale. Michel
Cucherat. Faculté de Médecine Lyon – Laennec : http://www.spc.univlyon1.fr/polycop/biais%20de%20publication.htm
13. Egger M, Smith GD. Bias in location and selection of studies. BMJ. 1998 Jan 3;316(7124):61-6.
Téléchargez l'article.
14. Rutjes AWS, Nüesch E, Sterchi R, Jüni P. Therapeutic ultrasound for osteoarthritis of the knee
or hip. Cochrane Database of Systematic Reviews 2010, Issue 1. Art. No.: CD003132. DOI:
10.1002/14651858.CD003132.pub2.
15. Tips for teachers of evidence-based medicine: 4. Assessing heterogeneity of primary studies
in systematic reviews and whether to combine their results. CMAJ Hatala et al. 172: 661.
http://www.cmaj.ca/cgi/data/172/5/661/DC1/1
16. Systematic Review Appraisal Sheet. Centre for Evidence Based Medicine. University of
Oxford. 2005. http://www.cebm.net/index.aspx?o=1157
[Sites consultés le 02/09/2011]
02/09/2011
24
Fiches de lecture critique
Téléchargez les points essentiels de la validité interne pour chaque étude:
•
•
•
•
•
•
•
Recommandation
Revue systématique
Thérapeutique / essai clinique
Pronostique / cohorte
Etiologique / cas témoin
Etude diagnostique
Etude qualitative
Pour aller plus loin
•
Les fiches d’analyse critique de la littérature se basent en général sur les articles
initiaux du JAMA Series: « Users' Guides to the Medical Literature » publiées à partir
de 1994.
Ces articles sont répertoriés avec des exemples pratiques sur le lien suivant :
http://www.mclibrary.duke.edu/subject/ebm?tab=appraising&extra=worksheets.
Un livre correspondant a par ailleurs été publié: Gordon Guyatt. Users' Guides to the Medical
Literature: A Manual for Evidence-Based Clinical Practice, Second Edition (Jama &
Archives Journals). 2002.
•
Vous pouvez aussi consulter les articles du BMJ Series: « How to Read a Paper ». Ils
sont gratuits via Pubmed, et répertoriés sur le lien suivant :
http://www.annfammed.org/misc/AJCBibliography.shtml
•
Le Centre for Evidence Based Medicine (CEBM, université d’Oxford) produit aussi
des fiches de lecture critiques avec une notice explicative :
http://www.cebm.net/index.aspx?o=1157
02/09/2011

3. Evaluer les preuves - tutoriel | Centre Cochrane Français

Transcription

Documents pareils

Tutoriel Cochrane Library - tutoriel | Centre Cochrane Français

Introduction à l`Evidence-based nursing

Tutoriel Cochrane

Projet d`un meuble en carton Nom et Prénom : Gérer son temps de

Voir la dernière page de ce document

Richard Cameron Guest Book - Les Maisons Funéraires Genier

installation de pacsteam

Tutoriel Scrap: Décorer des pic a brochette avec des perforatrice

Mes logiciels préférés

TUTO Nettoyage du PC - Ordisecours

Activité physique seule ou avec un régime pour la prévention du

Juin 2013 - Cochrane France

33. La Collaboration Cochrane