Principe d`évaluation des tests diagnostiques Plan

Transcription

14/11/2013
Principe
d’évaluation des tests
diagnostiques
Dr Sandra DAVID TCHOUDA
Cellule d’évaluation médico-économique des innovation, CHUG
[email protected]
Plan

Objectif et contexte de ces études visant à
évaluer un test diagnostique
Rappel LCA
Principe d’un test diagnostique
Performance diagnostique d’un test /
application pratique (EP)

Biais / précautions d’interprétation

Se, Sp,
rapports de vraisemblance (RV)
VPP, VPN
Nomogramme de Fagan : P(M) a priori et a postériori
Biais de sélection, de classement et de publication,
Exemple de calcul
Référence bibliographique
S David tchouda / Eval test diag / P2 2013/2014
2
1
14/11/2013
Objectif
et contexte de ce type d’étude
Objectif de ces études

Mesurer la performance/ validité d’un « test »
pour une maladie donnée :
critère
intrinsèque : Sensibilité, spécificité, RV+, RV-,
indice de Youden
Recherche d’un seuil (courbe ROC, aire sous la
courbe)
critère
extrinsèque : VPP, VPN
Le différencier de reproductibilité ou fiabilité
(variabilité intra et inter laboratoire)
F Cout
F
4
2
14/11/2013
Design d’étude

Le plus souvent, étude observationnelle
Cohorte
Cas
témoins
Étude transversale
F interventionnelle si le test ne fait pas partie
de la pratique de soins courante

Plus rarement, étude interventionnelle
Essai
clinique
Test rajouté à la pratique habituelle
5
Contexte d’étude

Respect d’un continuum à cette recherche :
1.
Mise en évidence de l’association entre le test
(biologie, imagerie, génétique, SC…) et la maladie

Recherche étiologique (étude de cohorte, cas témoins, …)
F objectif préalable
2.
Intérêt de ce test pour diagnostiquer la maladie ?
Fiabilité / reproductibilité en 1er lieu
F objectif préalable

qualités diagnostiques du test (Se, Sp)
F Validité interne

3.
… Si test « satisfaisant », autres objectifs :
Intérêt dans dépistage (stade pré symptomatique),
Intérêt dans le pronostic de la maladie
F Validité externe (VPP, VPN)

6
3
14/11/2013
…Rappel LCA
24 objectifs pour l’ECN…
Rappel LCA (1) : quels objectifs ?

Critiquer un article pour modifier sa
pratique… ou pas !

Implication +++
Proposition de grille de LCA en santé
Support HAS janvier 2000
grille de l’ECN en médecine :

LCA des articles épidémiologiques et en recherche
clinique
Contient 24 objectifs (ci-après)
8
4
14/11/2013
Rappel LCA (2) : grille ECN

IDENTIFIER
1.
2.
l’objet d’un article médical scientifique parmi les
suivants : évaluation d’une procédure diagnostique,
d’un traitement, d’un programme de dépistage,
estimation d’un pronostic, enquête épidémiologique
à l’exclusion des MA,
La question posée par les auteurs (hypothèses).
9
Rappel LCA (3) : grille ECN (suite)

ANALYSER LA METHODOLOGIE

Population
3.
4.
5.
6.
7.
Identifier les caractéristiques de la population source /
cible,
Analyser les modalités de sélection des sujets, critères
inclusion/exclusion
Analyser la technique de randomisation, le cas échéant,
Discuter la comparabilité des groupes soumis à la
comparaison,
Discuter l’évolution des effectifs étudiés et leur
cohérence dans la totalité de l’article. Calcul du nombre
de sujet fait a priori ?
10
5
14/11/2013

ANALYSER LA METHODOLOGIE (suite)

Méthode
8. S’assurer que la méthode employée est cohérente
avec le projet du travail et qu’elle est effectivement
susceptible d’apporter « une » réponse à la
question posée dans l’article,
9. Vérifier que les analyses statistiques (en fonction
de notions élémentaires) sont cohérentes avec le
projet du travail, connaitre les limites de l’analyse
en sous- groupe, notion de perdus de vue (PDV),
10. Vérifier le respect des règles éthiques.
11

ANALYSER LA PRESENTATION DES
RESULTATS
11.
12.
Analyser la présentation, la précision et la lisibilité des
tableaux et des figures, leur cohérence avec le texte et
leur utilité,
Vérifier la présentation des indices de dispersion
(intervalle de confiance, valeurs extrêmes, quantiles,
écart-types) permettant d’évaluer la variabilité des
mesures / l’imprécision des estimations.
12
6
14/11/2013

CRITIQUER L’ANALYSE DES RESULTATS ET
DE LA DISCUSSION
11.
12.
13.
Discuter la nature et la précision des critères de
jugement des résultats.
Relever les biais qui ont été discutés. Rechercher
d’autres biais de classement et de sélection éventuels
non pris en compte dans la discussion et relever leurs
conséquences dans l’analyse des résultats.
Vérifier la logique de la discussion et sa structure.
Reconnaître ce qui relève des données de la littérature
et ce qui est opinion personnelle de l’auteur.
13

CRITIQUER L’ANALYSE DES RESULTATS ET
DE LA DISCUSSION (suite)
14.
15.
16.
17.
18.
Discuter la signification statistique des résultats.
Discuter la pertinence clinique des résultats.
Vérifier que les résultats offrent une réponse à la
question annoncée,
Vérifier que les conclusions sont justifiées par les
résultats,
Indiquer le niveau de preuve de l’étude (grille de l’HAS).
14
7
14/11/2013

EVALUER LES APPLICATIONS CLINIQUES
21.

Discuter la ou les applications potentielles /décisions
médicales auxquelles peuvent conduire les résultats
et la conclusion de l’article
CRITIQUER LA FORME DE L’ARTICLE
22.
23.
24.
Identifier la structure IMReD (Introduction, Matériels
et Méthodes, Résultats, Discussion) et s’assurer que
les divers chapitres de la structure répondent à leurs
objectifs respectifs
Faire une analyse critique de la présentation des
références
Faire une analyse critique du titre
15
Rappel LCA (9) : en bref ?
Argumenter :
Au début, en utilisant une grille d’aide à la LCA !

En utilisant vos connaissances
Sur
la structure des articles originaux en général
la méthodologie de l’article (objectif, exigences dans
population, méthodes et résultats)
Sur
F validité

interne
En discutant la conclusion
«
Ampleur » des résultats
Pertinence clinique et statistique
Extrapolation
F validité
externe
F Replacer l’étude dans son contexte
16
8
14/11/2013
Principe du raisonnement
probabiliste
Raisonnement probabiliste (1)
Pourquoi en santé, raisonner sur des probabilités?
Parce que:
Le signe clinique parfait pathognomonique
ou l’examen complémentaire idéal (non couteux,
non douloureux, non invasif…)
existe rarement…
ª On est rarement en situation de certitude absolu
Le vivant n’est pas un théorème
de maths démontrable…
18
9
14/11/2013
Raisonnement probabiliste (2)

Le but pour un médecin est de transformer
une probabilité de maladie a priori
clinique défini avant l’information
fournie par une exploration suppl.…
probabilité

en une probabilité de maladie a posteriori
en
intégrant dans la démarche diagnostique
l’information fournie par l’exploration !
19
Raisonnement probabiliste (3) :

1.
2.

Le raisonnement probabiliste fait partie de
la démarche diagnostique :
Probabilité de M avant / après le recueil
d’un signe clinique
Probabilité de M avant / après un examen
paraclinique
Application à
l’ embolie pulmonaire (EP)
20
10
14/11/2013
1/ Proba d’EP à la clinique
Cancer évolutif (tt en cours dans les 6 mois ou palliatif)
+1
Symptômes cliniques de thrombose veineuse
+3
Fréquence cardiaque supérieure à 100
+ 1.5
Immobilisation ou chirurgie dans le mois précédent
+ 1.5
Antécédent thromboembolique veineux
+ 1.5
Hémoptysie
+1
Absence d’alternative diagnostique
+3
Score < 2: probabilité faible
Score = 2 à 5: probabilité modérée
Score > 5: probabilité forte
Wells et al. Thromb Haemost 2000; 83: 416
21
2/ Proba d’EP
D-dimère (ELISA)
Angioscanner
Écho-doppler
des MI
22
11
14/11/2013
Raisonnement probabiliste (4) :
finalité en santé

Quand P(M) est estimée très forte
(> 99 %) ou très faible (< 1 %)
on

décide « malade » ou « non malade
on arrête les investigations
ª La démarche diagnostique est une suite
d’évaluation de la probabilité d’une maladie
intégrant des informations successives
23
Principe d’un test
diagnostique
12
14/11/2013
Test diag (1) : apport

Source d’information

Clinique ou paraclinique
Utilisé dans une démarche de décision
ªBut : réduire l’incertitude clinique
25
Test diag (2) : définition

Tout examen anamnestique, clinique ou
paraclinique dont le résultat peut être
analysé vis à vis d’un diagnostic supposé et
exprimé en valeurs ordinales :
positif
/ négatif
positif / intermédiaire / négatif
très forte probabilité / forte probabilité /
probabilité intermédiaire / faible probabilité /
très faible probabilité
transformation d’une variable continue
26
13
14/11/2013
Test diag (3) : principe
Test
dg
Faux
Positifs
Vrai
Positifs
maladie
Vrai
Négatifs
Faux
Négatifs
27
Calcul
de la performance d’un test
14
14/11/2013
Un mot sur la reproductibilité

« Fiabilité » et « reproductibilité » sont synonymes.

Un test reproductible est un test qui donne le même résultat sur
un sujet,

quel que soit l’opérateur (reproductibilité inter opérateur)
et quel que soit le moment où on l’applique (reproductibilité
temporelle / intra opérateur).
ªPlus un examen est reproductible, plus il est fiable.

La reproductibilité se mesure avec le coefficient kappa
(variabilité inter-opérateur ou intra-opérateur)
F Ne pas confondre avec la validité du test qui est sa
capacité à identifier la maladie (efficacité du test /
performance) : Se, Sp, VP, RV, courbe ROC…
29
Performance (1)

Caractéristiques « intrinsèques » : capacité
informative
propres
au test (ne dépendent pas de la prévalence)
Î sensibilité, spécificité, rapports de vraisemblance
(RV+, RV-)

Caractéristiques « extrinsèques » :
caractéristiques
intrinsèques + contexte utilisation
prévalence (= probabilité pré-test)
Î valeurs prédictives positive / négative (= probabilité
post-test)
30
15
14/11/2013
Performance (2)
Nécessite d’être «comparé» au test de
référence (gold standard) qui définit les
malades et les non malades
Elaboration d’un tableau de contingence

31
Application pratique du cours : l’EP

La question : valeur prédictives de l’EP
par les « D dimères »?

Performance diagnostique des D Dimères
Cas
du critère binaire
(seuil D dimères patho ≥ 500 µg/L)
Cas du critère quantitatif
32
16
14/11/2013
Se et Sp
Sensibilité et Spécificité
Gold standard
Résultats du test
Malades (M+)
Non malades (M-)
Test positif (T+)
VP
FP
Test négatif (T-)
FN
VN
(VP+FN)
(FP+VN)
Total
Se = P(T + / M + ) =
VP
VN
Sp = P(T − / M − ) =
(VP + FN )
(VN + FP )
34
17
14/11/2013

Se ≈ 1 : test très sensible/ dg «d’exclusion»

test toujours positif (T+) chez les sujets malades
(M+) Î existence de FP ?
⇒ la négativité du test (T-) écarte la maladie (M-)
EP
oui
non
D-dimer ≥ 500µg/L
195
278
D-dimer < 500µg/L
1
197
196
475
Total
Se = P (T + / M + ) =

195
= 99 . 5 %
(195 + 1)
35
Sp ≈ 1 : test spécifique/ dg de «confirmation»
test
toujours négatif (T-) chez les sujets sains (M-)
Î existence de FN ?
⇒ sa positivité (T+) est pathognomonique de la
maladie (M+)
EP
oui
non
D-dimer ≥ 10,000µg/L
20
2
D-dimer < 10,000µg/L
176
473
Total
196
475
Sp = P (T − / M − ) =
473
= 99.6%
(473 + 2)
36
18
14/11/2013
Rapports de vraisemblance
Rapports de vraisemblance :
définition

Regrouper la sensibilité et la spécificité du
test en un seul indicateur, le rapport de
vraisemblance

LR+ = P(T+/M+)/P(T+/M-)
Capacité
du T+ à distinguer les M des nonM…
coefficient multiplicateur de la probabilité a
priori de la maladie
38
19
14/11/2013
Rapports de vraisemblance : calcul
Gold standard
Malades Non malades
(M-)
(M+)
VP
FP
Résultats
du test
Test positif
(T+)
Test négatif
(T-)
FN
VN
Total
LR + =
P(T − / M + ) 1 − Se
P(T + / M + )
Se
LR − =
=
=
P(T − / M − )
Sp
P(T + / M − ) 1 − Sp
39
RV positif : interprétation
D-dimère ≥ 500 µg/L
LR + =
0.995
P(T + / M + )
Se
=
=
= 1.70
P(T + / M − ) (1 − Sp ) (1 − 0.414 )
LR+ = (VP/M+) / (FP/M+)
Interprétation : les DD sont « quasi 2 fois
plus souvent positifs chez les M par rapport
aux nonM »
Le test est d’autant plus informatif que
LR+ >>1 (bon test > 5-10 selon la communauté

scientifique)
40
20
14/11/2013
RV négatif : interprétation
D-dimer < 500 µg/L
LR − =
P(T − / M + ) (1 − Se ) (1 − 0.995)
=
=
= 0.01
0.414
P(T − / M − )
Sp
« LR- = 0.01 » signifie que les DD sont « 100
fois moins souvent négatifs chez les M par
rapport aux nonM »
Le test est d’autant plus informatif que LRproche de 0 (FN / VN)

41
Application à l’EP
pour l’utilisation des RV
21
14/11/2013
Application à l’EP

Probabilité a priori
Implicite
(raisonnement non formel du
médecin par expérience)
Explicite (règle prédictive : score de Wells)
ÎPrévalence(EP)
a priori
43
Rappel : score clinique de Wells
Cancer évolutif (tt en cours dans les 6 mois ou palliatif)
+1
Symptômes cliniques de thrombose veineuse
+3
Fréquence cardiaque supérieure à 100
+ 1.5
Immobilisation ou chirurgie dans le mois précédent
+ 1.5
Antécédent thromboembolique veineux
+ 1.5
Hémoptysie
+1
Absence d’alternative diagnostique
+3
Score < 2: probabilité faible
Score = 2 à 5: probabilité modérée
Score > 5: probabilité forte
Wells et al. Thromb Haemost 2000; 83: 416
44
22
14/11/2013
Rappel : D DIMERE
RV- = 0.01
D-dimère (ELISA)
45
Rapport de vraisemblance (+)
de l’angioscanner thoracique spiralé
100%
Post-test probability
90%
80%
Rapport de
vraisemblance
positif: 24.1
70%
60%
50%
40%
30%
20%
Roy et al.
BMJ 2005
10%
0%
0%
10%
20%
30%
40%
50%
60%
70%
Pre-test probability
80%
90%
100%
46
23
14/11/2013
Diagramme
de Fagan
Scanner : LR+= 24.1
D Dimère : LR- = 0.01
47
Synthèse interprétation RV

Coefficient multiplicateur de P(M)
Interprétation RV+: un sujet a « RVP fois »
plus de risque d'avoir un test positif s'il est
atteint de la maladie étudiée que s'il n'est
pas atteint de la maladie.
Interprétation RV-: un sujet a « RVN fois »
moins de risque d'avoir un test négatif s'il
est atteint de la maladie étudiée que s'il
n'est pas atteint de la maladie.

48
24
14/11/2013
Prev (M)
et valeurs prédictives
(VPP et VPN)
dans le cas d’une cohorte
Probabilité a priori : Prévalence
Gold standard
Résultats du
test
Malades (M+) Non malades (M-)
Test positif (T+)
VP
FP
Test négatif (T-)
FN
VN
Total
m1
m0
Prévalence = P (M + / Total ) =
m1
m1 + m 0
50
25
14/11/2013
Ex : prévalence de l’EP
EP
oui
non
195
278
D-dimer < 500µg/L
1
197
196
475
Total
Prévalence = P(M + / Total ) =
196
= 29%
(196 + 475)
51
Probabilité a posteriori (+) : VPP
Gold standard
Résultats du
test
Malades (M+)
Non malades
(M-)
Test positif (T+)
VP
FP
Test négatif (T-)
FN
VN
(VP+FN)
(FP+VN)
Total
VPP = P(M + / T + ) =
VP
(VP + FP )
52
26
14/11/2013
Variation de la VPP en fonction de la
prévalence (1)
Pulmonary Embolism
Yes
No
195
278
D-dimer < 500µg/L
1
197
196
475
Total

Se = 0.995 et Sp = 0.414
Prévalence = 196 / 671 = 29%
VPP= 195 / 473 = 41%
53
Variation de la VPP en fonction de la
prévalence (2)
Pulmonary Embolism
Yes
No
195
2780
D-dimer < 500µg/L
1
1970
196
4750
Total

Se = 0.995 et Sp = 0.414
Prévalence = 196 / 4946 = 4%
VPP= 195 / 2975 = 6.5%
54
27
14/11/2013
Probabilité a posteriori (-) : 1-VPN
Gold standard
Résultats du
test
Malades (M+)
Non malades
(M-)
Test positif (T+)
VP
FP
Test négatif (T-)
FN
VN
(VP+FN)
(FP+VN)
Total
VPN = P(M − / T − ) =
VN
(VN + FN )
55
Interprétation VP (1)

les VP impose de ne parler que de la
population concernée.
1,00
ª on sait que la
VPN augmente
quand la P[M]
diminue et
inversement
pour la VPP.
0,90
0,80
0,70
0,60
VPP
VPN
0,50
0,40
0,30
0,20
0,10
0,00
0,00
0,10
0,20
0,30
0,40
0,50
Prévalence
0,60
0,70
0,80
0,90
1,00
56
28
14/11/2013
VPP = Prev*Se / [(Prev *Se) + (1-Prev)*(1-Sp)]
= P(M/T+) si cohorte
dénominateur VPP = % de tests positifs
VPN = (1-Prev)*Sp / [(1-Prev)*Sp + (Prev)*(1-Se)]
= P(nonM/T-) si cohorte
F si
la Sp tend vers 1 la VPP tend vers 1
(diagnostic de confirmation quand T+)
F si
la Se tend vers 1 la VPN tend vers 1
(diagnostic d’exclusion quand T-)
57

VPP
A
Se égale, la VPP croit avec P(M) et décroit
avec le % de tests positifs (dénom. VPP).
ª A Se égale, la VPP d'un test est donc
d'autant plus forte que la maladie est
fréquente ET le test rarement positif.

VPN
ª A Sp égale, la VPN d'un test sera d'autant
meilleure que la maladie est rare ET que la
positivité du test est fréquente (i.e. test
rarement négatif ).
58
29
14/11/2013
Cas du critère quantitatif
Cas d’un test quantitatif

Quel seuil adopter ?
Gold standard
Résultats du
test
?
Test positif (T+)
VP
Non malades
(M-)
FP
Test négatif (T-)
FN
VN
(VP+FN)
(FP+VN)
Total
Malades (M+)
60
30
14/11/2013
effectif
PE = no
PE = yes
70
60
50
40
30
20
10
Seuil ≥ 100 µg/L
>=10000
9000
10000
8000
7000
6000
5000
4000
3000
2000
1000
900
800
700
600
500
400
300
200
100
0
D-dimer (µg/L)
61
Seuil ≥ 100 µg/L
Pulmonary Embolism
Yes
No
196
470
D-dimer < 100µg/L
0
5
196
475
Total
Se = 1 et Sp = 0.01
62
31
14/11/2013
effectif
PE = no
PE = yes
70
60
50
40
30
20
10
Seuil ≥ 500 µg/L
>=10000
9000
10000
8000
7000
6000
5000
4000
3000
2000
1000
900
800
700
600
500
400
300
200
100
0
D-dimer (µg/L)
63
Seuil ≥ 500 µg/L
Pulmonary Embolism
Yes
No
195
278
D-dimer < 500µg/L
1
197
196
475
Total
Se = 0.995 et Sp = 0.414
64
32
14/11/2013
Courbe ROC
(Receiver Operating Characteristics)
D-dimer ≥
100
200
300
400
500
600
…
Se
100
100
100
99.5
99.5
95.4
…
Sp
1.1
13.7
24.8
34.9
41.4
49.9
…
65
Courbe ROC

AUC (area under curve) = 1 si test parfait (Se=1 et Sp=1)
AUC = 0,5 si test non discriminant (courbe ROC =
diagonale)
500
100
1000
1-Sp= FP
95% CI [0.84-0.90]
66
33
14/11/2013
Conclusion… pratique
Moyens diagnostiques EP…
?
… nouveau test tests diag à évaluer ?
67
Biais / Précautions
d’interprétation
34
14/11/2013
1. Biais de sélection (1)

Biais de sélection : la population étudiée ne
correspond pas à celle que nous prenons en
charge

Patients aux caractéristiques différentes
Panel de patients insuffisamment varié
Prévalence de la M plus basse ou plus élevée
69
1. Biais de sélection
Î Performance modifiée

Surestimation des propriétés « intrinsèques »
potentielles (i.e. phase symptomatique M)
Sur(sous)estimation des valeurs des VP en
fonction de la prévalence
Î Extrapolation limitée des résultats :

estimations non extrapolables à la pratique
courante pour laquelle le test est développé
70
35
14/11/2013
2. biais de classement (1)

Biais d’exclusion/ biais de suivi : au fil de
l’étude, la population étudiée ne
correspond plus à celle que nous prenons
en charge (PDV)

Biais de subjectivité de l’enquêteur / biais
d’évaluation / biais d’interprétation
Pour l’éviter, la lecture du test doit être
Aveugle et/ou indépendante de l’examen
de référence (R)
71

les biais d’évaluation sont souvent
investigateur dépendant :
Expérience
du praticien (théorie)
habitudes du praticien (caractéristiques en
pratique réelle : pragmatique)

Pour les éviter, on peut :
Standardiser
le recueil
72
36
14/11/2013

Biais de vérification : gold standard imparfait
Pour l’éviter le gold standard doit être :
Le plus « parfait » possible
exhaustif : réalisé chez tout le monde

Biais d’incorporation : le test est inclus dans
gold standard (perte d’indépendance)
73
3. biais de publication

Biais de publication : Les résultats de
l’étude sont regroupés avec d’autres
études publiées et seules les études avec
des résultats probants ont été publiées.
Î majoration des performances possible ?
74
37
14/11/2013
6. Exemple de calcul
Application en santé
Evaluation de la valeur diagnostique
du dosage radio-immunologique des
phosphatases acides dans le
dépistage du cancer de la prostate

Étude de
cohorte
T+ si
dosage >
8,0 mg /0,1
ml
Cancer
Test +
75
Pas
cancer
30
Test -
40
210
250
115
240
355
105
76
38
14/11/2013
calcul
Cancer
Pas
cancer
75
30
105
40
210
Se = P [T+/M+] = Test 115
240
75/115 = 65,2%
Sp = = P [T-/M-] = 210/240 = 87,5%
250
Test +

355
VPP = P [M+/ T+] = 75/105 = 71,4%
VPN = = P [M-/ T-] = 210/250 = 84%

RV+ = P [T+/M+] / P [T+/M-] = 5,2
RV- = P [T-/M+] / P [T-/M-] = 0,40

77
7. Références
bibliographiques
39
14/11/2013
Pour en savoir plus

Delacour H. et al. Critères d’évaluation de la validité d’un
test biologique. Revue francophone des laboratoires
2009;39(412):41-48.
Knottnerus J.A. et al. Evaluation of diagnostic procedures.
BMJ. 2002 February 23; 324(7335): 477–480
F Doyon et al. Evaluation des méthodes diagnostiques.
J Radiol. 2001 Feb;82(2):117-25.
Site internet du CNCI (conseil Scientifique de médecine),
onglet « épreuve de Lecture critique d’article (objectifs
pédagogique, glossaire, exemples, annales )
http://www.cnci.parisdescartes.fr/medecine/
79
40