Présentation MDStatConsulting

Données manquantes - Rappels sur
les évolutions réglementaires récentes
Guideline EMA de 2010, NRC report 2010 pour les US
MDSTAT Consulting
Atelier du 24 mars 2014
Lyon
1
[email protected]
Plan








2
Rappel sur les évolutions récentes - Contexte
Effet des données manquantes sur les analyses
Recommandations générales
Nécessité du traitement des données manquantes
Méthodes d’imputation
Analyses de sensibilité
Conclusions
Références
Rappel sur les évolutions récentes

3
Nouvelles recommandations (US et Europe)
suite aux avancées théoriques sur le sujet.
–
EMA : nouvelle guideline en juin 2010 (ancienne
2001), en vigueur depuis le 01/01/11
–
US : « The Prevention and Treatment of Missing
Data in Clinical Trials » - National Research
Council - 2010
Rappel sur les évolutions récentes
–
EMA : document de 12 pages donnant une vue
d’ensemble du problème, quelques définitions et
des conseils de bonne pratique.
–
US : document de 144 pages, très détaillé (en
particulier, on peut trouver le détail des méthodes
statistiques évoquées) et contenant des exemples
(3 types d’essais cliniques sont présentés).
On trouve également un glossaire détaillé et une
liste de 18 recommandations.
–
4
Contexte
Essai confirmatoire de phase III (dite
pivot) d’un nouveau médicament



5
Mais, les recommandations s’appliquent aussi
lorsque pertinentes à :
d’autres phases (phase II, phase IV)
les dispositifs médicaux
les médicaments vétérinaires
From Reuters

US FDA staff cite missing data for
J&J/Bayer’s Xarelto

Washington – Mon May 21, 2012

May 21 (Reuters) – U.S. drug reviewers said Johnson & Johnson’s
blood thinner Xarelto appeared to reduce the risk of new hearth
attacks and strokes in people with hearth problems, but missing data
raised doubts about whether the drug actually worked.
…
6
Effets des données manquantes
sur les analyses
1) Effet sur la puissance et la variabilité
7
Si les patients avec données manquantes sont exclus
alors :
– Réduction de la puissance statistique = impact
sur le sample-size
– Sous-estimation de la variabilité car les patients
« incomplets » sont plus susceptibles d’avoir des
valeurs extrêmes → diminution de la taille de l’IC
de l’effet du traitement
Effets des données manquantes
sur les analyses
2) Biais (problème le plus important !)
8
Si les patients avec données manquantes sont
exclus alors :
- Pb dans la comparabilité des groupes, biais dans
l’estimation de l’effet du traitement
- Le manque de représentativité de l’échantillon
impacte la validité externe de l’étude
- Le biais dépend de la relation entre les DM et la
variable non observée (même si les DM sont
également réparties entre les bras de traitement!).
Cette relation est inconnue.
Effets des données manquantes
sur les analyses
Au final,
si on ne peut pas se contenter de travailler
sur les données observées uniquement,
alors il faut « imputer » les données
manquantes.
9
Recommandations générales
Il n’y a pas d’approche méthodologique
universellement acceptée !!
Mais quelques règles :
- Eviter la présence des DM (protocole, design,
qualité, e-CRF…)
- Continuer la collecte des données sur le critère
clinique après l’arrêt du traitement à l’étude en cas
de sorties prématurées
10
(cf. NRC)
Recommandations générales
-
-
11
Prédéfinir dans le protocole et le SAP les
méthodes sélectionnées et pre-spécifier
quelle méthode sera utilisée pour l’analyse
principale
Expliquer pourquoi elle est conservatrice
Prévoir des analyses de sensibilité
Recommandations générales
Explorer le schéma d’apparition des données
manquantes (courbes de Kaplan-Meyer…)
12
Recommandations générales
-
-
13
A cause de l’imprédictabilité de la plupart des
problèmes, il peut être acceptable de mettre
à jour la stratégie de gestion des DM dans le
SAP pendant la Blind-Review.
Ref : guideline EMA
Nécessité du traitement
des données manquantes
Approche théorique :
(réf : Molenberghs and Kenward 2007, Wiley, par exemple)
Missing Completely At Random (MCAR)
→ exemple : patient qui déménage
MAR→ la probabilité d’être manquant dépend
uniquement des données observées
MNAR → Autres cas
14
Dans un essai clinique, il ne peut quasiment jamais
être exclu que certaines données soient MNAR!
Nécessité du traitement des
données manquantes
Analyse « en cas complets »
(Completed Cases analysis)
-
-
15
L’analyse en cas complets n’est généralement pas
acceptable comme approche principale dans une
étude confirmatoire (contredit le principe de l’ITT,
apporte un biais…)
Elle peut cependant être acceptable dans des
études exploratoires, spécialement dans les phases
précoces (par ex, cross-over) ou comme analyse de
sensibilité.
Méthodes d’imputations

L’acceptabilité des différentes méthodes présentées
dépend des :
–
–
–
–
16
Différences de % de données manquantes entre
les bras
Différence dans le temps d’apparition des
données manquantes entre les bras
Les causes de données manquantes
La direction de l’évolution spontanée des
paramètres étudiés en cours d’étude
« Single imputation » methods
17

Méthode LOCF: non biaisée et conservatrice
seulement dans des circonstances très précises !

BOCF : peut être appropriée pour des maladies
chroniques

« Best or worst case » imputations : Intéressant, en
particulier dans le cas d’un critère binaire
(succès/échec)
« Single imputation » methods
Risque majeur de toutes ces méthodes « single
imputation » :
Sous-estimation de la variance (Rubin 1987)
Fausse impression de précision : on a remplacé
l’incertitude par de la certitude…
→ intervalles de confiance trop petits = méthode
non conservatrice !
18
Ce risque peut être réduit par l’utilisation de méthodes
plus complexes, dites « Multiple imputations
methods »
Extrait de la recommandation 9 du
NRC report (FDA)
« The panel believes that in nearly all cases, there are
better alternatives to last observation carried forward
and baseline observation carried forward imputation,
which are based on more reasonable assumptions
and hence results in more reliable inferences about
treatment effects. »
19
« Multiple imputation » methods
Principe : générer des imputations pour les DM grâce
à un ou plusieurs modèles, en reproduisant une
incertitude par simulation d’une distribution et en
imputant un jeu de données (par ex, S= 5 ou 10)
possibles.
Ensuite, on analyse normalement les différentes bases
de données obtenues et on produit une statistique
combinée à partir de l’ensemble des estimateurs.
Cf. : NRC report – p.66/67
20
« Multiple imputation » methods
Utilisation : pas si complexe que ça car désormais
bien implémentée dans les différents logiciels.
Avantage : Meilleur estimateur au final et surtout
meilleure modélisation de la variance.
Difficulté : Utiliser les bonnes distributions prédictives.
Connaître les hypothèses sous-jacentes à leur
utilisation.
Exemple : Charge virale et CD4 dans HIV
21
Cf. : NRC report – p.66/67
Autres méthodes

22
Modèles mixtes et GEE (generalised
estimating equations)
–
Les options et détails (méthode de convergence,
matrices de covariance) doivent être
complètement justifiées et prédéfinies.
–
Elles peuvent introduire un biais en faveur du
traitement expérimental si certaines données sont
MNAR (ce qui est difficile à exclure !)
Cas spécifiques

23
Analyse en terme de répondeur
– Sortie prématurée = non répondeur / BONNE OPTION
– Les imputations de DM doivent être pré-spécifiées et
justifiées.
Analyse de survie
– Permet de gérer les données manquantes dans une
certaine mesure (censures) mais attention : certaines
méthodes standard de survie font l’hypothèse qu’il n’y a pas
de lien entre la réponse (temps de survenue de
l’événement) et l’absence de donnée.
Discuter ce point est important.
Cas spécifiques
Données de comptage (par ex : nombre de crises…)
24
-
Une approche où l’on pondère la donnée par le temps
passé dans l’étude comme variable offset est parfois
utilisée, mais elle fait l’hypothèse qu’il n’y a pas de lien
entre la réponse et la donnée manquante – NON
APPROPRIE
-
En général, le temps d’observation d’un patient est
directement lié à son état de santé (par exemple décès).
Analyses de sensibilité

Définition
:
Un jeu d’analyses qui montre comment les
différentes hypothèses que l’on peut faire
sur les données manquantes influencent les
résultats obtenus.

25
C’est une obligation réglementaire (requirement)
Analyses de sensibilité

Dans une soumission avec un nombre non négligeable de
données manquantes, des analyses de sensibilité doivent être
présentées en support de l’analyse principale.
–

26
Par exemple : analyse en Per Protocol
BUT : Consistance = des estimateurs comparables pour l’effet
du traitement
pas nécessairement avec significativité statistique !
Conclusions
–
–
–
27
Influence cruciale des DM sur les
résultats finaux
Le Schéma d’apparition des données
manquantes doit être pris en compte dans
la définition de l’analyse principale
Une décision réglementaire positive doit
être basée sur une méthode
conservatrice (pas de biais en faveur du
traitement expérimental)
Conclusions
28

Les méthodes d’imputation doivent être
clairement pre-spécifiées.

Les analyses de sensibilité sont
indispensables et donnent de la robustesse
aux résultats de l’étude.
Références
1. The prevention and treatment of missing data in clinical trials. National
Research Council
(U.S.). Panel on Handling Missing Data in Clinical Trials.; National Research
Council (U.S.). Committee on National Statistics.; National Academies Press
(U.S.). Washington, D.C.:National Academies Press, c2010.

2. European Medicines Evaluation Agency. Statistical Principles for
Clinical Trials; Step 5: Notefor Guidance on Statistical Principles for Clinical
Trials. International Conference onHarmonisation (ICH) Topic E9; 1998.
(Available at:http://www.ich.org/products/guidelines/efficacy/article/efficacyguidelines.html; accessedMarch 7, 2012).
 3. European Medicines Evaluation Agency. Guideline on Missing Data in
Confirmatory Clinical Trials. Committee for Medical Products for Human Use.
2009.
(Available at:http://www.ema.europa.eu/pdfs/human/ewp/177699endraft.pdf;
accessed March 11, 2012).

29