14. Le protocole

14.
Le protocole
La méta-analyse, à quelques réserves près, s’inscrit dans la démarche hypothéticodéductive, imposant la rédaction d’un protocole a priori. Le protocole prévoit, a
priori, l’ensemble des choix qui sont faits pour réaliser la méta-analyse. Son but est
d’éviter que le déroulement du travail ne soit inf luencé par des résultats trouvés en
cours de réalisation (exclusion de tel ou tel essai par exemple).
Comme dans les essais thérapeutiques, le protocole peut nécessiter des modifications a posteriori pour s’adapter à des circonstances non suspectées au préalable.
Ces modifications doivent être exceptionnelles et sont décrites dans le protocole et
dans le rapport. Ces changements ne devront jamais être motivés par les résultats.
Si, au moment de la rédaction du protocole, certains choix stratégiques s’avèrent
difficiles à prendre, il est possible d’envisager la réalisation d’une étude pilote. Ses
objectifs seront de parfaire les connaissances du domaine afin de mieux planifier la
méta-analyse. Le protocole et les résultats de l’étude pilote, ainsi que les choix qui
en découlent devront être mentionnés dans le rapport final de la méta-analyse.
14.1. Composantes du protocole
A) Justification et objectifs
Le protocole commence par la formulation du problème, avec un bref rappel des
données médicales qui justifient la réalisation de la méta-analyse. A partir de la
description de l’état des lieux (essais déjà réalisés, questions résolues ou partiellement résolues, problèmes en suspens), les hypothèses de la méta-analyse doivent être
formulées de façon précise. Ces hypothèses sont les questions toujours en suspens
auxquelles la méta-analyse devra tenter de répondre. Des questions posées, dépendent en partie les populations, les types d’intervention et la nature des critères de
jugement qui seront concernés par la méta-analyse.
Si la méta-analyse doit s’intégrer dans un processus de prise de décision (décider
si un traitement doit être utilisé en pratique courante), il est impératif de définir un
objectif principal unique. La prise de décision se basera alors sur un unique test
statistique, se protégeant ainsi contre les risques non contrôlés liés à la répétition des
124
Le protocole
tests statistiques. En effet, plus le nombre de critères de jugement augmente, plus le
risque d’obtenir au moins un test statistique significatif à tort augmente. Retenir ce
test significatif pour conclure à l’existenceexistance de l’effet fait courir un risque
d’erreur important.
Les autres objectifs que pourrait avoir la méta-analyse deviennent secondaires et
ne sont envisagés qu’à titre documentaire et non comme base de la décision.
Prise de décision
=
Définition d’un objectif principal unique
Cette restriction disparaît pour une méta-analyse dont le but est seulement de
faire une synthèse descriptive dans un domaine où aucun problème de décision ne
se pose (car le traitement a déjà été adopté en pratique courante).
B) Définition des essais pertinents
Cette partie du protocole définit les caractéristiques des essais compatibles avec les
questions posées et à inclure. Ces essais se définissent par le type des sujets recrutés,
la nature des interventions utilisées et le type des critères de jugement utilisés.
Les caractéristiques méthodologiques souhaitées sont aussi précisées. Les exigences faites sur ce point dépendront de l’état d’avancement méthodologique et de
la faisabilité des essais randomisés dans le domaine considéré.
C) Recherche des essais
La liste des moyens qui seront mis en œuvre pour rechercher les essais est décrite
dans le protocole. Il convient aussi de préciser les critères qui autoriseront à mettre
fin à la procédure de recherche (date ou autre critère). La définition d’une date butoir est nécessaire car, en général, il est très difficile de garantir l’exhaustivité d’une
recherche pour les derniers mois qui la précédent (délai d’enregistrement des références dans les bases informatisées par exemple). Cette date butoir fixe la date de
publication, au delà de laquelle, des essais, mêmes identifiés, ne seront plus pris en
considération.
D) Méthodes
Les différentes méthodes retenues pour la réalisation de la méta-analyse sont décrites :
– méthode de sélection des essais : sélection en aveugle ou en ouvert, nombre de
personnes réalisant la sélection,
Composantes du protocole
125
– méthode pour apprécier la qualité méthodologique,
– méthode utilisée pour extraire les données. Un exemplaire de la fiche
d’extraction peut être mis en annexe au protocole.
E) Méthodes statistiques
La méthodologie statistique doit être détaillée en précisant :
– Le type d’information sur lequel portera la méta-analyse (cf. 3.4) : résultat
qualitatif (méthode des votes), degré de signification statistique (combinaison
des p), valeurs des critères de jugement.
– Les techniques de calculs utilisées et les modalités du choix de la méthode
finalement retenue. En effet, avec un critère de jugement binaire, de nombreuses
méthodes de calcul sont possibles. Il convient de fixer dans le protocole la
démarche retenue pour choisir la méthode avec laquelle les résultats seront
obtenus (cf. 19.13). Pour les critères de jugement continus, la méthode des
effets standardisés (’’effect size ’’) est généralement utilisée et peut être choisie
d’emblée dans le protocole (cf. chapitre 21).
– Le seuil de signification statistique retenu pour le test de l’effet (test
d’association) et pour le test d’hétérogénéité: 5% ou 1% (cf. 5.2).
– La méthode de prise en compte des nombres d’événements nuls dans le calcul
des rapports des cotes ou des risques relatifs.
– Pour les critères continus, le type de variance retenu et les solutions de recours
en cas de non publication (variance commune, du groupe contrôle, variance
estimée à partir des résultats des tests)
– La conduite à tenir en cas d’hétérogénéité : utilisation d’un modèle aléatoire,
analyse exploratoire des causes d’hétérogénéité (cf. chapitre 24).
F) Analyses en sous-groupes et analyses de sensibilité
La définition a priori des sous groupes est impérative pour justifier d’un choix
indépendant des résultats (cf. 24.2).
Les différentes analyses de sensibilité prévues seront listées, ainsi que les règles
à adopter pour discuter leurs résultats et tirer des conclusions.
126
Le protocole
G) Annexes
Les annexes du protocole sont constituées par :
– les références bibliographiques,
– la fiche de recueil des données,
– l’historique des modifications successives apportées au protocole pendant la
réalisation du travail.
14.2. Les difficultés de la rédaction a priori d’un protocole
Le protocole doit être rédigé a priori, avant le début de la réalisation de la métaanalyse, et les choix et décisions qui seront protocolisés ne doivent pas être inf luencés par la connaissance des résultats des essais. L’idéal n’est cependant pas
de faire écrire le protocole par une personne n’ayant aucune connaissance des essais
du domaine. Pourquoi s’intéresser à un sujet que l’on ne connaît pas? Comment
poser les bonnes questions auxquelles devra répondre la méta-analyse si l’on ignore
tout du domaine?
En fait, il est primordial d’éviter que la sélection des essais ou que le choix de
la méthode favorise un résultat particulier. A partir du moment où ce principe est
respecté, une connaissance du domaine permet de canaliser les choix stratégiques.
Cependant, il convient de se méfier de la fausse impression que l’on peut avoir
de connaître tous les essais réalisés sur un sujet. Par exemple, ce n’est pas parce
que l’on ne connaît pas d’essais avec une molécule ou avec un type de patients bien
particulier, qu’il n’en existe pas. Ne pas prendre en considération dans le protocole
cette molécule, sous prétexte qu’il ne sera pas possible de réaliser une méta-analyse
par manque supposé d’essais est une erreur. La non-réalisation d’une méta-analyse
pour non existence d’essais ne peut être décidée qu’après une recherche systématique des essais et non a priori sur une connaissance forcément non exhaustive de la
littérature.
Cette problématique illustre bien la difficulté de la rédaction du protocole. Une
connaissance du domaine est indispensable, mais le protocole doit être écrit dans une
démarche rigoureuse, envisageant l’ensemble des possibilités pouvant se présenter
dans l’absolu (molécules utilisées dans la maladie considérée, type de patients). La
décision de ne pas faire la méta-analyse, dans tel ou tel sous-groupe, provient des
données réellement trouvées. Par exemple, le protocole part sur le principe d’étudier toutes les molécules existantes dans la classe pharmacologique envisagée, sans
préjuger du nombre d’essais existants pour telle ou telle molécule. Ce n’est que lors
127
Protocole type
de la réalisation de la méta-analyse, qu’une molécule peut être abandonnée si aucun
essai n’a été trouvé lors de leur recherche systématique.
Un protocole doit hiérarchiser ses exigences et prévoir des alternatives pour les
situations qui s’avéreraient impossibles à réaliser à partir des données existantes. Des
articulations entre les points du type: « le mieux serait de procéder de telle façon ...,
mais si, en pratique, cela s’avère impossible on procédera de la façon suivante ... »
peuvent être prévues au protocole.
Exemple 14.1 La mortalité à court terme sera la mortalité à 30 jours. Cependant,
si les informations disponibles ne permettent pas de récupérer ce critère de jugement
pour une majorité d’essais, la mortalité à court terme sera évaluée en prenant les
définitions retenues dans chaque essai.
Pour être sélectionnés, les essais devront avoir utilisé des doses d’héparine ajustées permettant d’obtenir un TCK entre 2 et 3 fois la valeur du témoin. Cependant,
si cette information n’est pas rapportée par une majorité d’essais, ce critère de sélection ne sera pas utilisé.
Les concessions faites à la méta-analyse « idéale » seront discutées dans le rapport et les conséquences sur le niveau de preuve clairement précisées.
14.3. Protocole type
Le document reproduit sur les pages suivantes, représente un exemple de protocole
pouvant s’adapter à un grand nombre de méta-analyses utilisant des critères de jugement binaires. Seules les parties méthodologiques qui ne dépendent pas du domaine
d’intérêt et qui peuvent ainsi être facilement transposées d’une méta-analyse à une
autre ont été développées.
128
page 1 du protocole
Le protocole
Protocole type
page 2 du protocole
129
130
page 3 du protocole
Le protocole
Protocole type
page 4 du protocole
131
132
page 5 du protocole
Le protocole
Protocole type
page 6 du protocole
133
134
page 7 du protocole
Le protocole
Protocole type
page 8 du protocole
135
136
page 9 du protocole
Rapport de méta-analyse