6. Le biais de publication

6.
Le biais de publication
Par principe, la méta-analyse doit regrouper la totalité des essais qui ont été réalisés
dans le domaine. Cette exhaustivité est cependant difficile à atteindre, en particulier
du fait de l’existence de travaux non publiés. Un manquement à ce principe fait courir le risque de l’introduction d’un biais, appelé biais de publication. Avant d’aborder
les problèmes liés à la quête de l’exhaustivité (chapitre 7 sur la recherche des essais),
nous analyserons les causes et les conséquences du biais de publication.
6.1. Publication sélective et biais de publication
Les essais thérapeutiques ont d’autant plus de chance d’être publiés que leurs résultats s’avèrent statistiquement significatifs. Il s’agit d’une tendance à un certain degré
de publication sélective11 . De ce fait la littérature biomédicale peut ne pas refléter
la réalité, mais en donner un aperçu plutôt optimiste en ne publiant pas les essais en
faveur de l’absence d’un effet traitement. Cette situation est susceptible de biaiser
le résultat d’une méta-analyse (biais de publication) et justifie l’impératif d’exhaustivité que doit remplir la recherche des essais à inclure dans une méta-analyse [75].
Pour illustrer ce problème, prenons une situation fictive où un traitement sans effet est évalué par plusieurs essais randomisés. Du fait du risque de première espèce ®
de 5% couramment admis, la réalisation de 100 essais produira en moyenne 5 essais
conclusifs à tort. Si uniquement ces essais sont publiés, la littérature sur le sujet sera
en faveur de l’effet du traitement. Il s’agira cependant d’une vue totalement biaisée
de la situation, le traitement n’ayant en réalité aucun effet. Cette situation est bien
entendu caricaturale. Elle avait simplement pour but d’illustrer le mécanisme potentiel du biais de publication. Nous verrons dans la suite de ce chapitre des exemples
réels de biais de publication.
Il est possible de calculer la probabilité p d’obtenir avec le même traitement au
moins un essai conclusif à tort sur N essais :
p = 1 ¡ (1 ¡ ®)N
= 1 ¡ 0; 95N si ® = 5%
11
(6.1)
Ce phénomène de publication sélective est aussi connu sous le nom de phénomène de l’iceberg.
42
Le biais de publication
Les probabilités p pour quelques valeurs de N sont :
N
5
10
20
50
p
0,23
0,40
0,64
0,92
Ainsi, la probabilité d’obtenir un essai conclusif à tort après la réalisation de 20
essais est supérieure à 1/2, et cette éventualité devient hautement probable avec 50
essais.
Remarque 6.1 Tendance à la publication sélective et biais de publication sont des
entités sémantiques distinctes. La publication sélective n’est pas un biais en ellemême mais conduit à un biais lors de la réalisation de méta-analyse, appelé biais de
publication. Par abus de langage, ces deux phénomènes sont couramment confondus
et la tendance à une moindre publication des résultats non significatifs est souvent
appelée à tort biais de publication.
6.2. Mise en évidence de la publication sélective des résultats
significatifs
La fréquence avec laquelle un essai est publié en fonction de son résultat a été étudiée
à plusieurs reprises [76–79].
A partir du registre de 487 projets de recherche (dont 148 essais randomisés)
approuvés par le comité d’éthique d’Oxford entre 1984 et 1987 (Central Oxford Research Ethics Comittee), P. Easterbrook et coll. ont étudié le devenir de ces projets
jusqu’en mai 1990 [80]. A cette date, seulement 52% de ces travaux avaient été publiés. Les résultats statistiquement significatifs avaient environ 2 fois plus de chance
d’être publiés que les résultats non significatifs (rapport des cotes : RC=2,32; IC à
95% : 1,25-4,28).
Une autre estimation de l’importance de ce phénomène a été réalisée à partir
des essais cliniques randomisés qui avaient été financés durant l’année 1979 par les
National Institutes of Health (NIH) [81]. Sur les 198 essais terminés en 1988, 93%
avaient été publiés. Dans cette étude aussi, les essais avec un résultat significatif
avaient nettement plus de chance d’être publiés que ceux dont le résultat était non
significatif (tableau 6.1).
Deux autres sources d’information sont concordantes avec ces résultats et confirment l’existence du biais de publication [10]. La méta-analyse de ces études conclut
43
Causes de la publication sélective
Tableau 6.1. — Fréquence de publication en fonction de la signification statistique
des résultats (d’après réf. [81])
Résultat
non significatif
significatif
Nb total
74
124
Nb publié
63 (85,1%)
121 (97,6%)
RC
1
7,04
IC à 95%
p
1,90 - 26,16
0,001
que les travaux dont les résultats se révèlent significatifs sont publiés dans une proportion 2,88 fois supérieure à ceux dont les résultats s’avèrent non significatifs [81].
Berlin et Begg ont trouvé, dans une revue de 246 essais publiés en cancérologie,
une relation forte entre l’effectif de l’essai et la taille de l’effet traitement : les essais
avec les plus faibles effectifs montraient les effets traitement les plus importants
[82–84]. Cette tendance est plus marquée pour les essais randomisés. Cela peut
s’expliquer par le fait que les petits essais sont d’autant plus facilement publiés qu’ils
montrent un effet du traitement important, tandis que les essais de grande taille le
sont quelle que soit leur résultat.
6.3. Causes de la publication sélective
La publication sélective a plusieurs causes, liées aux auteurs des travaux et aux comités de relecture des revues.
A) Autocensure des auteurs
Un essai avec un résultat non significatif peut ne pas être publié si ses auteurs
considèrent d’emblée que leur résultat est sans intérêt pour la communauté scientifique.
Cette décision peut aussi être influencée par le fait que les comités de lecture rejettent plus facilement un résultat non significatif. Les auteurs, présupposant le rejet
de leur manuscrit, ne s’investissent pas dans un travail de rédaction qu’ils imaginent
sans issue.
B) Sélection par les comités de lecture
Les comités de lecture des revues ont tendances à rejeter un article dont le résultat
est non significatif. Ce fait a été bien illustré par une expérience réalisée en 1977 par
Mahoney [85]. Soixante quinze membres de comité de lecture ont reçu chacun un
manuscrit tiré au hasard parmi cinq manuscrits similaires spécialement écrits pour
l’occasion. Tous les manuscrits étaient identiques pour les parties « introduction »
et « méthodes », mais avaient des parties « résultats » et « discussion » différentes.
44
Le biais de publication
Tableau 6.2. — Notation des manuscrits (d’après réf. [85])
Type de manuscrit
résultats
significatifs
résultats non
significatifs
méthode seulement
résultats mitigés,
discussion positive
résultats mitigés,
discussion négative
nb de
lecteurs
12
méthodes
14
2,4
14
3,4
13
2,5
14
2,7
4,2
Moyennes des notes
présentation
contribution
des données
scientifique
4,3
4,3
2,6
mérite pour
publication
3,2
2,4
1,8
4,5
3,4
1,3
1,6
0,5
2,0
1,7
1,4
Un groupe de lecteurs recevait des manuscrits décrivant des résultats significatifs,
un autre des manuscrits avec des résultats non significatifs. Le troisième groupe ne
devait se prononcer que sur l’acceptabilité de la partie « méthodes », en n’ayant aucune connaissance des résultats. Les quatrième et cinquième groupes recevaient des
manuscrits avec des résultats mitigés (significatifs ou non significatifs) mais dont
l’interprétation dans la discussion était soit « positive » (en faveur du traitement),
soit « négative » (en défaveur du traitement). Chaque lecteur donnait une note de 0
à 6 sur les points suivants : intérêt, méthode, présentation des données, contribution
scientifique et mérite pour publication. Ceux du troisième groupe ne notaient pas la
présentation des données. Le tableau 6.2 rapporte les notes moyennes obtenues en
fonction du type de manuscrit soumis.
Bien que leur partie « méthodes » soit identique, les manuscrits avec des résultats
non significatifs ou mitigés ont reçu une note de méthode inférieure à celle obtenue
par les essais à résultats significatifs. Les autres notes, sur la présentation des résultats, la contribution scientifique ou le mérite pour publication, étaient aussi plus
basses en cas de résultats non significatif.
Ces observations confirment le fait qu’une revue se laisse inf luencer par les résultats d’un travail pour décider de publier ou non. L’expérience de Mahoney est
maintenant assez ancienne (1977) et l’on peut espérer qu’à l’heure actuelle les comités de lecture ont pris conscience de ce problème et se laissent moins inf luencer
par la teneur des résultats. Cependant, en l’absence de réplication de ce type d’expérience, il ne s’agit peut être que d’un voeux pieux.
C) Essais non destinés à être publiés
L’industrie pharmaceutique réalise ou commandite des essais principalement dans
l’optique du dossier d’enregistrement d’un nouveau produit. Dans ce contexte, la
publication des résultats (surtout s’ils sont négatifs) n’intéresse que peu l’industriel
propriétaire des données. Parfois, cette publication n’est d’ailleurs pas souhaitée
Existence du biais de publication
45
pour des raisons de secret industriel ou lorsque les résultats sont défavorables au
produit.
Actuellement, la cause principale de cette non publication sélective ne semble
pas être directement les comités de lecture des revues, mais plutôt une autocensure des investigateurs eux-mêmes devant des résultats qu’ils jugent non publiables
[81]. Cette constatation n’élimine cependant pas la responsabilité des revues. Cette
autocensure peut être vue dans de nombreux cas comme une simple anticipation de
la décision que prendraient inévitablement les revues. En effet, la politique de la
quasi totalité des revues est de ne publier que les articles qui proposent des moyens
d’améliorer le pronostic ou d’alléger les traitements (voir par exemple la description de l’article idéal du Bristish Medical Journal) [86]. Cette politique écarte par sa
définition même les résultats non significatifs et les investigateurs n’entreprennent
pas un travail de rédaction voué d’emblée à l’échec.
Il existe cependant quelques exemples récents d’essais négatifs (ISIS 4, GISSI
3 ) publiés dans des revues à indice de lecture élevé [67, 68]. Il s’agit cependant de
très grand essais multicentriques réalisés par des équipes de notoriété internationale.
La grande taille de ces études et le nombre d’investigateurs participants limitent les
risques de non publication.
6.4. Existence du biais de publication
Montrer qu’il existe une tendance à la non publication des résultats non significatifs
ne suffit pas à avancer l’existence du biais de publication. Encore faut-il montrer
que ce phénomène entraîne effectivement des conséquences au niveau des résultats
des méta-analyses [82].
Simes donne deux exemples de comparaison de méta-analyses réalisées soit à
partir des données publiées, soit avec les essais colligés dans le registre « International Cancer Research Data Bank » [87]. Les deux méta-analyses concernaient 1)
l’administration initiale de chimiothérapie alkylante versus une polychimiothérapie
dans le traitement du cancer de l’ovaire et 2) l’utilisation d’agent alkylant associé à
la prednisolone versus une polychimiothérapie dans le traitement du myélome multiple. Pour le cancer de l’ovaire, la méta-analyse des données publiées aboutit à un
résultat statistiquement significatif en faveur de la polychimiothérapie, contrairement à celle réalisée à partir des essais publiés et non-publiés du registre. De façon
similaire, la polychimiothérapie s’avéra supérieure dans le traitement du myélome
multiple, avec cependant un effet traitement global issu des essais publiés supérieur
à celui obtenu avec tous les essais du registre. Ces deux résultats sont statistiquement
significatifs.
46
Le biais de publication
6.5. Conséquences pratiques
L’existence potentielle du biais de publication a, en pratique, des conséquences à
plusieurs niveaux. Il fait, tout d’abord, courir le risque que le résultat d’une métaanalyse soit biaisé et que, de ce fait, cette technique ne soit pas plus performante
que les revues générales de la littérature (mais en donnant une fausse impression
de rigueur dans la démarche). Pour tenter d’éviter cela, il faut entreprendre une recherche des travaux non publiés. Et, finalement, il faut éprouver la robustesse du
résultat de la méta-analyse vis à vis du biais de publication. S’il reste inchangé après
l’adjonction dans la méta-analyse d’essais fictifs négatifs, ce résultat est robuste.
Il peut être accepté avec confiance, même si la méta-analyse n’a pas pu retrouver
l’ensemble des essais non publiés.
A) Recherche des travaux non publiés
Aucune recette miracle n’existe pour la recherche des essais non publiés. De plus, il
est impossible de savoir si cette tâche est terminée ou non, étant donné que le nombre
d’essais non publiés reste constamment inconnu.
Ce travail s’effectue en combinant différents moyens potentiellement capables
de récupérer (mais pas à coup sûr) quelques essais non publiés : [88].
– la consultation d’experts dans le domaine,
– la lecture des revues générales déjà réalisées sur le sujet, qui peuvent mentionner
des essais en cours (et qui n’auraient pas abouti à publication par la suite). Ce
type d’information peut aussi apparaître dans toute autre forme d’articles.
– la consultation des investigateurs des essais connus,
– la recherche dans les résumés (Abstracts) des congrès, colloques, ...,
– l’interrogation des firmes ayant développé et/ou fabricant le médicament,
– la consultation de registres (voir chapitre 9),
– la consultation des autorités réglementaires. Dans de nombreux pays, des
dispositions législatives prévoient la déclaration obligatoire préalable de tout
essai thérapeutique. En France, cette disposition est imposée par la loi de
décembre 1988, mais l’administration recevant cette information (l’Agence du
Médicament) est tenue à la confidentialité, pour des raisons de protection de la
propriété industrielle. Il s’avère donc impossible de récupérer cette information.
Par contre, dans certains pays comme l’Espagne les autorités réglementaires
communiquent la liste des essais qui leur ont été déclarés.
Conséquences pratiques
47
B) Robustesse des résultats de méta-analyse
La robustesse d’un résultat de méta-analyse (vis à vis du biais de publication) s’évalue en recherchant le nombre d’essais ne montrant pas d’effet traitement qu’il faut
rajouter à la méta-analyse pour obtenir un résultat compatible avec l’absence d’effet
traitement (c’est à dire non significatif ) [89].
Pour se faire une idée sur ce point, il convient, par simulation, de générer puis de
rajouter à la méta-analyse des essais fictifs ayant les caractéristiques probables des
essais non publiés. Les essais générés auront donc des résultats non significatifs (par
hypothèse du biais de publication), et un effectif égal à la moyenne des effectifs des
essais connus. Il s’agit bien entendu d’un choix arbitraire nécessaire à la réalisation
de la simulation. D’autres choix sont possibles, par exemple, des effectifs variables
peuvent être simulés aléatoirement entre des bornes.
Les différentes possibilités sont :
1. Les caractéristiques des essais rajoutés se basent sur les caractéristiques
moyennes des essais de la méta-analyse :
¢ taille constante et égale à la taille moyenne des essais inclus dans la
méta-analyse,
¢ risque de base constant égal au risque moyen des essais inclus dans la
méta-analyse,
¢ effet traitement nul, conduisant à des risques identiques dans les groupes
contrôles et les groupes expérimentaux,
2. Les essais rajoutés ont tous les même caractéristiques fixées arbitrairement :
¢ taille constante,
¢ risque de base constant,
¢ effet traitement nul,
3. Les essais rajoutés sont générés de façon aléatoire et donc tous différents les
uns des autres. Cette situation est plus réaliste. De nombreuses réplications
(de l’ordre de quelques centaines) sont nécessaires pour obtenir des résultats
moyens.
¢ taille générée aléatoirement,
¢ risque de base généré à partir d’une moyenne et d’un écart type fixés,
¢ effet traitement variant aléatoirement autour de zéro avec un écart type fixé.
Exemple 6.1 Une méta-analyse de 5 petits essais, regroupant 303 sujets, conclut
à l’existence d’un effet traitement avec un rapport des cotes global de RC=0,49
(IC95% : 0,28-0,86) significativement différent de 1 (p=0,01). Cependant, il s’avère
48
Le biais de publication
probable que des essais du domaine n’aient pas été publiés. La question qui se pose
est de savoir si le résultat de la méta-analyse reflète bien le vrai effet traitement de
cette thérapeutique ou s’il est faussé par l’intermédiaire du biais de publication.
Le calcul montre qu’il faudrait rajouter seulement 3 essais de 30 patients avec
un risque de base de 0,23 (moyennes des essais inclus) pour obtenir un résultat
non significatif (RC=0,65, p=0.053). Cette méta-analyse est donc sensible au rajout
d’essais non significatifs. Il est probable qu’il puisse exister au moins trois essais
de petites tailles non publiés. Le résultat de la méta-analyse est donc à prendre avec
précaution.
C) Identification et quantification du biais de sélection
Des techniques statistiques spécifiques apportent une certaine aide à la recherche
de l’existence d’un biais de publication et permettent ensuite d’estimer la taille potentielle de ce biais, afin de proposer une estimation globale corrigée [82, 90]. Ces
techniques sont développées dans le chapitre 30.
6.6. Prévention
La correction de ce biais de publication est tout à fait impossible à réaliser de façon
rétrospective, car les essais non publiés le sont et le resteront. Par contre, il est souhaitable qu’un effort de prévention soit entrepris à l’avenir afin de limiter ce problème. Les propositions de mesures visant à prévenir le biais de publication sont
variées : accès aux registres d’enregistrement réglementaire des essais, création de
media spécialisés dans la publication des résultats négatifs, ouverture plus large des
pages des revues aux résultats négatifs, surveillance par les organismes de financement de la publication des essais qu’ils soutiennent, etc.
A) Les registres d’essais
Les registres sont décrits au chapitre 9.
B) Publication des résultats négatifs
Depuis quelques années, plusieurs voix se sont élevées pour réclamer la publications
des résultats négatifs [91]. Ainsi, les revues médicales classiques ouvrent de plus
en plus leurs colonnes à des résultats négatives. Par exemple, d’après une étude de
Weiss, en 1984, 10% des essais publiés par le New England Journal of Medicine
rapportaient des résultats négatifs et 10% des résultats neutres, non conclusifs [86].
Controverse sur l’inclusion des travaux non publiés dans les méta-analyses
49
Plusieurs journaux ont pour politique éditoriale de faciliter la publication de résultats négatifs pourvu que la qualité de l’étude soit correcte et que la question posée
soit cliniquement pertinente. Parmi ceux ci se trouve la très originale revue « The
Online Journal of Current Clinical Trials » [92]. Ce journal n’utilise pas le support
papier mais distribue ses articles à travers des connexions informatiques. Cette revue consiste en une base de données informatique consultable à distance, à partir
d’un ordinateur équipé d’un modem. Les articles récupérés peuvent être ensuite imprimés. Cette initiative originale provient de « The American Association for the
Advancement of Science ».
Les avantages de ce concept sont des délais techniques de publication plus courts,
un espace non limité permettant la publication de rapport d’essais thérapeutiques
détaillés, accompagnés de nombreux résultats. Ces caractéristiques font qu’il devient
moins impératif de faire un choix entre les soumissions, et la publication d’études
négatives devient moins problématique.
La revue « Journal of Clinical Trial and Meta-Analysis », qui a malheureusement
interrompu sa parution, constitue un autre exemple de revue qui avait ouvertement
inscrit dans sa politique éditoriale la publication active d’essais négatifs sous forme
de résumés standardisés.
Malgré ces avancées, le problème n’est pas résolu. Un certain nombre d’essais
négatifs ne sont toujours pas portés à la connaissance de la communauté scientifique
et de nombreux efforts restent à réaliser sur ce point.
6.7. Controverse sur l’inclusion des travaux non publiés
dans les méta-analyses
La prise en compte des données non publiées dans une méta-analyse ne semble pas
faire l’unanimité [38]. Malgré les faits qui viennent d’être présentés et leurs conséquences, certains cherchent à argumenter contre la prise en compte de données non
publiées. Leur principale réticence provient du fait que ces essais n’ayant pas été revus par un comité de lecture sont peut être de qualité inférieure. Cet argument n’est
pas inébranlable. De nombreux exemples existent montrant que l’acceptation d’un
article par un comité de lecture ne garantit absolument pas sa qualité. De plus, dans
une méta-analyse, une réévaluation de la qualité de tous les essais est entreprise,
empêchant ainsi qu’un essai non publié ne remplissant pas les standards de rigueur
méthodologiques soit inclus.
La part d’information représentée par les essais non publiés peut être non négligeable par rapport à celle issue des essais publiés. Par exemple, dans la méta-analyse
des Early Breast Cancer Trialists, les auteurs ont rapporté que 22% des études per-
50
Recherche des essais
tinentes pour leur méta-analyse n’avaient pas été publiées [52]. Exclure ces essais
réduit subtanstiellement la puissance de la méta-analyse.
6.8. Données manquantes et biais de publication
Un biais dont le mécanisme est identique à celui du biais de publication peut être
induit par les données manquantes. Le fait qu’un compte rendu d’essai mentionne
ou non ce qui a été observé sur un paramètre clinique peut dépendre fortement du
résultat observé. En effet, pour un paramètre ne constituant pas un critère de jugement prévu, il est plus probable qu’il soit mentionné dans la publication si le résultat
obtenu à son niveau est favorable que si il ne l’est pas (absence de différence ou tendance à un effet délétère du traitement). Ce phénomène peut introduire un biais, par
le même mécanisme que celui du biais de publication, dans une méta-analyse qui
a cependant répertorié l’ensemble des essais du domaine. Les données manquantes
doivent être vues comme des « essais non publiés ». Un résultat de méta-analyse
obtenu pour un critère comportant beaucoup de données manquantes doit être interprété avec les mêmes réserves que celles liées au biais de publication.
Ce phénomène est particulièrement sensible dans les méta-analyses qui incluent
des essais avec un objectif (et donc un critères principal) différent de celui de la
méta-analyse. Même si ces essais sont mélangés à d’autres répondant directement
à la question de la méta-analyse. Le biais lié aux données manquantes peut venir
fausser la méta-analyse. Dans ces situations, il est utile de réaliser une analyse de
sensibilité opposant les essais dont le critère principal est celui de la méta-analyse
aux autres.
La demande, auprès des responsables, des essais d’informations complémentaires sur les données manquantes contribue aussi à limiter ce problème.