Comparaisons multiples

Biostatistiques et statistiques appliquées aux
sciences expérimentales
Comparaisons multiples
Christophe Lalanne
[email protected]
Cogmaster 2006–2007
Cogmaster A4 – p. 1/26
Objet de la séance
•
•
Rappels sur le test d’ANOVA
•
hypothèses et validité
•
diagnostic
Comparaison(s) spécifique(s) des moyennes de k échantillons
(indépendants)
•
planifiées
•
non-planifiées (a posteriori)
Cogmaster A4 – p. 2/26
Le modèle d’ANOVA à 1 facteur
•
Hypothèse nulle :
•
H0 : µ1 = µ2 = µ3 = . . . = µk (égalité des k moyennes de population)
•
H1 : ∃ i, j | µi 6= µj (H1 ≡ ¬ H0 )
•
Statistique de test : F de Fisher-Snedecor, rejet de H0 ssi
Fobs > Fν1 ,ν2 ;α=0.05 (ou pobs < 0.05)
•
Conditions de validité
•
indépendance des résidus (i.e. écarts à la moyenne)
•
homogénéité des variances (après transformation, si nécessaire)
•
normalité des résidus
Cogmaster A4 – p. 3/26
F(2,10)
0.6
F(6,32)
F(6,18)
F(4,12)
0.4
P(F>3.26)=0.05
0.2
P(F>2.40)=0.05
0.0
Densité
0.8
1.0
Loi de Fisher-Snedecor
0
1
2
3
4
5
quantiles théoriques
Cogmaster A4 – p. 4/26
Après l’ANOVA...
•
le test F permet de détecter qu’au moins une paire de moyennes est
significativement différente
•
on est souvent (mais pas nécessairement) intéressé par des comparaisons
spécifiques de paires de moyennes
•
différentes stratégies selon la question posée et le plan d’expériences
considéré (présence ou non d’un groupe témoin, groupes équilibrés ou
non, classement des groupes)
•
ces comparaisons peuvent avoir été
•
•
pensées avant l’expérience : comparaisons planifiées (pss besoin du
test F global)
•
suggérées après observation des résultats : comparaisons a posteriori,
ou dans un but explicatif (post-hoc)
ces comparaisons peuvent être à visée indicative ou confirmatoire
Cogmaster A4 – p. 5/26
Problème posés par les comparaisons multiples
•
comparaison de toutes les paires de moyennes (k groupes) :
k(k−1)
tests à α = 0.05 !
C2
•
risque global ∝ nombre de tests :
k(k−1)
1 − (1 − α)m où m = C2
•
ex : 5 groupes à comparer, risque d’erreur réel = 40 % !
Si les 5 moyennes sont égales (H0 ), on détectera au moins une paire de
moyennes significativement différentes dans 40 % des cas.
Cogmaster A4 – p. 6/26
Procédures de comparaisons multiples
•
2 stratégies
1. utiliser des tests indépendants : contrastes orthogonaux
2. utiliser des tests spécifiques : test t avec correction de Bonferroni,
Newman-Keuls, Tukey HSD, Dunnett...
•
tests spécifiques, 2 approches :
•
modifier le risque de première espèce α pour que le risque total
(risque expérimental) demeure ≤ 0.05 : méthode de Bonferroni
•
adapter la statistique de test (plus conservateur) : méthode HSD de
Tukey
comparaisons non-planifiées : seulement si le test F est significatif,
surtout si la visée est confirmatoire.
Cogmaster A4 – p. 7/26
0.8
0.6
0.4
0.2
0.0
p−valeur (tests t multiples)
ANOVA et test t
0.0
0.2
0.4
0.6
0.8
1.0
p−valeur (anova)
V Zoonekynd, http://zoonek2.free.fr/UNIX/48_R/14.html
Cogmaster A4 – p. 8/26
Méthode des contrastes (1)
•
idée : partitionner la variance en SC indépendantes (cas des
comparaisons non-planifiées)
•
contraste ci = permet la comparaison d’une moyenne, ou d’un ensemble
de moyennes, à une autre (à l’aide d’une différence de moyennes, comme
pour le test t, µ1 − µ2 )
•
définition : deux contrastes sont orthogonaux si le produit de leur
coefficients de contraste est nul.
•
Pour un plan à k échantillons, il y a k − 1 contrastes orthogonaux
•
formulation :
φ=
k
X
ci x̄i
i=1
avec
•
P
i
ci = 0
statistique de test :
ddl de la résiduelle)
φ
sφ
(s2φ
2
=s
P
c2
i
),
i ni
à comparer à un t à ν ddl (ν =
Cogmaster A4 – p. 9/26
Méthode des contrastes (1)
•
limites : les contraintes imposent un choix particulier de contraste,
surtout lorsque le nombre de groupes k > 3
ex : 3 groupes a, b et c ; contrastes = a vs. b et b vs. c
•
Exemple : 4 échantillons : x̄1 , x̄2 , x̄3 , x̄4
•
H 0 : µ1 = µ4
c = [−1 0 0 1]
•
H0 : (µ1 + µ2 )/2 = (µ3 + µ4 )/2
c = [−1 − 1 1 1]
Cogmaster A4 – p. 10/26
Utilisation de contrastes sous R (1)
n <- 20
g <- gl (5 ,n ,5 *n , labels = paste ( rep ( ’g ’ ,5) ,1:5 , sep = "" ))
y <- NULL
for ( i in 1:5) y <- append (y , rnorm (n , mean = runif (1) *i , sd =1 .5))
plot ( y ~ g , horizontal =T , xlab = ’y ’ , ylab = ’x ’)
model1 <- aov (y ~ g)
summary ( model1 )
summary . lm ( model1 )
levels ( g )
contrasts ( g ) <- cbind ( c (4 , -1 , -1 , -1 , -1) ,c (0 ,1 ,1 , -1 , -1) ,
c (0 ,0 ,0 ,1 , -1) , c (0 ,1 , -1 ,0 ,0))
model2 <- aov (y ~ g)
summary . lm ( model2 )
Matrice de contraste :
g1
g2
g3
g4
g5
[,1] [,2] [,3] [,4]
4
0
0
0
-1
1
0
1
-1
1
0
-1
-1
-1
1
0
-1
-1
-1
0
Cogmaster A4 – p. 11/26
g3
g2
g1
y
g4
g5
Utilisation de contrastes sous R (2)
−1
0
1
2
3
4
5
x
Cogmaster A4 – p. 12/26
Utilisation de contrastes sous R (3)
0.5
1.0
1.5
2.0
2
−2
−1
0
1
2
Theoretical Quantiles
Scale−Location
Constant Leverage:
Residuals vs Factor Levels
0.5
1.0
1.5
Fitted values
2.0
2.5
56
36
0
1
2
54
−2
Standardized residuals
1.5
0.5
1.0
3654
3
Fitted values
56
0.0
1
2.5
0.0
Standardized residuals
0.0
3654
0
2
0
−2
Residuals
3654
56
−2 −1
56
3
Normal Q−Q
Standardized residuals
4
Residuals vs Fitted
g:
g1
g5
g3
g2
g4
Factor Level Combinations
Cogmaster A4 – p. 13/26
Utilisation de contrastes sous R (4)
Modèle global (summary(model1))
g
Residuals
Df Sum Sq Mean Sq F value
Pr(>F)
4 62.219 15.555 7.6566 2.164e-05 ***
95 192.998
2.032
Tests sur les coefficients du modèle complet (summary.lm(model1))
Residuals:
Min
1Q
Median
-2.58494 -1.05627 -0.04863
3Q
0.93955
Max
3.75477
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 0.08574
0.31871
0.269 0.788489
gg2
1.62985
0.45073
3.616 0.000481 ***
gg3
1.46144
0.45073
3.242 0.001636 **
gg4
2.44558
0.45073
5.426 4.39e-07 ***
gg5
1.33268
0.45073
2.957 0.003922 **
Residual standard error: 1.425 on 95 degrees of freedom
Multiple R-Squared: 0.2438,Adjusted R-squared: 0.2119
F-statistic: 7.657 on 4 and 95 DF, p-value: 2.164e-05
Cogmaster A4 – p. 14/26
Utilisation de contrastes sous R (5)
Tests sur les contrastes (summary.lm(model2))
Residuals:
Min
1Q
Median
-2.58494 -1.05627 -0.04863
3Q
0.93955
Max
3.75477
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.45965
0.14253 10.241 < 2e-16 ***
g1
-0.34348
0.07127 -4.820 5.45e-06 ***
g2
-0.17174
0.15936 -1.078
0.2839
g3
0.55645
0.22536
2.469
0.0153 *
g4
0.08421
0.22536
0.374
0.7095
Residual standard error: 1.425 on 95 degrees of freedom
Multiple R-Squared: 0.2438,Adjusted R-squared: 0.2119
F-statistic: 7.657 on 4 and 95 DF, p-value: 2.164e-05
Cogmaster A4 – p. 15/26
Utilisation de contrastes sous R (6)
•
Remarque : Un contraste n’est rien d’autre qu’un test t (au carré) ; on
parle de comparaisons à 1 ddl.
•
Rappel
statistique de test pour le t :
x¯1 − x¯2
tobs = p
s2p /n
où s2p est une estimation de la variance commune (dans le cas où l’on
suppose l’homogénéité des variances)
Il existe d’autres types de contrastes sous R : ‘treatment contrasts’,
‘Helmert contrasts’ (par défaut sous R), ‘sum contrast’. Ils sont spécifiés
grâce à la commande options(contrasts=c("contr.treatment","contr.poly")).
Cogmaster A4 – p. 16/26
Méthode du t multiple protégé (LSD) (1)
•
idée : utiliser le test t classique, en calculant la variance commune
(erreur-type au dénominateur) à partir de l’ensemble des échantillons
•
méthode : (1) si les effectifs sont inégaux, on calcule un t pour chaque
paire de moyenne ; (2) si les effectifs sont égaux, on calcule directement
la plus petite différence significative (LSD), ∆ = tn−1;α=0.05
q
2
2 sn , à
laquelle on compare chacune des différences de moyenne
•
intérêt : rapide et simple à mettre en œuvre ; donne un aperçu global de
l’ensemble des différences de moyennes considérées comme significatives
•
limites : la protection n’existe que sous H0 ; visée indicative seulement
Cogmaster A4 – p. 17/26
Méthode du t multiple protégé (LSD) (2)
Idée naı̈ve : calcul de tous les t avec comme erreur-type la résiduelle des 2
séries d’observations considérées
res <- matrix (NA , nrow =5 , ncol =5)
for ( j in 1:5) {
for ( i in 1:5)
res [i , j] <round ( t. test ( y [ as . numeric ( g )== j ] ,
y [ as . numeric ( g )== i ] , var . equal = T ) $ p. value ,4)
}
res [ upper . tri ( res , diag = T )] <- NA
dimnames ( res ) <- list ( levels (g ) , levels (g ))
Calcul de LSD : même chose en prenant comme erreur-type la résiduelle de
toutes les séries d’observations
nk <- 20
# nb d ’ obs par groupe
tmp <- summary . aov ( model1 )
residuals <- tmp [[1]] $ ‘ Mean Sq ‘[2] # var . résiduelle
lsd <- qt (0.975 , 2 *nk -2) * sqrt (2 * residuals / nk )
plot . design ( aggregate (y , list (g ) , mean ))
segments (0.25 , mean (y ) - lsd / 2 ,0.25 , mean ( y )+ lsd / 2)
Cogmaster A4 – p. 18/26
g3
2.0
1.5
g4
g2
1.0
mean of x
2.5
3.0
Méthode du t multiple protégé (LSD) (3)
g5
g1
Group.1
Factors
Cogmaster A4 – p. 19/26
Méthode du t multiple protégé (LSD) (4)
res <- matrix ( NA , nrow =5 , ncol =5)
for ( j in 1:5) {
for ( i in 1:5) {
diff . mean <- mean ( y [ as . numeric ( g )== j ])
- mean ( y [ as . numeric (g )== i ])
res [i , j] <- ifelse ( abs ( diff . mean ) > lsd ,
round ( diff . mean ,2) , NA )
}
}
res [ upper . tri ( res , diag = T )] <- NA
dimnames ( res ) <- list ( levels ( g ) , levels ( g ))
Cogmaster A4 – p. 20/26
Méthode du t multiple protégé (LSD) (5)
t avec s2p calculée sur les 2 échantillons comparés (valeurs de pobs ):
g1
g2
g3
g4
g5
g1
g2
g3
g4
NA
NA
NA
NA
0.3696
NA
NA
NA
0.0000 0.0022
NA
NA
0.0374 0.3144 0.0064
NA
0.5968 0.6306 0.0000 0.0757
g5
NA
NA
NA
NA
NA
t avec s2p calculée sur tous les échantillons comparés (valeurs des différences
de moyennes significatives):
g1
g2
g3
g4
g5
g1
g2
g3 g4
NA
NA
NA NA
NA
NA
NA NA
-2.21 -1.65
NA NA
-1.11
NA 1.09 NA
NA
NA 1.92 NA
g5
NA
NA
NA
NA
NA
Note: ces valeurs ne correspondent pas à l’exemple initial de l’ANOVA...
Cogmaster A4 – p. 21/26
Méthode du t corrigé (Bonferroni)
•
•
•
idée : même principe (test t), en corrigeant le risque α en fonction du
nombre de comparaisons
k(k−1)
α
, α = 0.05, comme risque
pour m comparaisons (m < C2
), on fixe m
de première espèce pour chacun des tests : méthode de Bonferroni
intérêt : rapide et simple à mettre en œuvre ; donne un aperçu global de
l’ensemble des différences de moyennes considérées comme significatives
pairwise .t . test (y ,g , p . adjust . method = " bonf " )
Il existe d’autres types de méthodes de correction (?p.adjust).
Cogmaster A4 – p. 22/26
Méthode de Tukey (HSD) (1)
•
très utilisé en complément de l’ANOVA lorsque l’on cherche à expliquer
des différences non prévues lors de la conception du protocole (démarche
post-hoc)
•
idée : modifier la statistique de test pour que la détection d’une
différence significative soit plus difficile
•
statistique de test :
T =
x¯1 − x¯2
sp
à comparer aux valeurs q des ‘range studentisés’ (?qtukey).
•
R donne les IC associés à chaque comparaison
•
limites : effectifs égaux dans chaque groupe
model1 . hsd <- TukeyHSD ( model1 )
plot ( model1 . hsd , las =1)
Le package multcomp comprend un ensemble de procédures de
comparaisons multiples (?simint).
Cogmaster A4 – p. 23/26
Méthode de Tukey (HSD) (2)
95% family−wise confidence level
g2−g1
g3−g1
g4−g1
g5−g1
g3−g2
g4−g2
g5−g2
g4−g3
g5−g3
g5−g4
−3
−2
−1
0
1
2
3
Differences in mean levels of g
Cogmaster A4 – p. 24/26
En résumé (1)
•
Méthode des contrastes
traitements à rôle symétrique ou non ; toujours valable si les contrastes
sont indépendants ; problème du choix de ceux-ci ; visée confirmatoire
•
Méthode du t multiple protégé
traitements à rôle symétrique ; peu puissant ; risque de conclusions
erronées lorsqu’il y a un grand nombre de comparaisons ; visée indicative
•
Méthode du t corrigé (Bonferroni)
traitements à rôle symétrique ; visée indicative/confirmatoire
•
Méthode de Scheffé
traitements à rôle symétrique ; manque de puissance (trop de
protection); permet de tester la nullité de n’importe quel contraste; visée
confirmatoire
Cogmaster A4 – p. 25/26
En résumé (2)
•
Méthode de Newman-Keuls
traitements à rôle symétrique ; puissance accrue si les effectifs sont égaux
et les contrastes simples ; permet de « grouper » les moyennes ; visée
confirmatoire
•
Méthode de Tukey
traitements à rôle symétrique ; même protection que Newman-Keuls,
mais moins puissante ; nécessite des effectifs égaux, et des contrastes
simples ; visée confirmatoire
•
Méthode de Dunnett
traitements à rôle non symétrique ; utilisable dans le cas d’une
comparaison à un groupe témoin (ou de référence) ; nécessite le recours à
une table spécifique ; visée confirmatoire
Cogmaster A4 – p. 26/26