Tests de comparaison de distributions

Tests de comparaison de distributions
Cette section doit être placée à la suite du cours sur les tests (après le test de Bartlett). Elle en
constitue la dernière partie.
Les tests de comparaison de distribution sont généralement des tests "non paramétriques", c’est à dire
qu’ils ne nécessitent pas de supposer que les observations suivent telle ou telle loi (gausienne par exemple).
Les anlo-saxons les appellent "distribution-free". Ils permettent de tester l’adéquation d’une distribution
empirique à une distribution théorique. C’est à dire qu’ils permettent de répondre à la question suivante
: étant donné un échantillon X1 ; :::; Xn i.i.d de loi inconnue L, a-t-on L = L0 où L0 est, elle, connue et
…xée par le statisticien. Ainsi la loi L0 pourra être une loi normale (0; 1) ; une loi exponentielle, une loi
de Poisson, etc. On rappelle qu’une loi de probabilité est entièrement déterminée par sa densité ou sa
fonction de répartition. Ce qui signi…e aussi que le test
H0 : L = L0
H1 : L 6= L0
(1)
mentionné ci-dessus peut se résoudre à
H0 : F =F0
H1 : F 6=F0
où F est la fonction de répartition associée à l’échantillon et F0 une fonction de répartition …xée et connue.
Ces tests permettent aussi de comparer la distribution de deux échantillons. Typiquement on dispose
de deux échantillons X1 ; :::; Xn et Y1 ; :::; Ym de lois respectives LX et LY : Ils permettent de tester H0
contre H1 avec :
H0 : LX = LY
(2)
H1 : LX 6= LY
Là encore les anglo-saxons parlent de "two sample tests" alors que les test correpondant au problème (1)
sont plutôt connus sous la dénomination "one sample tests".
1
Le cas des variables discrètes : le Chi-Deux d’ajustement
Commençons par un exemple. On dispose d’un dé à jouer et l’on souhaite savoir si ce dé est truqué. On
va jeter ce dé n fois et on va noter les valeurs lues au cours de ces n jetés. Les résultats seront résumés
dans un tableau du type :
Face
Totaux observés
Fréquences observés
Fréquences théoriques
1
n1
f1
1=6
2
n2
f2
1=6
3
n3
f3
1=6
4
n4
f4
1=6
5
n5
f5
1=6
6
n6
f6
1=6
avec n = n1 + ::: + n6 , n1 le nombre de 1 sortis au cours des n lancers, f1 = n1 =n: La fréquence théorique
corrsepond à une distribution uniforme sur l’ensemble f1; :::; 6g : Clairement les fi doivent être comparés
à 1=6: S’ils sont tous assez proches on considérera que le dé n’est pas truqué.
Pour cela on construit la statistique suivante :
T6 =
6
X
(ni
i=1
2
n=6)
n=6
Intuitivement T6 va nous donner une indication sur la proximité des fi et des fréquence "théoriques". Au
dénominateur apparaît un terme correctif.
1
Généralisons le raisonnement précédent. Supposons que l’on dispose de variables aléatoires discrètes
X1 ; :::; Xn qui prennent des valeurs comprises entre 1 et k. On peut à nouveau dresser une table récapitulative :
Valeur observée pour Xi 1
2
3
... ... k
Totaux observés
n1 n2 n3 ::: ::: nk
Fréquences observés
f1 f2 f3 ::: ::: fk
Fréquences théoriques
p1 p2 p3 ::: ::: pk
On a toujours n = n1 + ::: + nk ; fi = ni =n et les pi correspondent à la distribution de référence (ou
"théorique") a laquelle on souhaite comparer l’échantillon. On construit alors
Tk =
k
X
(ni
i=1
k
2
2
X
(fi pi )
npi )
=n
npi
pi
i=1
Le terme au dénominateur est très important. Supposons en e¤et que pour tout i ni npi = c’est à
dire que la di¤érence absolue entre totaux observés et totaux théoriques est constante. On voit alors
2
(ni npi )
que ti =
sera plus grand pour des cases à faible e¤ectif théorique, plus petit pour des cases à
npi
fort e¤ectif théorique. Autrement dit le dénominateur permet de voir ti comme une di¤érence relative
entre e¤ectifs théoriques et observés.
On peut alors montrer que si n est assez grand (supérieur à 30) avec au moins 5 observations pour
chaque valeur observée
2
Tk
(k 1)
La statistique Tk est appelée "Chi-Deux d’ajustement"
Remarque 1 Le Chi-Deux d’ajustement peut être utilisé pour des variables aléatoires réelles (donc non
discrètes) regroupées en classes
Classe
Total Observés
Fréquence théorique
[a1 ; a2 [
n1
p1
[a2 ; a3 [
n2
p2
[a3 ; a4 [
n3
p3
...
:::
:::
...
:::
:::
[ak ; ak+1 [
nk
pk
Dans ce cas les fréquences théoriques pi sont calculées à partir de la loi connue de référence de densité f0
et de fonction de répartition F0 par :
Z ai+1
pi =
f0 (t) dt = F0 (ai+1 ) F0 (ai )
ai
2
Le test de Kolmogorov-Smirnov
Le test de Komogorov-Smirnov est un test d’ajustement à une loi continue qui prend en compte l’ensemble
des quantiles. L’idée est la suivante : si la vrai fonction de répartition de l’échantillon est F0 ; la fonction
de répartition empirique Fbn (Cf le cours de stat I) sera proche de F0 : On rappelle queFbn est une fonction
en escalier dé…nie pour tout x par
8
>
< 0 si x < X(1)
i
b
Fn (x) =
si x 2 X(i) ; X(i+1)
>
: n
1 si x X(n)
où X(1)
:::
X(n) est l’échantillon X1 ; :::; Xn ordonné. On mesure l’adéquation de Fbn à F0 par la
distance de Kolmogorov-Smirnov
dKS Fbn ; F0 = sup Fbn (x)
F0 (x)
x2R
En fait il est assez simple de montrer que dKS Fbn ; F0 peut se réécrire plus simplement :
dKS Fbn ; F0 = max
1 i n
F0 X(i)
i
; F0 X(i)
n
i
1
n
(...si, si, je vous promets que c’est plus simple !!!) On a alors le résultat suivant :
2
p
Théorème 2 Quand H0 : F = F0 est vraie ndKS Fbn ; F0 est une nombre aléatoire positif dont la
distribution asymptotique (quand n est grand) ne dépend pas de F0 ; est tabulée et connue sous le nom de
p
distribution de Kolmogorov-Smirnov. Si H0 est fausse, ndKS Fbn ; F0 tend vers +1.
Le test de Kolmogorov-Smirnov s’étend très simplement au cas où l’on veut tester l’égalité de distribution de deux échantillons i.i.d (cas du test (2)). Dans ce cas on construit
bn
dKS Fbn ; G
b n celle du deuxième échantillon.
où Fbn est la fonction de répartition associée au premier échantillon et G
p
b n est inférieur à un seuil lu dans la table de Kolmogorov-Smirnov on
Dans ce cas si ndKS Fbn ; G
déduira que F = G c’est à dire que les deux échantillons sont issus de la même loi.
D’autres tests d’ajustement basés sur la fonction de répartition existent : tests de Cramer-Von Mises
d’Anderson-Darling...
3
Test de rangs : tests de Wilcoxon et de Mann-Whitney
Ce sont des tests sur échantillons doubles (Cf intro du chapitre formule (2)). Ils ne nécessitent pas de
connaître les valeurs des échantillons mais leurs rangs. On suppose donc toujours que l’on dispose de
deux échantillons X1 ; :::; Xn et Y1 ; :::; Ym de lois respectives LX et LY :
3.1
Le test de Wilcoxon
L’idée du test est la suivante : si on rassemble les deux échantillons et que l’on range les valeurs dans
l’ordre croissant l’alternance des Xi et des Yj devrait être assez régulière. On aura des doutes sur H0
si les Yj sont plutôt plus grands que les Xi ; ou plus petits ou plus fréquents dans une certaine plage de
valeurs. On procède comme suit :
1. On commence par écrire la statistique d’ordre de l’échantillon global (i.e. on mélange les valeurs des
Xi et des Yj puis on les classe par ordre croissant s’il y a des ex-aequo on les permute au hasard).
On obtient ainsi une suite mélangée des Xi et des Yj .
2. On calcule la somme des rangs des Xi notée WX (c’est la statistique de Wilcoxon).
3. Sous l’hypothèse nulle et si n + m est assez grand, WX suit approximativement une loi
N
n (n + m + 1) nm (n + m + 1)
;
2
12
ce qui permet de bâtir une procédure de test.
Exemple : voici deux échantillons :
X : 5,7 3,2 8,4 4,1 6,9 5,3 1,7 3,2 2,5 7,4
Y : 8,1 5,5 3,4 7,9 4,6 1,6 8,5 7,1 8,7 5,7.
Première étape : on ordonne l’échantillon global (les X sont en gras)
1,6 1,7 2,5 3,2 3,2 3,4 4,1 4,6 5,3 5,5 5,7 5,7 6,9 7,1 7,4 7,9 8,1 8,4 8,5 8,7 et
WX = 2 + 3 + 4 + 4 + 5 + 9 + 12 + 13 + 15 + 18 = 88
Ici on peut montrer que la p-value est p (88) = 0:1: On accepte donc H0 au niveau 95% et on la rejette
au niveau 85%
3
3.2
Le test de Mann-Whitney
Il provient d’une autre approche mais il est équivalent au précédent. En e¤et on peut décider de compter
le nombre de couples (Xi ; Yj ) pour lesquels Xi > Yj (avec choix aléatoire en cas d’ex-aequo). Avec des
symboles mathématiques on construit une statistique :
U=
n X
m
X
i=1 j=1
1I fXi > Yj g
où 1I fXi > Yj g vaut 1 si Xi > Yj et 0 sinon. On peut alors véri…er que
n(n + 1)
2
U = WX
Les deux tests sont donc formellement équivalents.
Ce cours est associé à un TD que vous devez essayer de traiter et qui peut être téléchargé
sur ma page web.
4