7. Notions de Statistique

Transcription

http://statwww.epfl.ch
7. Notions de Statistique
7.1: Introduction
7.2: Analyse graphique
7.3: Notions de base: lois d’échantillonage
7.4: Propriétés d’estimateurs
7.5: La quantification de l’incertitude
7.6: Les tests statistiques
Références: Davison (2003, Chapitre 1, §§2.1, 2.2, 3.1, 3.2, 7.1.1,
7.3.1); notes de Ben Arous (§§VI.1, VI.2, VI.4–VI.9).
Exercices: (121), 129, 130, 131, (132), 134, du Recueil d’exercices;
2, (3), 4, 11, 19, 21, 22, 24, (25), (29) du Compléments d’exercises.
Probabilité et Statistique I/II — Chapı̂tre 7
1
Petit Vocabulaire Statistique
Mathematics
y = (y1 , . . . , yn )
English
Français
(observed) data, sample
données (observées), échantillon observé
dataset
un jeu de données
random sample
échantillon aléatoire
Y = (Y1 , . . . , Yn )
F, f
θ, µ, σ 2 , . . .
probability model, statistical model
loi de probabilité, modèle statistique
parameter
un paramètre
T = t(Y )
estimator
estimateur
estimate
estimation
pivot
un pivot
confidence interval
intervalle de confiance
Student t distribution
loi de Student avec ν degrés de liberté
t = t(y)
Q = q(Y, θ)
(BI , BS )
tν
with ν degrees of freedom
χ2
ν
chi-squared distribution
loi chi-deux avec ν degrés de liberté
with ν degrees of freedom
2
Idées clées — 26 avril 2004
On peut beaucoup voir siémplement en regardant — ‘you can see a
lot just by looking’.
Avec un modèle probabiliste, les données ainsi que les quantités
calculées avec ces dernières pourront être différentes—Statistique
signifie ‘ne jamais devoir dire qu’on est certain’.
3
7.1 Introduction
Les statistiques se rapporte à ce qui peut être déduit des données par
la recherche scientifique, idéalement en tant que partie du cycle
expérimental qui peut être divisé en quatre étapes :
Planifier
Prevoir
ր
ց
տ
ւ
Analyser
Agir
la réflexion statistique/probabiliste peut jouer un rôle à chaque
étape. Souvent le cycle doit être réitéré jusqu’à ce que l’on stoppe la
recherche.
4
Planifier: En se basant sur les connaissances actuelles du problème,
on décide quelles donnés doivent être prélever et comment.
Agir: Nous recueillons les données en réalisant une expérience, en
menant une étude, . . .
Analyser: Nous analysons les données afin de voir si nous avons
obtenu une réponse à notre question initiale.
Prévoir: Nous mettons à jour nos connaissances, et les utilisons
pour savoir à quoi nos données futures pourraient ressembler.
On suppose qu’une partie de la variation des données est due au
hasard, de sorte que les idées probabilistes puissent être appliquées.
La difficulté est de distinguer la variation systématique (signal,
généralement intéressant ) de la variation purement aléatoire (bruit,
souvent inintéressant).
5
La Variation et l’Incertitude
La variabilité est omniprésente, et on doit en tenir compte dans nos
modèles mathématiques. On la divise en deux types: la variation
systématique, et la variation aléatoire.
La variation systématique répresente souvent des effets d’interêt
scientifique potentiel . On cherche à la quantifier et à l’expliquer.
Souvent la variation aléatoire répresente des effets qui n’ont pas
d’interêt direct, mais qui sont essentiels pour avoir des modèles
réalistes.
Idée clé: On modélise la variation aléatoire par des lois de
probabilité, dont les paramètres résument les aspects systématiques.
On transforme la variation aléatoire des données en des expressions
d’incertitude se rapportant aux paramètres.
6
7.2 Analyse Graphique
Pour le moment nous allons supposer que les données sont déjà
disponibles, et qu’il faut en tirer de l’information.
Planifier
Prevoir
ր
ց
տ
ւ
Analyser
Agir
Tout d’abord on peut essayer de comprendre les données à l’aide de
graphiques. Souvent on n’a pas besoin d’aller plus loin, car ils aident
à la visualisation et la compréhension du probléme. Ils sont très
utiles aussi pour expliquer nos conclusions aux autres.
7
Exemple
On utilisera les données issues des questionnaires que vous avez
rempli. ( n = 36 )
Height Hand Sex Weight Month Test
1
194
23
M
75
3 5.0
2
184
24
M
75
7 4.0
3
175
21
M
65
6 4.5
...
Il y a beaucoup des graphiques familiers, dont . . .
8
L’histogramme
Utile pour visualiser la forme de la densité des données y1 , . . . , yn .
On choisit a, b, N tels que a < min{yj } < max{yj } < b, on pose
δ = (b − a)/N , on divise l’axe en intervalles disjoints
I1 = [a, a + δ), I2 = [a + δ, a + 2δ), . . . , IN = [a + (N − 1)δ, b),
et on trace une ligne horizontale d’hauteur #{yj ∈ Ir }/(nδ)
au-dessus de Ir .
Le ‘tapis’ en bas montre les yj .
C’est une densité empirique qui depend des choix de a et de N ,
comme on peut le voir sur les graphiques suivants . . .
9
150
170
190
Height
150
170
190
Height
150
170
190
Height
170
190
Height
150
170
190
Height
0.00
Density
0.04
0.00
0.00
Density
0.02
Density
0.02
0.04
150
0.08
170
190
Height
0.04
150
0.00
Density
0.02
0.04
Density
0.02
0.04
0.00
0.00
Density
0.02
0.04
10
Fonction de Répartition Empirique
Soit
n
X
1
I(yj ≤ y).
Fb (y) =
n j=1
C’est une fonction en escalier qui augmente de 1/n en chaque yj .
Le graphique ci-dessous montre Fb pour les hauteurs, ainsi qu’une
fonction de répartition normale.
La ‘densité’ correspondante affecte une probabilité de 1/n sur chacun
des yj : c’est une très mauvaise représentation de la densité d’une
variable continue.
11
1.0
0.0
Empirical CDF
0.2 0.4 0.6 0.8
0.0
Empirical CDF
0.2 0.4 0.6 0.8
1.0
150
170
190
Height (cm)
150
170
190
Height (cm)
12
Estimation par noyau
C’est une représentation de la densité empirique d’un échantillon:
n
X
1
y − yj
1
fb(y) =
K
,
n j=1 h
h
où K(x) est une densité de probabilité, symétrique autour de x = 0
et de variance 1: par exemple K = φ.
fb est donc une somme des contributions de chacun des yj , ponderée
par une fonction de y − yj . Ceci depend du ‘bandwidth’ h > 0, qui
contrôle la largeur des contributions des yj . Plus h est grand, plus fb
est lisse et plate, et inversement.
Le graphique ci-dessous montre fb pour les hauteurs, pour un h
‘optimal’ (à gauche), ainsi que pour d’autres valeurs (à droite).
13
0.00
0.00
Density
0.02
0.04
h=10 (black), 5 (blue), 2 (red)
Density
0.02
0.04
h=3.7
140
160 180 200
Height (cm)
220
140
160 180 200
Height (cm)
220
Exercise : Montrer que fb(y) est une densité de probabilité pour
tout h > 0 et y1 , . . . , yn , et décrire son comportement lorsque h → 0.
14
Quantile-quantile (Q-Q) plots
Une manière pour comparer deux échantillons x1 , . . . , xn et
y1 , . . . , yn . On trace le graphique de leurs statistiques d’ordre
(x(1) , y(1) ), (x(2) , y(2) ), . . . , (x(n) , y(n) ).
Si ceci forme une droite, alors les échantillons ont la même forme.
Soit x(j) le j/(n + 1)-quantile d’une loi théorique (normale,
exponentielle, . . .); On appelle ces x(j) des plotting positions.
Example 7.1: Trouver les ‘plotting positions’ de la loi exp(1).
•
Example 7.2: Trouver les ‘plotting positions’ de la loi N (0, 1).
•
15
Plus le graphe se rapproche d’une droite, plus les données
ressemblent à un échantillon issu de la loi considérée.
La pente donne une estimation du paramètre de dispersion de la loi,
et le point d’intersection avec la droite x = 0 donne une estimation
du paramètre de position, si cette intersection existe.
Il est difficile de tirer des conclusions fortes d’un tel graphique quand
n est petit, car la variabilité est alors grande — on a tendance à
sur-interpréter,à voir des choses qui n’existent pas.
16
190
Normal Q−Q Plot
160
Height (cm)
170
180
160
Height (cm)
170
180
190
Exponential Q−Q plot
0.0
1.0
2.0
3.0
Exponential plotting positions
−2
−1
0
1
2
Normal plotting positions
17
Height (cm)
170 180 190
−2 −1 0
1
2
−2 −1 0
1
2
Height (cm)
175
185
165
160
165
Height (cm)
170
180
Height (cm)
175
185
190
−2 −1 0
1
2
160
165
Height (cm)
175
185
Height (cm)
160 170 180 190
n = 36: quel échantillon n’est pas normal?
−2 −1 0
1
2
−2 −1 0
1
2
−2 −1 0
1
2
18
−2
0 1 2
210
Height (cm)
170
190
210
−2
0 1 2
150
Height (cm)
170
190
210
−2
0 1 2
150
150
Height (cm)
170
190
210
−2
0 1 2
150
Height (cm)
170
190
210
Height (cm)
170
190
150
150
Height (cm)
170
190
210
−2
0 1 2
−2
0 1 2
19
−3
−1
1 2 3
210
Height (cm)
170
190
210
−3
−1
1 2 3
150
Height (cm)
170
190
210
−3
−1
1 2 3
150
150
Height (cm)
170
190
210
−3
−1
1 2 3
150
Height (cm)
170
190
210
Height (cm)
170
190
150
150
Height (cm)
170
190
210
−3
−1
1 2 3
−3
−1
1 2 3
20
Le ‘boxplot’
On utilise les boxplots pour comparer des groupes distincts de
nombres semblables. Le but est de donner une bonne idée du centre,
de la variabilité, et de la forme des données, et de mettre en évidence
les valeurs aberrantes de manière claire.
Soit IQR (‘interquartile range’) la différence entre les deux quartiles:
IQR = y(⌈3n/4⌉) − y(⌈n/4⌉) .
La ligne centrale représente la médiane, les limites du ‘box’ les
quartiles, la limite supérieure des valeurs adjacentes, (‘whiskers’ )
l’observation la plus grande mais plus petit ou égale au 0.75 quantile
plus 1.5IQR.
Les valeurs les plus extrêmes sont considerées comme des valeurs
aberrantes potentielles et sont représentées individuellement.
21
2
160
Height
170
180
Mark for test 1
3
4
5
190
6
F
M
Sex
All
Questionnaire
Status
22
Le ‘scatterplot’
On utilise un ‘scatterplot’ quand on veut comprendre soit comment
varie une variable y comme fonction d’une variable x, soit comment
varient (x, y) ensemble: c’est le graphique qui représente les paires
(x1 , y1 ), . . . , (xn , yn ).
23
2
First test
3
4
5
Hand width (cm)
10
15
20
6
160
170
180
Height (cm)
190
160
170
180
Height (cm)
190
24
Commentaires
Les idées probabilistes suggèrent comment construire de tels
graphiques, mais elles ne sont pas essentielles: on peut considérer ces
graphiques comme des résumés des données purs et simples, aidant à
visualiser et ainsi à comprendre leur structure.
Pour aller plus loin, on a besoin d’introduire des notions probabilistes
explicites.
25
7.3 Notions de base
On va supposer que les données y1 , . . . , yn , que nous appellons
l’échantillon, forment une réalisation des variables aléatoires
Y1 , . . . , Yn issues d’une loi de probabilité F décrivant la population.
iid
On suppose souvent que Y1 , . . . , Yn ∼ F : c’est un échantillon
aléatoire issu de F .
Si F est déterminé par un paramètre de dimension fini, c’est un
modèle paramétrique, sinon il est non paramétrique. La plupart
de nos modèles seront paramétriques.
D’une manière générique nous noterons les données y ≡ (y1 , . . . , yn )
et les variables aléatoires correspondantes Y ≡ (Y1 , . . . , Yn ).
26
Definition: Une statistique t est une fonction des données:
t = t(y). La variable aléatoire correspondante est notée T = t(Y ).
Example 7.3: Prenons les données sur vos hauteurs:
y1 = 160, y2 = 169, . . . , y36 = 183.
Le Q-Q plot suggère qu’elles sont issues d’une loi normale. Soit
F (y) = Φ{(y − µ)/σ}: un modèle paramétrique de paramètre (µ, σ)
de dimension 2. Des exemples de statistiques sont
n
y
=
1X
yj = 177.17cm,
n j=1
median{yj } = 178cm,
n
s2
=
1 X
(yj − y)2 = 71.69cm2 ,
n − 1 j=1
IQR = 11.75,
ainsi que le Q-Q plot, etc.
•
27
Statistiques de position et de dispersion
Des statistiques telles que la moyenne et la médiane d’un échantillon
mesurent sa position: où se trouve son centre.
Des statistiques telles que la variance d’un échantillon et l’IQR
mesurent sa dispersion: la variabilité des données.
Considérer l’effet d’une transformation yj 7→ a + byj (changement
d’unités de mesure, b 6= 0) sur ces statistiques:
y 7→ a + b y,
s 7→ b s.
Example 7.4: Etablir ces propriétés.
•
Exercise : Montrer que sous la transformation yj 7→ a + byj , on a
•
median{yj } 7→ a + b median{yj }, IQR 7→ b IQR.
28
Parenthèse: Statistiques de forme
On peut aussi définir des mesures de la forme (‘shape’) des données,
telles que
P
−1
y(⌈0.95n⌉) − y(⌈0.5n⌉)
n
(yj − y)3
′
k3 =
ou k3 =
,
3/2
y(⌈0.5n⌉) − y(⌈0.05n⌉)
s
qui mesurent l’asymétrie de y1 , . . . , yn .
Exercise : Montrer que k3 , k3′ sont invariantes aux changements
y 7→ a + by, sauf à un changement de signe éventuel. Quelles seront
leurs valeurs pour un échantillon symétrique?
•
29
Les estimateurs
Definition: Soient Y = (Y1 , . . . , Yn ) issues d’une loi F de paramètre
θ. Un estimateur T = t(Y ) est une statistique construite pour
estimer la valeur de θ. Sa valeur t = t(y) est appelée l’estimation de
θ.
Definition: Si la statistique V est un estimateur de var(T ), on
appelle V 1/2 (également sa valeur v 1/2 ) écart-type de T —
l’écart-type v 1/2 mesure la précision de l’estimation t.
iid
Example 7.5: Soient Y1 , . . . , Yn ∼ (µ, σ 2 ), donner des estimateurs
de µ, σ 2 , σ, et un écart-type pour l’estimateur de µ.
•
iid
Example 7.6: Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), construire des
estimateurs de µ, σ à partir de la médiane T et l’IQR. Sous quelles
•
conditions seront-t-ils préférables à Y , S?
30
Rappel: Quantiles de l’Echantillon (Ch 6, page 33)
iid
Definition: Soient X1 , . . . , Xn ∼ F , et 0 < p < 1. Alors la p
quantile de l’échantillon de X1 , . . . , Xn est la r ème statistique
d’ordre X(r) , où r = ⌈np⌉.
Theorem (Loi asymptotique des statistiques d’ordre): Soient
iid
0 < p < 1, X1 , . . . , Xn ∼ F , et xp = F −1 (p). Alors si f (xp ) > 0,
X(⌈np⌉) − xp
[p(1 − p)/{nf (xp
D
1/2
)2 }]
−→ N (0, 1)
lorsque n → ∞.
Ceci implique que
X(⌈np⌉)
.
∼
N
p(1 − p)
xp ,
nf (xp )2
.
31
Rappel: Combinaison de suites convergentes (Ch 6, page 11)
Theorem : Soient x0 , y0 des constantes réelles, soient
X, Y, {Xn }, {Yn } des variables aléatoires. Alors
D
D
Xn −→ x0
P
Xn −→ X and Yn −→ y0
P
⇒ Xn −→ x0 ,
D
D
⇒ Xn + Yn −→ X + y0 , Xn Yn −→ Xy0 .
La seconde ligne est connue sous le nom de lemme de Slutsky. Il est
très utile lors d’applications statistiques.
Le graphique suivant montre la variation des quartiles empiriques,
X(⌈n/4⌉) et X(⌈3n/4⌉) et le comportement de l’IQR pour les
échantillons normals de taille n.
32
Ordered sample
−1 0
1
2
−2
−3
−3
−2
Ordered sample
−1 0
1
2
3
n=100
3
n=20
0
5
10
15
20
15
20
0
5
10
15
20
−3
−2
1.0
IQR
1.5
Ordered sample
−1 0
1
2
2.0
3
n=500
0
5
10
20
50
100
500 1000 5000
Sample size
33
Lois d’échantillonnage
Si les données y sont issues d’une loi F , elles auraient pu être
différentes. Donc toute statistique t = t(y) peut être considérée
comme une réalisation d’une variable aléatoire T = t(Y )
correspondante. La loi de cette statistique est appelée sa loi
d’échantillonnage.
iid
Example 7.7: Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), trouver la loi
d’échantillonnage de la moyenne Y .
iid
Example 7.8: Soient Y1 , . . . , Yn ∼ exp(λ), trouver la loi de Y .
•
•
Illustration:
http://www.ruf.rice.edu/%7Elane/stat_sim/sampling_dist/index.html
34
7.4 Propriétés des estimateurs
Comment comparer plusieurs estimateurs pour un paramètre donné?
Definition: Un estimateur T = t(Y1 , . . . , Yn ) d’un paramètre θ est
P
consistant si T −→ θ quand n → ∞: c’est à dire que pour tout
ε > 0,
P(|T − θ| > ε) → 0,
n → ∞.
Ceci est une propriété minimale: on doit pouvoir connaitre le
paramètre quand n = ∞! Mais il faut aussi des critères pour des
échantillons de taille plus réaliste.
Est-ce que T est proche à θ?
Definition: Le biais d’un estimateur T d’un paramètre θ est
b(θ) = E(T ) − θ. Si b(θ) = 0 pour tout θ alors T est non-biaisé.
35
Definition: Le risque quadratique ou erreur quadratique
moyenne de T mesure son écart carré moyen de θ;
rT (θ) = E (T − θ)2 = b(θ)2 + var(T ).
Plus rT est grand, plus T est mauvais.
iid
Example 7.9: Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), montrer que Y est
consistant pour µ, et calculer son risque quadratique.
•
iid
Example 7.10: Soient Y1 , . . . , Yn ∼ exp(λ) et a > 0 constant,
P
calculer le risque quadratique de T = a/ Yj en tant qu’estimateur
•
de λ, et le minimiser par rapport à a.
Un estimateur T1 de θ est préférable à un autre estimateur T2 de θ en
terme de risque quadratique si rT1 (θ) ≤ rT2 (θ) pour tout θ, avec
inégalité stricte pour au moins une valeur de θ.
36
iid
Example 7.11: Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), comparer la moyenne
Y et la médiane T en tant que estimateurs de µ pour n grand.
•
La robustesse d’un estimateur aux valeurs aberrantes (mauvaises
données, fautes de frappe ou d’instrumentation, . . .) ou aux
hypothèses de modèle est aussi une propriété importante.
Example 7.12: Décrire les effets sur y et la médiane t d’une faute
de frappe qui ajoute c à y1 .
Calculer les risques quadratiques approximés de Y et T quand la loi
sous-jacente est Laplace.
•
iid
Exercise : Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), sachant que E(S 2 ) = σ 2 ,
var(S 2 ) = 2σ 4 /(n − 1), comparer les risques quadratiques de S 2 et de
•
(n − 1)S 2 /n en tant qu’estimateurs de σ 2 .
37
7.5 La quantification de l’incertitude
On a des données y1 , . . . , yn supposées être une réalisation d’un
échantillon aléatoire Y1 , . . . , Yn issu d’une loi paramétrique F .
Par exemple, les données sur vos hauteurs sont
y1 = 160, y2 = 169, . . . , y36 = 183,
nous donnant y = 177.17cm, median{yj } = 178cm, s2 = 71.69cm2 .
iid
Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), alors F (y) = Φ{(y − µ)/σ}.
Qu’est-ce que nous pouvons dire de µ ou de σ, à partir de y1 , . . . , yn
et l’hypothèse d’un modèle normal?
On va essayer de donner un intervalle dans lequel il est raisonnable
de trouver le paramètre.
38
Idée de Base
Prenons le cas d’un estimateur T d’un paramètre θ, tel que
T
∼
N (θ, τ 2 ).
Alors il est aussi probable que T soit à droite et à gauche de θ, et
donc il semble raisonnable de prendre un intervalle de confiance
(IC) de forme
T ± cτ,
symétrique autour de T .
Comment choisir c?
39
Puisque (T − θ)/τ ∼ N (0, 1), l’intervalle avec c = zα/2 va contenir θ
avec probabilité (1 − α), par le raisonnment suivant:
P (T − cτ ≤ θ ≤ T + cτ ) = P (−cτ ≤ θ − T ≤ cτ )
θ−T
≤c
= P −c ≤
τ
T −θ
≤ −c
= P c≤
τ
= Φ(−c) − Φ(c)
= 1 − α/2 − α/2
= 1−α
si c = zα/2 , et en se rappellant que −zα/2 = z1−α/2 car la densité
N (0, 1) est symétrique.
Definition: La valeur (1 − α) s’appelle le niveau de l’IC.
40
Interprétation
L’interprétation d’un IC se fait par rapport à une suite imaginaire de
jeux de données générés sous les mêmes conditions que le jeu observé.
Si c’était possible de calculer les ICs correspondants, on trouverait
que la proportion de ceux contenant θ serait (1 − α). Donc si nous
considèrons que notre jeu est choisi au hasard parmi tous les jeux,
notre IC contient θ avec probabilité (1 − α). Cette interprétation
depend de la plausibilité de l’hypothèse qu’une telle suite de jeux
existe.
Note: Plus α → 0, plus il est probable que l’intervalle contienne θ.
Example 7.13: Calculer les IC de niveaux 0.9, 0.95, et 0.99 pour la
√
moyenne µ des hauteurs, en supposant que σ = 71.69 = 8.47.
•
Donner leurs interprétations.
41
z
0
1
2
3
4
5
6
7
8
9
0.0
.50000
.50399
.50798
.51197
.51595
.51994
.52392
.52790
.53188
.53586
0.1
.53983
.54380
.54776
.55172
.55567
.55962
.56356
.56750
.57142
.57535
0.2
.57926
.58317
.58706
.59095
.59483
.59871
.60257
.60642
.61026
.61409
0.3
.61791
.62172
.62552
.62930
.63307
.63683
.64058
.64431
.64803
.65173
0.4
.65542
.65910
.66276
.66640
.67003
.67364
.67724
.68082
.68439
.68793
0.5
.69146
.69497
.69847
.70194
.70540
.70884
.71226
.71566
.71904
.72240
0.6
.72575
.72907
.73237
.73565
.73891
.74215
.74537
.74857
.75175
.75490
0.7
.75804
.76115
.76424
.76730
.77035
.77337
.77637
.77935
.78230
.78524
0.8
.78814
.79103
.79389
.79673
.79955
.80234
.80511
.80785
.81057
.81327
0.9
.81594
.81859
.82121
.82381
.82639
.82894
.83147
.83398
.83646
.83891
1.0
.84134
.84375
.84614
.84850
.85083
.85314
.85543
.85769
.85993
.86214
1.1
.86433
.86650
.86864
.87076
.87286
.87493
.87698
.87900
.88100
.88298
1.2
.88493
.88686
.88877
.89065
.89251
.89435
.89617
.89796
.89973
.90147
1.3
.90320
.90490
.90658
.90824
.90988
.91149
.91309
.91466
.91621
.91774
1.4
.91924
.92073
.92220
.92364
.92507
.92647
.92786
.92922
.93056
.93189
1.5
.93319
.93448
.93574
.93699
.93822
.93943
.94062
.94179
.94295
.94408
1.6
.94520
.94630
.94738
.94845
.94950
.95053
.95154
.95254
.95352
.95449
1.7
.95543
.95637
.95728
.95818
.95907
.95994
.96080
.96164
.96246
.96327
1.8
.96407
.96485
.96562
.96638
.96712
.96784
.96856
.96926
.96995
.97062
1.9
.97128
.97193
.97257
.97320
.97381
.97441
.97500
.97558
.97615
.97670
2.0
.97725
.97778
.97831
.97882
.97932
.97982
.98030
.98077
.98124
.98169
42
Des IC approximatifs
Des ICs exacts sont rares, et en général on construit des ICs
approximatifs à l’aide du théorème central limite. Rappelons que la
plupart des statistiques se basant sur les moyennes (implicites ou
explicites) des variables Y = (Y1 , . . . , Yn ) ont des lois normales pour n
√
grand. Si T = t(Y ) est un estimateur de θ avec écart-type V , et si
.
T ∼ N (θ, V ),
√ .
alors (T − θ)/ V ∼ N (0, 1). Ainsi
n
o
√
.
P zα/2 < (T − θ)/ V ≤ z1−α/2 = Φ(z1−α/2 ) − Φ(zα/2 ) = 1 − α,
impliquant qu’un IC de niveau à peu près (1 − α) pour θ est
√
√
(T − V z1−α/2 , T − V zα/2 ).
43
Cadre Général
Considérons maintenant la construction générale des ICs.
Definition: Soient Y = (Y1 , . . . , Yn ) des données issues d’une loi
paramétrique F avec paramètre θ. Alors un pivot est une fonction
Q = q(Y, θ) dont la loi est connue et qui ne dépend pas de θ. On dit
alors que Q est pivotale.
iid
Example 7.14: Soient Y1 , . . . , Yn ∼ exp(λ), montrer que Q = Y λ
est un pivot.
•
iid
Example 7.15: Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ) et σ 2 connu, montrer
Q1 = q1 (Y, µ) = n1/2 (Y − µ)/σ est un pivot.
Si σ 2 est inconnu, montrer que Q2 = n1/2 (Y − µ)/S et Q3 = S 2 /σ 2
•
sont des pivots.
44
Les intervalles de confiance
Definition: Soient Y = (Y1 , . . . , Yn ) des données issues d’une loi
paramétrique F de paramètre θ scalaire. Un intervalle de
confiance (BI , BS ) pour θ est une statistique sous forme
d’intervalle qui contient θ avec un probabilité specifiée. Cette
probabilité s’appelle le niveau de l’intervalle.
Si
P (BS ≤ θ) = αS ,
P (θ < BI ) = αI ,
alors
P (BI ≤ θ < BS ) = 1 − αS − αI ,
et le niveau de (BI , BS ) est de 1 − αS − αI . Souvent en pratique on
prend αI = αS = α/2, donnant un intervalle bilaterale de niveau
(1 − α), et on dit que c’est un IC à (1 − α) × 100%.
45
Calcul d’un IC via un pivot
Soit Q = q(Y, θ) un pivot, alors ses quantiles qαI , qαS sont connus, au
moins en principe. Supposons que l’équation
q(Y, θ) = q ′
a une solution θ ′ = q −1 (Y, q ′ ) pour tout Y , et que cette solution est
décroissante en q ′ . Alors
αS − αI
alors
= P {qαI ≤ q(Y, θ) ≤ qαS }
−1
= P q (Y, qαI ) ≥ θ ≥ q −1 (Y, qαS ) ;
(BI , BS ) = q
−1
(Y, qαS ), q
−1
(Y, qαI )
est un IC de niveau αS − αI pour θ. Si αS = 1 − α/2, αI = α/2,
alors le niveau est (1 − α).
46
Loi Normale
iid
Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), et supposons que σ 2 est connue. Alors
Y −µ
Q= p
σ 2 /n
∼
N (0, 1)
est pivotale, soient zα , z1−α/2 ses quantiles. Les solutions aux
équations
Y −µ
p
= zαI , zαS
2
σ /n
sont Y − σ/n1/2 zαI , Y − σ/n1/2 zαS , et l’IC pour µ de niveau (1 − α)
1/2
1/2
est donc (BI , BS ) = Y − σ/n z1−α/2 , Y − σ/n zα/2 ,
la formule déjà obtenue, avec T = Y et τ 2 = σ 2 /n.
47
Variance σ 2 inconnue
iid
Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), avec µ et σ 2 inconnus, alors
Q = n1/2 (Y − µ)/S
est un pivot, dont la loi s’appelle la loi de Student (‘Student t
distribution’) avec ν = n − 1 degrés de liberté : on écrit Q ∼ tn−1 .
Le panneau à droite ci-dessous montre la densité de Student pour des
degrés de liberté ν = 1, 2, 4, 20, ∞, de bas en haut.
Le cas ν = ∞ donne la densité normale, ν = 1 la loi de Cauchy.
Le panneau à gauche montre la densité chi-deux (χ2ν ) de degrés de
liberté ν = 1, 2, 4, 6, 10. C’est la densité de W = Z12 + · · · + Zν2 , où
iid
Z1 , . . . , Zν ∼ N (0, 1). Ceci implique que si W1 ∼ χ2ν1 et W2 ∼ χ2ν2
sont indeps, alors W1 + W2 ∼ χ2ν1 +ν2 .
48
0.4
Densités de Chi-deux et de Student
0.3
0.1
6
10
0.0
4
0.2
PDF
0.2
2
0.0
PDF
0.4
1
0
5
10
15
20
w
-4
-2
0
2
4
t
49
Si nous notons tn−1 (α) le α-quantile de la loi tn−1 , les arguments
précédents démontre qu’un IC de niveau (1 − α) pour µ est
S
Y ± √ tn−1 (α/2) :
n
on remplace σ par S et zα/2 par tn−1 (α/2). Ceci élargit l’IC, car la
variabilité de S augmente l’incertitude concernant µ.
Example 7.16: Comparer les quantiles de la loi de Student avec
•
ceux de la loi normale.
Example 7.17: Calculer les IC de niveaux 0.95 et 0.99 pour la
moyenne µ des hauteurs, en supposant σ inconnu.
•
50
L’argument ci-dessus mène aux ICs exacts pour d’autres paramètres
iid
du modèle normal, utilisant le fait que si Y1 , . . . , Yn ∼ N (µ, σ 2 ), on a
2
Y ∼ N (µ, σ /n)
Pn
indépendantes
2
(n − 1)S = j=1 (Yj − Y )2 ∼ σ 2 χ2n−1
où χ2ν represente la loi chi-deux avec ν degrés de liberté.
iid
Example 7.18: Soient Y1 , . . . , Yn ∼ N (µ, σ 2 ), trouver un IC pour
•
σ 2 . Le calculer pour les données des hauteurs.
Example 7.19: Soient
iid
iid
Y1 , . . . , Yn ∼ N (µ1 , σ 2 ), X1 , . . . , Xm ∼ N (µ2 , σ 2 ) indépendantes,
montrer qu’avec
nX
o
X
Y − X − (µ1 − µ2 )
1
2
2
2
(Xj − X) +
,
S =
(Yj − Y ) , Q =
1/2
−1
−1
2
n+m−2
{(n + m )S }
est pivotale, et trouver un IC pour µ1 − µ2 .
•
51
Parenthèse: les IC unilatéraux
En pratique on utilise le plus souvent des IC de forme (BI , BS ), dits
les intervalles de confiance bilatéraux.
Considérons par contre le calcul d’un IC pour une note lors d’un
examen. Ici on cherche un IC de forme (BI , 6): on veut simplement
une borne inférieure que l’on va dépasser avec une probabilité donnée.
Definition: Un intervalle de confiance unilateral de niveau
1 − α/2 pour un paramètre θ prenant des valeurs c ≤ θ ≤ d est soit
de forme (BI , d), soit de forme (c, BS ), avec
P(BI ≤ θ) = 1 − α/2,
P(θ ≤ BS ) = 1 − α/2.
On peut considérer un IC bilatéral de niveau (1 − α) pour θ comme
l’intersection de deux IC unilatéraux de niveau (1 − α/2).
52
Example 7.20: Calculer l’IC de niveau 0.95 de forme (BI , ∞) pour
l’hauteur moyenne µ d’un étudiant, et donner son interprétation. •
Example 7.21: Calculer l’IC de niveau 0.95 de forme (0, BS ) pour
la variance σ 2 de l’hauteur d’un étudiant, et donner son
•
interprétation.
53
7.6 Les Tests Statistiques
Illustration: Existence du ‘top quark’ (TQ): des expériences
physiques suggèrent qu’un nombre X suit un loi de Poisson de
paramètre θ, et que θ vaut θ0 = 6.7 si le TQ n’existe pas. La valeur
observée de X est xobs = 17. Est-ce que le TQ existe?
Si le TQ n’existait pas, la probabilité de l’évènement X ≥ xobs serait
P(X ≥ xobs ) =
∞
X
x=xobs
∞
X
θ0x −θ0
e ,
P(X = x) =
x!
x=x
obs
et avec θ0 = 6.7, xobs = 17, on aurait
∞
X
6.7x −6.7
.
e
= 0.000599279 = 0.0006.
P(X ≥ xobs ) =
x!
x=17
Alors, si le TQ n’existe pas, un évènement très rare s’est passé.
54
Top quark
Densité Poisson. Gauche: θ = θ0 . Droite: θ > θ0 .
L’aire ombrée mesure la crédibilité de l’hypothèse ‘TQ n’existe pas’.
0.10
0.00
0.05
Poisson density
0.10
0.05
0.00
Poisson density
0.15
theta=10
0.15
theta=6.7
0
5
10
15
20
x
25
30
0
5
10
15
20
25
30
x
55
Les éléments d’un test
Une hypothèse nulle H0 à tester. Ici on a H0 : θ0 = 6.7.
Une statistique de test T , choisie telle que des grandes valeurs de
T suggèrent que H0 est fausse. La valeur observée de T est tobs .
Un niveau de signification pobs donnant la probabilité d’observer
l’évènement T ≥ tobs sous H0 . C’est à dire:
pobs = P0 (T ≥ tobs ),
où P0 (·) indique une probabilité calculée sous H0 . Plus pobs est
petite, plus on doute que H0 soit vraie.
Top quark: on suppose que X ∼ Poisson(θ). On a
.
H0 : θ = θ0 = 6.7, T = X, et pobs = 0.0006.
•
56
Faire tourner une pièce à 5SFr
Est-ce que P(face) = 0.5 quand une pièce est tournée?
200 essais: xobs = 115 en la tournant; xobs = 105 en la jetant.
0.8
0.6
0.4
0.0
0.2
Proportion of heads
0.8
0.6
0.4
0.2
0.0
Proportion of heads
1.0
5Fr, 1978, tosses
1.0
5Fr, 1978, spins
0
50
100
150
Number of spins
200
0
50
100
150
200
Number of tosses
57
Test d’honnêteté de la pièce
Si elle est honnête, alors le nombre de faces X sur n essais suit la loi
binomial B(n, θ), avec θ = θ0 = 1/2.
Hypothèse nulle H0 : θ = θ0 = 21 .
Ici n = 200, donnant
E(X) = nθ0 = 100,
var(X) = nθ0 (1 − θ0 ) = 50
sous H0 .
Plus |X − nθ0 | est grand, plus on soupçonne que la pièce n’est pas
honnête — soit P(face) < 1/2, soit P(face) > 1/2.
Statistique de test T = |X − nθ0 |.
Valeur observée tobs = |X − nθ0 | = |115 − 100| = 15.
58
Honnêteté de la pièce: Niveau de signification
On veut calculer
pobs = P0 (T ≥ tobs ) = P0 (|X − nθ0 | ≥ 15),
et sous H0 , X ∼ B(n, θ0 ) avec n = 200, θ0 = 12 . Ainsi
pobs
=
=
=
=
P0 (X − nθ0 ≤ −15) + P0 (X − nθ0 ≥ 15)
P0 (X ≤ 100 − 15) + P0 (X ≥ 100 + 15)
85 200 X
X
200 1 x 1 200−x
200 1 x 1 200−x
+
2 2
2 2
x
x
x=0
x=115
.
0.04003719 = 1/25.
Alors l’évènement |X − nθ0 | ≥ 15 arriverait à peu près une fois sur 25
par hasard, si H0 était vraie.
59
Interpretation de pobs
Plus pobs est petite, plus on doute H0 .
Si pobs est petite, il y a deux possibilités:
Soit (a) H0 est vraie, et un évènement rare s’est passé,
soit (b) H0 est fausse.
La choix entre ces possibilités dépend de la manière de juger
l’importance des deux types d’erreurs possibles:
Erreur de Type I: H0 est vraie, mais on la rejette.
Erreur de Type II: H0 est fausse, mais on l’accepte.
Alors ce choix dépend des conséquences des erreurs, et alors du
contexte du problème.
60
Interlude: Approximation normale à pobs
Sous H0 , X ∼ B(200, 21 ), et E(X) = 100, var(X) = 50. Donc
√
.
.
X ∼ N (100, 50), et donc Z = (X − 100)/ 50 ∼ N (0, 1).
La symétrie de la densité normale autour de son espérance donne
P0 (|X − nθ0 | ≥ 15)
= 2P(X − nθ0 ≤ −15)
(
)
X − nθ0
−15
= 2P p
≤p
nθ0 (1 − θ0 )
nθ0 (1 − θ0 )
1
−15 + 2
.
= 2P Z ≤ √
50
= 2P(Z ≤ −2.05)
.
= 0.0403.
61
L’hypothèse nulle H0
Le modèle statistique le plus simple, ce que l’on veut tester.
Point important: H0 concerne le modèle, pas les données.
Parfois on n’y croit pas vraiment, mais si elle est vraie (plus ou
moins), le modèle sera simplifié.
H0 ne pose pas forcément des contraintes sur les données, mais sur
les paramètres du modèle. Par exemple, si le modèle de base est que
iid
X1 , . . . , Xn ∼ F (x; θ), mais ne met pas de contrainte sur θ. H0 peut
fixer θ = θ0 , ou θ ≤ θ0 .
62
La statistique de test T
Plus T est grande, plus les présomptions contre H0 est forte.
Donc le choix de T dépend des alternatives de H0 — ce que l’on
imagine possible, si H0 n’ést pas vraie.
Exemple: on remplace l’hypothèse alternative H1 ‘la pièce est
malhonnête’ par l’hypothèse alternative H1′ que ‘P(face) > 21 ’. Alors
on pose T = X − nθ0 , et ainsi on a
.
p′obs = P0 (T ≥ tobs ) = P0 (X−nθ0 ≥ tobs ) = P0 (X ≥ nθ0 +tobs ) = 0.02.
Ceci met plus en doute H1′ que H1 , car p′obs < pobs .
•
Plus l’hypothèse alternative est précise, mieux on peut construire une
statistique de test appropriée.
63
Le niveau de signification pobs
On le calcule comme si H0 était vraie.
On utilise souvent des niveaux conventionnels, tels que
α = 0.05, 0.01, 0.001, etc., qui correspondent aux évènements avec des
probabilités de 1/20, 1/100, 1/1000, etc.
On dit que l’on rejette H0 à niveau 0.05 si pobs < 0.05.
Evidemment si pobs < 0.01 on rejette au niveau 0.05 en plus du
niveau 0.01.
Ne pas confondre signification statistique avec signification
practique ni avec signification scientifique.
64
Lien avec les intervalles de confiance
Soit θb un estimateur du paramètre θ, et supposons que θb ∼ N (θ, V ).
L’IC à niveau (1 − α) pour θ est
(θb − z1−α/2 V 1/2 , θb − zα/2 V 1/2 ),
où zα est la α quantile de la loi N (0, 1).
Si θ0 appartient à l’IC, alors θb − z1−α/2 V 1/2 ≤ θ0 ≤ θb − zα/2 V 1/2 .
Donc
zα/2 ≤ (θb − θ0 )/V 1/2 ≤ z1−α/2 ,
nous donnant
|θb − θ0 |/V 1/2 ≤ z1−α/2
(symétrie de la densité N (0, 1) implique zα/2 = −z1−α/2 ).
Maintenant supposons que l’on va tester l’hypothèse H0 : θ = θ0 en
65
utilisant T = |θb − θ0 |/V 1/2 comme statistique de test.
Sous H0 , (θb − θ0 )/V 1/2 ∼ N (0, 1).
Si le niveau de signification est α, alors P0 (T ≥ tobs ) = α. Donc
n
o
P0 (T ≥ tobs ) = P0 −tobs < (θb − θ0 )/V 1/2 < tobs = 1 − α
et ainsi tobs = z1−α/2 , car (θb − θ0 )/V 1/2 ∼ N (0, 1).
Donc la valeur observée de (θb − θ0 )/V 1/2 est de ±zα/2 , et θ se trouve
sur l’une des bornes de l’IC à niveau (1 − α).
Implication: si θ0 appartient à un IC bilatéral de niveau (1 − α), le
niveau de signification du test de H0 : θ = θ0 est au moins α.
Autrement dit: un IC à niveau (1 − α) contient toutes valeurs θ0 que
l’on ne peut pas rejeter à un niveau α.
66
Test du chi-deux
On l’utilise pour vérifier qu’une variable aléatoire obéit à une
distribution donnée.
Il est plus utile pour les lois discrètes.
Illustration: Ted Turlings et Cristina Tamo de l’Université de
Neuchâtel étudient des guêpes parasitoı̈des, qui pondent leurs oeufs à
l’intérieur des chenilles. Pour voir si les guêpes sont attirées par
l’odeur des chenilles, ils ont mené des expériences avec 6 chambres,
en connexion avec une chambre centrale où les guêpes sont lâchées.
67
Les guêpes
Expériences sans odeur:
Chambre
1
2
3
4
5
6
Guêpes
11
1
5
6
7
4
Expériences avec odeur de chenille dans la chambre 1:
Chambre
1
2
3
4
5
6
Guêpes
76
0
8
4
1
0
68
L’hypothèse nulle
H0 : l’odeur n’attire pas les guêpes.
Sous H0 et l’hypothèse que les guêpes se comportent de manière IID,
les nombres de guêpes suivent une loi multinomiale, et la probabilité
qu’une chambre soit choisi par une guêpe est 1/6.
Donc le nombre de guêpes esperé pour la chambre i est Ei = n/6, où
n est le nombre total de guêpes.
On prend comme statistique de test
T =
6
X
(Oi − Ei )2
i=1
Ei
,
qui mesure la divergence entre les Ei et les nombres observés Oi .
69
Le niveau de signification
.
On peut montrer que T ∼ χ25 sous H0 , si les nombres ne sont pas
trop petits.
Pour l’expérience sans odeur, tobs = 9.76,
pobs = P(χ25 ≥ 9.76) = 0.082.
Pour l’expérience avec odeur, tobs = 305.9,
pobs = P(χ25 ≥ 305.9) = 0.
Aucune doute que H0 soit fausse: les guêpes sont attirées par l’odeur.
70

7. Notions de Statistique

Transcription

Documents pareils

Je n`suis pas bien portant

Tre Bicchieri Gambero Rosso Tre Bicchieri Gambero Rosso DRO IT d

1 Exercice 2 Exercice

Schubert Ave Maria (French).mus

Théor`eme central limite - Université Claude Bernard Lyon 1

PARIS–Nation Roissypole–Gare RER

Le banc de l`amitié

La loi des séries noires - Laboratoire de Mathématiques Raphaël

Comment m`est venu l`amour des mathématiques En 1961–62, j

StatL3S5