Formulaire de Probabilités et Statistiques

Formulaire de Probabilités et Statistiques
AD+JS
1
Rappels de combinatoire
Arrangements avec répétitions Nombre d’applications d’un ensemble à k éléments dans
un ensemble à n éléments :
nk
Arrangements (sans répétitions)
Akn =
Permutations
Nombre d’arrangements de k objets choisis parmi n:
n!
= n(n − 1) · · · (n − k + 1)
(n − k)!
Nombre de permutations de n objets :
Ann = n!
Combinaisons (sans répétitions) Nombre de combinaisons de k objets choisis parmi n
(ou nombre de sous-ensembles à k éléments dans un ensemble à n éléments):
n(n − 1) · · · (n − k + 1)
n
n!
k
=
(coefficient binomial)
Cn =
=
(n − k)!k!
k(k − 1) · · · 1
k
Combinaisons avec répétitions Nombre de répartitions de n boules indiscernables dans
k urnes discernables:
(n + k − 1)!
k−1
n
Cn+k−1
= Cn+k−1
=
n!(k − 1)!
Coefficients multinomiaux Nombre de répartitions de n boules discernables dans k urnes
discernables avec n1 boules dans la 1ère urne, n2 boules dans la 2ème urne, . . ., nk boules dans
la kème urne:
n!
n
nk
n1 n2
(coefficient multinomial)
Cn Cn−n1 · · · Cn−n1 −···−nk−1 =
=
n1 , . . . , nk
n1 !n2 ! · · · nk !
Propriétés élémentaires des coefficients binomiaux
k
Cnk−1 + Cnk = Cn+1
k
Cn+m
=
(x + y)n =
(1 − x)−n =
k
X
j=0
n
X
k=0
∞
X
(triangle de Pascal)
j
Cm
Cnk−j
(formule de Vandermonde )
Cnk xk y n−k
(formule du binôme)
k
xk
Cn+k−1
(série géométrique généralisée )
k=0
1
2
Probabilités élémentaires
Modelè probabiliste L’ensemble fondamental Ω est l’ensemble des résultats possibles d’une
expérience. Un événement A est un sous-ensemble de Ω. Une distribution de probabilités P
sur Ω associe à tout événement A un nombre P (A), tel que 0 ≤ P (A) ≤ 1, appelé probabilité
de A.
Ci-dessous, soient A, B, A1 , A2 , . . ., An des événements. On note Ac le complémentaire
de A dans Ω.
Une partition de Ω (un système complet d’événements) {Bi }ni=1 a les propriétés que l’union
des événements est Ω et qu’ils sont disjoints deux á deux:
n
[
Bi = Ω,
i=1
Bj ∩ Bj = ∅,
i 6= j.
Propriétés élémentaires de P
P (Ω) = 1
P (Ac ) = 1 − P (A)
P (A ∪ B) = P (A) + P (B) − P (A ∩ B)
Formule d’inclusion-exclusion à n termes
!
n
n
X
X
[
Ai =
(−1)k+1
P
i=1
k=1
1≤i1 <···<ik ≤n
P (Ai1 ∩ · · · ∩ Aik )
Événements indépendants A et B sont indépendants ssi
P (A ∩ B) = P (A)P (B)
Événements indépendants deux à deux
P (Ai ∩ Aj ) = P (Ai )P (Aj )
i 6= j
Événements totalement indépendants
P (Ai1 ∩ · · · ∩ Aik ) = P (Ai1 ) · · · P (Aik ) 1 ≤ i1 < · · · < ik ≤ n, k = 1, . . . , n
Probabilités conditionnelles Si A est un événement quelconque et si l’événement B vérifie
P (B) > 0 alors la probabilité conditionnelle de A sachant B est
P (A | B) =
P (A ∩ B)
.
P (B)
Conditionnement multiple
P (A1 ∩ A2 ∩ · · · ∩ An ) = P (A1 )P (A2 | A1 ) · · · P (An | A1 ∩ A2 ∩ · · · ∩ An−1 )
Formule des probabilités totales Soit (Bi )1≤i≤n une partition de Ω, avec P (Bi ) > 0, ∀i.
Alors pour tout événement A,
P (A) = P (A | B1 )P (B1 ) + P (A | B2 )P (B2 ) + · · · + P (A | Bn )P (Bn ).
2
Formule de Bayes Soit {Bi }ni=1 une partition de Ω, avec P (Bi ) > 0, ∀i. Alors pour tout
événement A de probabilité non nulle
P (A | Bi )P (Bi )
.
P (A | B1 )P (B1 ) + P (A | B2 )P (B2 ) + · · · + P (A | Bn )P (Bn )
P (Bi | A) =
3
Variables aléatoires réelles
Variables discrètes Une variable aléatoire réelle X est une fonction X : Ω → E ou E est un
sous-ensemble de nombres réels. Si E est discrèt, alors X est appelé variable aléatoire discrète.
Dans ce cas la distribution de probabilités de X est la donnée des nombres : P (X = xk ). La
fonction fX (x) = P (X = x) est appelée fonction de masse.
Fonction de répartition FX (t) = P (X ≤ t)
Quantile Pour une probabilité 0 < p < 1, la p quantile de FX est xp = inf{x : FX (x) ≥ p}.
Très souvent on a FX (xp ) = p.
Variables continues
s’écrit sous la forme
X est une variable aléatoire continue si sa fonction de répartition
Zx
FX (x) =
fX (t)dt,
donc
fX (x) =
−∞
dFX (x)
,
dx
où fX (x) est une fonction non négative, appelée densité de X.
Couples de variables aléatoires On considère des événements relatifs à deux variables
aléatoires X et Y .
Fonction de répartition conjointe
(X, Y ) conjointement continu
FX,Y (x, y) =
Zx
−∞
et fX,Y (x, y) =
∂2
∂x∂y FX,Y
ds
Zy
FX,Y (x, y) = P (X ≤ x, Y ≤ y). Pour un couple
dy fX,Y (s, t) =
Zy Zx
fX,Y (s, t) dsdt
−∞ −∞
−∞
(x, y).
Fonction de répartition marginale
un couple (X, Y ) conjointement continu
FX (x) =
FX (x) = P (X ≤ x) = limy→∞ FX,Y (x, y). Pour
Zx
fX (s) ds
−∞
où fX (x) est la densité marginale de X donnée par fX (x) =
R∞
−∞
3
fX,Y (x, y)dy.
Variables aléatoires indépendantes Deux variables aléatoires X et Y sont indépendantes
si pour tous ensembles A et B,
P (X ∈ A et Y ∈ B) = P (X ∈ A) P (Y ∈ B).
En particulier:
FX,Y (x, y) = FX (x) FY (y).
Dans le cas de deux variables discrètes
P (X = xk et Y = yl ) = P (X = xk ) P (Y = yl ),
∀xk , yl ∈ R,
et dans le cas de deux variables continues
fX,Y (x, y) = fX (x) fY (y),
∀x, y ∈ R.
Loi de probabilité d’une fonction de variables aléatoires
Changement de variables à une dimension Si X est une variable aléatoire continue
de densité fX (x) et si Y = g(X) pour une fonction g réelle et inversible, on a
Z
FY (y) =
fX (x)dx.
g −1 (−∞,y)
Si g(x) est strictement monotone et continûment dérivable, alors la variable aléatoire Y = g(X)
est une variable aléatoire continue, avec densité
−1 (
fX (g−1 (y)) d g dy (y) , si y = g(x) pour un x quelconque,
fY (y) =
0,
si y 6= g(x) pour tout x.
Changement de variables à deux dimension Si (X1 , X2 ) sont deux variables aléatoires
conjointement continues de densité fX1 ,X2 (x1 , x2 ) et si (Y1 , Y2 ) = (g1 (X1 , X2 ), g2 (X1 , X2 )) pour
une fonction g = (g1 , g2 ) inversible, on a
ZZ
fX1 ,X2 (x1 , x2 ) dx1 dx2
FY1 ,Y2 (y1 , y2 ) =
g1 (x1 , x2 ) ≤ y1
g2 (x1 , x2 ) ≤ y2
En particulier, si g(x) est une bijection continûment dérivable avec son inverse noté par h =
(h1 , h2 ), alors le couple aléatoire (Y1 , Y2 ) est conjointement continu, avec densité
fY1 ,Y2 (y1 , y2 ) = fX1 ,X2 (h1 (y1 , y2 ), h2 (y1 , y2 )) |J(y1 , y2 )|
où |J(y1 , y2 )| est le jacobien de h, et
J(y1 , y2 ) =
4
∂h1 ∂h2
∂y1 ∂y2
−
∂h1 ∂h2
∂y2 ∂y1 .
Espérance mathématique
Définition
Soit X une variable aléatoire. On désigne par
Z
E[X] = xdFX (x)
l’espérance mathématique de X, definie quand E(|X|) < ∞.
4
Espérance d’une fonction de variables
aléatoires Soit g une fonction réelle. L’espérance
R
de g(X) se calcul par E[g(X)] = g(x)dFX (x). En particulier,
pour une variable discrète
pour une variable continue
E[g(X)] =
P
k∈K
E[g(X)] =
R∞
g(xk )P (X = xk )
g(x)fX (x) dx
−∞
pour un couple (X, Y ) E[g(X, Y )] =
R∞ R∞
g(x, y)fX,Y (x, y) dxdy
−∞ −∞
Propriétés de l’espérance
Espérance d’une constante
E[c] = c pour toute constante c réelle
Linéarité E[a + bX + cY ] = a + bE[X] + cE[Y ] pour tous réels a, b, c
Positivité
E[X] ≥ 0 si X ≥ 0
Variance et covariance Soient X et Y variables aléatoires telles que E(X 2 ), E(Y 2 ) < +∞.
On définit les quantités suivantes:
Variance de X
var[X] = E[(X − E[X])2 ] = E[X 2 ] − E[X]2 = E[X 2 ] − E[X]2
Covariance de X et Y
cov[X, Y ] = E[(X − E[X])(Y − E[Y ])] = E[XY ] − E[X]E[Y ]
Coefficient de corrélation de X et Y
corr[X, Y ] = √
Variance et covariance — propriétés:
(Bi-)Linéarité de la covariance
cov[X,Y ]
√
var[X] var[Y ]
var[X] = cov[X, X], et var[X] ≥ 0.
Pour a, b, c réels,
cov[a + bX1 + cX2 , Y ] = b cov[X1 , Y ] + c cov[X2 , Y ].
Variance et covariance
var[X + Y ] = var[X] + var[Y ] + 2cov[X, Y ]
Homogénéité de la variance
Pour tout a réel, var[aX] = a2 var[X].
5
Transformée de Laplace et moments Soit X une variable aléatoire et t ∈ R. On appelle
fonction génératrice des moments (FGM) (aussi transformée de Laplace) la fonction définie
par
MX (t)(≡ (LX (t)) = E[etX ],
si elle est finie.
Moment d’ordre k Pour tout entier positif k, le moment d’ordre k est E[X k ].
Moment centré d’ordre k Pour tout entier positif k, le moment centré d’ordre k est
E[(X − E[X])k ]. En particulier, si k = 2, on a var[X].
Fonction génératrice des cumulants Soit X une variable aléatoire et t ∈ R. On
appelle fonction génératrice des cumulants la fonction définie par
KX (t) = log MX (t) = log E[etX ],
si elle est finie.
Cumulant d’ordre k Pour tout entier positif k, le cumulant d’ordre k est κk donné par
KX (t) =
∞
X
κk
k=1
tk
;
k!
on a également κk = dk KX (t)/dtk |t=0 . En particulier, E[X] = κ1 , var[X] = κ2 .
Quelques inégalités classiques
Inégalité de Cauchy–Schwarz
|E[XY ]| ≤
p
E[X 2 ] ·
p
E[Y 2 ]
Inégalité de Jensen Si g est une fonction convexe, i.e. pour t ∈ [0, 1]: g(t x+(1−t) y) ≤
t g(x) + (1 − t) g(y), alors
g(E[X]) ≤ E[g(X)]
Inégalité de Markov
Si X ≥ 0 et si a > 0, alors
P (X ≥ a) ≤ E[X]/a.
Inégalité de Bienaymé–Chebychev
Pour tout a > 0, on a
P (|X − E[X]| ≥ a) ≤ var[X]/a2 .
6
5
Variables aléatoires — Lois usuelles
5.1
Lois discrètes
Nom
Paramètres
P (X = k)
E[X]
var[X]
MX (t)
Bernoulli
0≤p≤1
pk (1 − p)1−k
k = 0, 1
p
p(1 − p)
pet + 1 − p
∀t
Binomiale
n
0≤p≤1
Cnk pk (1 − p)n−k
k ∈ {0, 1, . . . , n}
np
np(1 − p)
` t
´n
pe + 1 − p
∀t
Géométrique
0<p≤1
p(1 − p)k−1
pour k ∈ {1, 2, . . .}
1
p
1−p
p2
pet
1−(1−p)et
t
n−1 n
Ck−1
p (1 − p)k−n
k ∈ {n, n + 1, . . .}
n
p
Binomiale
négative
n ∈ {2, 3, . . .}
0≤p≤1
Hyper-
n, N1 , N2
géométrique
n ≤ N1 + N2
max(0, n − N2 ) ≤ k ≤ min(n, N1 )
Poisson
λ>0
e−λ λk!
k ∈ {0, 1, . . .}
5.2
n−k
k
CN
·CN
1
2
n
CN
1 +N2
si (1 − p)e < 1
n·
“
1−p
p2
N1 ·n
N1 +N2
nN1 N2 (N1 +N2 )
(N1 +N2 )2 (N1 +N2 −1)
λ
λ
k
t
eλ(e −1)
∀t
Nom
Paramètres
Densité f (x)
E[X]
var[X]
MX (t)
Uniforme
a<b
1/(b − a)
si x ∈ [a, b] (0 sinon)
a+b
2
(b−a)2
12
etb −eta
t(b−a)
λe−λx
pour x > 0 (0 sinon)
1
λ
λn xn−1 e−λx
Γ(n)
n
λ
n
λ2
µ
σ2
0
1
ν−2
si ν ≥ 2
si ν ≥ 3
ν
2ν
Gamma
λ>0
λ > 0, n ≥ 1
pour x > 0
Gaussienne
µ ∈ R, σ 2 > 0
√ 1
e
2πσ 2
−
∀t 6= 0
1
λ2
pour tout x
Student
ν≥1
(tν )
Chi deux
(χ2ν )
√
ν+1
Γ(
)
2
ν
πΓ( )(1+x2 )(ν+1)/2
2
pour tout x
ν≥1
xν/2−1 e−x/2
2ν/2 Γ(ν/2)
pour x > 0
(0 sinon)
7
λ
λ−t
si t < λ
(0 sinon)
(x−µ)2
2σ 2
”n
si (1 − p)e < 1
Lois continues
Exponentielle
pet
1−(1−p)et
t
λ
( λ−t
)n
si t < λ
exp(µt +
∀t
σ2 2
t )
2
ν
(1 − 2t)− 2
si t < 12
5.3
Théorèmes limites
Loi hypergéométrique vers une loi binomiale Soit (Xm ) une suite de variables hypergéométriques de paramètres N1 (m), N2 (m) et n, avec
N1 (m)
N1 (m)+N2 (m) −→ p. Alors pour chaque valeur 0 ≤ k ≤ n:
m→∞
P (Xm = k) −→ Cnk pk (1 − p)n−k .
m→∞
Loi binomiale vers une loi de Poisson Soit Xn une variable aléatoire binomiale de
paramètres (n, p). Si n → ∞ et p → 0 tel que np → λ, alors
k
P (Xn = k) −→ e−λ λk! ,
n→∞
k = 0, 1, 2, . . .
Loi géométrique vers une loi exponentielle Soit T une variable aléatoire géometrique
de paramètre p. Si n → ∞ et p → 0 tel que n · p → λ > 0, alors
P (T /n > t) −→ e−λt ,
t > 0.
n→∞
Loi binomiale vers une loi gaussienne
paramètres (n, p).
Théorème de Moivre-Laplace
Si n → ∞ et k ∼ np, alors
P (Xn = k) ∼ √
Théorème central limite
Soit Xn une variable aléatoire binomiale de
1
2πnp(1−p)
(k−np)2
− 2np(1−p)
e
Si n → ∞,alors pour tout t réel
p
P (Xn ≤ np + np(1 − p) · t) −→
√1
n→∞ 2π
6
Zt
e−
x2
2 dx
−∞
Variables indépendantes et théorèmes limites
Indépendance de plusieurs variables aléatoires Les variables aléatoires X1 , . . . , Xn sont
indépendantes si et seulement si elles vérifient l’une des conditions équivalentes suivantes:
(i) Les fonctions de répartition respectives FX , FX1 , . . . , FXn de
X = (X1 , . . . , Xn ), X1 , . . . , Xn vérifient pour tous xi réels , i = 1, . . . , n:
FX (x1 , . . . , xn ) = FX1 (x1 )FX2 (x2 ) · · · FXn (xn ).
(ii) Pour toutes fonctions g1 , . . . , gn , on a
E[g1 (X1 ) · · · gn (Xn )] = E[g1 (X1 )] · · · E[gn (Xn )]
Une ensemble de variables X1 , . . . , Xn indepéndantes et identiquement distribuées (iid) est
iid
iid
appelé un échantillon aléatoire. On note, par exemple X1 , . . . , Xn ∼ F , ou X1 , . . . , Xn ∼ f .
8
Cas particuliers de (ii) Si X1 , . . . , Xn sont des variables aléatoires indépendantes:
E[X1 · · · Xn ] = E[X1 ] · · · E[Xn ],
Indépendance et covariance
MX1 +···+Xn (t) = MX1 (t) · · · MXn (t)
Si X1 , . . . , Xn sont indépendantes, alors
Cov[Xi , Xj ] = 0,
∀i 6= j.
Maximum et minimum de variables aléatoires indépendantes Soient
X(n) = max(X1 , . . . , Xn ) et
X(1) = min(X1 , . . . , Xn ).
X(n) et X(1) ont pour fonctions de répartition respectives
FX(n) (x) = FX1 (x) · · · FXn (x),
FX(1) (x) = 1 − (1 − FX1 (x)) · · · (1 − FXn (x))
Théorèmes limites pour les valeurs extrêmes de variables iid
et soient τ > 0, et (xn )n≥1 , une suite de nombres réels vérifiant
iid
Soit X1 , . . . , Xn , . . . ∼ F ,
lim n[1 − F (xn )] = τ.
n→∞
Alors
P (X(n) ≤ xn ) −→ e−τ .
n→∞
Si une telle suite existe, alors il existent des suites (bn )n≥1 , (an > 0)n≥1 , telles que
i
h
(
−1/ξ
X(n) − bn
, ξ 6= 0,
exp − {1 + ξ(y − η)/τ }+
P
≤ y −→ H(y) =
n→∞
an
exp [− exp {−(y − η)/τ }] ,
ξ = 0,
où u+ = u pour u > 0 et u+ = 0 pour u ≤ 0, et η, ξ ∈ R, τ > 0.
iid
Statistique d’ordre et vecteur des rangs Soient X1 , . . . , Xn ∼ f , ceci étant une fonction
de densité. Les variables ordonnées X(1) ≤ X(2) ≤ · · · ≤ X(n) sont appelées statistique d’ordre
associé à X1 , . . . , Xn . On appelle Rj le rang de la valeur Xj et (R1 , . . . , Rn ) le vecteur des rangs
associé à X1 , . . . , Xn . Alors le vecteur des rangs et la statistique d’ordre sont indépendantes
et (R1 , . . . , Rn ) a une distribution uniforme dans l’ensemble des permutations de {1, . . . n}. La
statistique d’ordre a pour densité
(
n!f (x1 ) . . . f (xn ), x1 ≤ · · · ≤ xn ,
fX(1) ,...,X(n) (x1 , . . . , xn ) =
0,
sinon.
iid
Loi limite des statistiques d’ordre centrales Soient 0 < p < 1, X1 , . . . , Xn ∼ F , F
une loi continue avec densité f , et xp = F −1 (p). Alors si f (xp ) > 0,
X(⌈np⌉) − xp
[p(1 − p)/{nf (xp
)2 }]1/2
D
−→ N (0, 1)
lorsque n → ∞.
En particulier la mediane, avec p = 0.5, a une loi limite normale, de même que les quartiles,
avec p = 0.25, 0.75: pour n grand,
p(1 − p)
.
.
X(⌈np⌉) ∼ N xp ,
nf (xp )2
9
Sommes de variables indépendantes Soient X1 , . . . , Xn des variables aléatoires indépendantes
et Sn = X1 + · · · + Xn .
Somme de deux variables indépendantes discrètes
X
(1)
(2)
P (S2 = y) =
P (X1 = xj )P (X2 = xk )
(1)
(2)
(j,k):y=xj +xk
Somme de deux variables indépendantes continues
est donnée par la convolution de fX1 et fX2 , i.e.
fS2 (y) = fX1
La densité fS2 de S2 = X1 +X2
+∞
Z
fX1 (y − x)fX2 (x)dx
∗ fX2 (y) =
−∞
Somme de n variables indépendantes continues La densité fSn de Sn = X1 + · · · +
Xn est donnée par la convolution des densités fXj : fSn = fX1 ∗ · · · ∗ fXn .
Théorèmes de stabilité
Loi binomiale Soient Sm et Sn deux variables aléatoires binomiales indépendantes de
paramètres (m, p) et (n, p). Alors Sm + Sn suit une loi binomiale de paramètres (m + n, p).
Loi de Poisson Soient X1 et X2 deux variables aléatoires de Poisson indépendantes de
paramètres λ1 et λ2 . Alors X1 + X2 suit une loi Poisson de paramètres λ1 + λ2 .
Loi normale Soient X1 , . . . , Xn des variables aléatoires indépendantes avec Xj ∼ N (µj , σj2 ),
et soient a, b1 , . . . , bn des constantes. Alors la combinaison linéaire
a + b1 X1 + · · · + bn Xn ∼ N (a + b1 µ1 + · · · + bn µn , b21 σ12 + · · · + b2n σn2 ).
Lois des grands nombres Soit X1 , . . . , Xn , . . . une suite de variables aléatoires réelles iid
d’espérance µ et variance σ 2 . Alors, la moyenne Sn /n = (X1 + · · · + Xn )/n converge en
probabilité vers µ (loi faible). La moyenne converge aussi presque sûrement vers E[X], i.e. la
probabilité de l’événement “ Sn /n converge vers E[X] ” est égale 1 (loi forte).
Théorème central limite Soit X1 , . . . , Xn , . . .une suite de variables aléatoires réelles iid
d’espérance µ et variance σ 2 . La suite des sommes partielles centrées et réduites
Zn =
X1 +···+X
√ n −nµ
σ n
converge en distribution vers une variable N (0, 1) (normale standard):
Z z
2
P (Zn ≤ z) −→ √12π
e−y /2 dy = Φ(z), ∀z ∈ R.
n→∞
−∞
10
7
Eléments de Statistique
Biais et Risque d’un estimateur
b
θ, on appelle biais de θ:
b 1 , . . . , Xn ) est un estimateur du paramètre
Si θb = θ(X
b = Eθ [θ]
b −θ
Bθ (θ)
et risque (quadratique) ou erreur moyenne quadratique de θb l’espérance du carré de θb − θ:
b = Eθ [(θb − θ)2 ]
Rθ (θ)
θb sera dit consistant si θb converge en probabilité vers θ lorsque n −→ +∞, i.e. si
P (|θb − θ| > ǫ) −→ 0,
∀ǫ > 0
n→∞
Intervalles de confiance (IC) et tests
(i) Cas d’un échantillon gaussien
Dans ce qui suit on considère n observations x1 , . . . , xn
iid
correspondant aux réalisations de n variables gaussiennes indépendantes X1 , . . . , Xn ∼ N (µ, σ 2 ).
1. IC au niveau 1 − α fixé (e.g. 1 − α = 0, 95 ≡ 95%, α = 0, 99 ≡ 99%), pour l’espérance µ
lorsque σ 2 est connu: soit x = n−1 (x1 + · · · + xn ), alors l’IC est
Iα = [x − z1−α/2
√σ ; x
n
− zα/2
√σ ],
n
où zp est le p-quantile d’une variable gaussienne Z ∼ N (0, 1), donc P (Z ≤ zp ) = p.
2. IC au niveau 1 − α pour l’espérance µ lorsque σ 2 est inconnu:
Jα = x − tn−1 (1 − α/2) √sn ; x − tn−1 (α/2)
où (n − 1)s2 =
de liberté.
√s
n
,
P
(xi − x)2 et tν (p) est le p-quantile d’une variable de Student à ν degrés
3. L’IC au niveau 1 − α pour la variance σ 2 s’obtient à partir de la variance empirique s2
comme:
[ (n − 1)s2 /χ2n−1 (1 − α/2); (n − 1)s2 /χ2n−1 (α/2) ]
où χ2ν (p) est le p-quantile de la loi de khi-deux à ν degrés de liberté.
(ii) Estimateur de maximum de vraisemblance Soit y la réalisation d’une variable
aléatoire Y dont la loi est f (y; θ), avec scalaire paramètre θ inconnu, alors la log vraisemblance
est ℓ(θ) = log f (y; θ) et l’information observée est
J(θ) = −
d2 ℓ(θ)
.
dθ 2
b 1−α/2 J(θ)
b −1/2 ,
Sous des conditions de régularité, un IC approximé au niveau 1−α pour θ est θ±z
b ≥ ℓ(θ), ∀θ.
où θb est l’estimation de maximum de vraisemblance de θ, qui satisfait ℓ(θ)
Souvent y = (y1 , . . . , yn ) est supposé la réalisation d’un échantillon aléatoire Y1 , . . . , Yn , et dans
ce cas
n
n
X
X
d2 log f (yj ; θ)
log f (yj ; θ), J(θ) = −
,
ℓ(θ) =
dθ 2
j=1
j=1
f (yj ; θ) étant la densité de Yj .
11
(iii) Tests d’hypothèses
Soit x1 , . . . , xn un échantillon correspondant aux réalisations
iid
X1 , . . . , Xn ∼ Pθ (inconnue). On fait une hypothèse H0 sur la distribution Pθ (par exemple:
θ = θ0 ) et l’on veut tester si les observations x1 , . . . , xn permettent de rejeter l’hypothèse H0 .
On choisi une statistique de test T , construit de telle manière que des grandes valeurs de T
suggerent que H0 soit fausse, et on calcul le niveau de signification
pobs = Pr0 (T ≥ tobs ),
où tobs est la valeur observée de T , c’est à dire sa valeur calculée avec les données x1 , . . . , xn ,
et Pr0 représent une probabilité calculée sous H0 . Plus pobs est petite, plus on doubte H0 .
Une autre possibilité est de fixer un niveau α à l’avance (e.g. α = 0, 05 ≡ 5%, α = 0, 01 ≡ 1%
ou α = 0, 001 ≡ 0, 1%), de trouver le (1 − α) quantile de la loi de T sous H0 , et de rejeter H0
si tobs excede ce quantile.
iid
Dans le cas d’un échantillon x1 , . . . , xn correspondant à des variables X1 , . . . , Xn ∼ N (µ, σ 2 ),
avec σ 2 connue et µ inconnue, on pourra rejeter l’hypothèse H0 : µ = µ0 au niveau α si µ0 ∈
/ Iα ,
où Iα est l’intervalle de confiance de niveau 1−α pour la moyenne µ, autrement dit: on rejettera
l’hypothèse H0 : µ = µ0 au niveau α si
x − µ0 √ > z1−α/2
σ/ n Si σ 2 est inconnue on rejettera l’hypothèse H0 : µ = µ0 au niveau α si µ0 6∈ Jα , donc si
x − µ0 √ > tn−1 (1 − α/2).
s/ n 12
Distribution normale standard Φ(z)
Φ ( z)
z
Pour z < 0 on utilise symmetrie: P (Z ≤ z) = Φ(z) = 1 − Φ(−z), z ∈ R.
z
0.0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1.0
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
2.0
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
3.0
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
0
.50000
.53983
.57926
.61791
.65542
.69146
.72575
.75804
.78814
.81594
.84134
.86433
.88493
.90320
.91924
.93319
.94520
.95543
.96407
.97128
.97725
.98214
.98610
.98928
.99180
.99379
.99534
.99653
.99744
.99813
.99865
.99903
.99931
.99952
.99966
.99977
.99984
.99989
.99993
.99995
1
.50399
.54380
.58317
.62172
.65910
.69497
.72907
.76115
.79103
.81859
.84375
.86650
.88686
.90490
.92073
.93448
.94630
.95637
.96485
.97193
.97778
.98257
.98645
.98956
.99202
.99396
.99547
.99664
.99752
.99819
.99869
.99906
.99934
.99953
.99968
.99978
.99985
.99990
.99993
.99995
2
.50798
.54776
.58706
.62552
.66276
.69847
.73237
.76424
.79389
.82121
.84614
.86864
.88877
.90658
.92220
.93574
.94738
.95728
.96562
.97257
.97831
.98300
.98679
.98983
.99224
.99413
.99560
.99674
.99760
.99825
.99874
.99910
.99936
.99955
.99969
.99978
.99985
.99990
.99993
.99996
3
.51197
.55172
.59095
.62930
.66640
.70194
.73565
.76730
.79673
.82381
.84850
.87076
.89065
.90824
.92364
.93699
.94845
.95818
.96638
.97320
.97882
.98341
.98713
.99010
.99245
.99430
.99573
.99683
.99767
.99831
.99878
.99913
.99938
.99957
.99970
.99979
.99986
.99990
.99994
.99996
4
.51595
.55567
.59483
.63307
.67003
.70540
.73891
.77035
.79955
.82639
.85083
.87286
.89251
.90988
.92507
.93822
.94950
.95907
.96712
.97381
.97932
.98382
.98745
.99036
.99266
.99446
.99585
.99693
.99774
.99836
.99882
.99916
.99940
.99958
.99971
.99980
.99986
.99991
.99994
.99996
13
5
.51994
.55962
.59871
.63683
.67364
.70884
.74215
.77337
.80234
.82894
.85314
.87493
.89435
.91149
.92647
.93943
.95053
.95994
.96784
.97441
.97982
.98422
.98778
.99061
.99286
.99461
.99598
.99702
.99781
.99841
.99886
.99918
.99942
.99960
.99972
.99981
.99987
.99991
.99994
.99996
6
.52392
.56356
.60257
.64058
.67724
.71226
.74537
.77637
.80511
.83147
.85543
.87698
.89617
.91309
.92786
.94062
.95154
.96080
.96856
.97500
.98030
.98461
.98809
.99086
.99305
.99477
.99609
.99711
.99788
.99846
.99889
.99921
.99944
.99961
.99973
.99981
.99987
.99992
.99994
.99996
7
.52790
.56750
.60642
.64431
.68082
.71566
.74857
.77935
.80785
.83398
.85769
.87900
.89796
.91466
.92922
.94179
.95254
.96164
.96926
.97558
.98077
.98500
.98840
.99111
.99324
.99492
.99621
.99720
.99795
.99851
.99893
.99924
.99946
.99962
.99974
.99982
.99988
.99992
.99995
.99996
8
.53188
.57142
.61026
.64803
.68439
.71904
.75175
.78230
.81057
.83646
.85993
.88100
.89973
.91621
.93056
.94295
.95352
.96246
.96995
.97615
.98124
.98537
.98870
.99134
.99343
.99506
.99632
.99728
.99801
.99856
.99896
.99926
.99948
.99964
.99975
.99983
.99988
.99992
.99995
.99997
9
.53586
.57535
.61409
.65173
.68793
.72240
.75490
.78524
.81327
.83891
.86214
.88298
.90147
.91774
.93189
.94408
.95449
.96327
.97062
.97670
.98169
.98574
.98899
.99158
.99361
.99520
.99643
.99736
.99807
.99861
.99900
.99929
.99950
.99965
.99976
.99983
.99989
.99992
.99995
.99997
Distribution χ2ν
p
χ2ν(p)
Des quantiles χ2ν (p) pour la distribution en khi-carré à ν degrés de liberté.
ν
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
50
60
70
.005
0
.0100
.0717
.207
.412
.676
.989
1.34
1.73
2.16
2.60
3.07
3.57
4.07
4.60
5.14
5.70
6.26
6.84
7.43
8.03
8.64
9.26
9.89
10.5
11.2
11.8
12.5
13.1
13.8
20.7
28.0
35.5
43.3
.01
.0002
.0201
.115
.297
.554
.872
1.24
1.65
2.09
2.56
3.05
3.57
4.11
4.66
5.23
5.81
6.41
7.01
7.63
8.26
8.90
9.54
10.2
10.9
11.5
12.2
12.9
13.6
14.3
15.0
22.2
29.7
37.5
45.4
.025
.010
.0506
.216
.484
.831
1.24
1.69
2.18
2.70
3.25
3.82
4.40
5.01
5.63
6.26
6.91
7.56
8.23
8.91
9.59
10.3
11.0
11.7
12.4
13.1
13.8
14.6
15.3
16.0
16.8
24.4
32.4
40.5
48.8
.05
.0039
.103
.352
.711
1.15
1.64
2.17
2.73
3.33
3.94
4.57
5.23
5.89
6.57
7.26
7.96
8.67
9.39
10.1
10.9
11.6
12.3
13.1
13.8
14.6
15.4
16.2
16.9
17.7
18.5
26.5
34.8
43.2
51.7
.10
.0158
.211
.584
1.06
1.61
2.20
2.83
3.49
4.17
4.87
5.58
6.30
7.04
7.79
8.55
9.31
10.1
10.9
11.7
12.4
13.2
14.0
14.8
15.7
16.5
17.3
18.1
18.9
19.8
20.6
29.1
37.7
46.5
55.3
.25
.102
.575
1.21
1.92
2.67
3.45
4.25
5.07
5.90
6.74
7.58
8.44
9.30
10.2
11.0
11.9
12.8
13.7
14.6
15.5
16.3
17.2
18.1
19.0
19.9
20.8
21.7
22.7
23.6
24.5
33.7
42.9
52.3
61.7
.50
.455
1.39
2.37
3.36
4.35
5.35
6.35
7.34
8.34
9.34
10.3
11.3
12.3
13.3
14.3
15.3
16.3
17.3
18.3
19.3
20.3
21.3
22.3
23.3
24.3
25.3
26.3
27.3
28.3
29.3
39.3
49.3
59.3
69.3
14
.75
1.32
2.77
4.11
5.39
6.63
7.84
9.04
10.2
11.4
12.5
13.7
14.8
16.0
17.1
18.2
19.4
20.5
21.6
22.7
23.8
24.9
26.0
27.1
28.2
29.3
30.4
31.5
32.6
33.7
34.8
45.6
56.3
67.0
77.6
.90
2.71
4.61
6.25
7.78
9.24
10.6
12.0
13.4
14.7
16.0
17.3
18.5
19.8
21.1
22.3
23.5
24.8
26.0
27.2
28.4
29.6
30.8
32.0
33.2
34.4
35.6
36.7
37.9
39.1
40.3
51.8
63.2
74.4
85.5
.95
3.84
5.99
7.81
9.49
11.1
12.6
14.1
15.5
16.9
18.3
19.7
21.0
22.4
23.7
25.0
26.3
27.6
28.9
30.1
31.4
32.7
33.9
35.2
36.4
37.7
38.9
40.1
41.3
42.6
43.8
55.8
67.5
79.1
90.5
.975
5.02
7.38
9.35
11.1
12.8
14.4
16.0
17.5
19.0
20.5
21.9
23.3
24.7
26.1
27.5
28.8
30.2
31.5
32.9
34.2
35.5
36.8
38.1
39.4
40.6
41.9
43.2
44.5
45.7
47.0
59.3
71.4
83.3
95.0
.99
6.63
9.21
11.3
13.3
15.1
16.8
18.5
20.1
21.7
23.2
24.7
26.2
27.7
29.1
30.6
32.0
33.4
34.8
36.2
37.6
38.9
40.3
41.6
43.0
44.3
45.6
47.0
48.3
49.6
50.9
63.7
76.2
88.4
100.
.995
7.88
10.6
12.8
14.9
16.7
18.5
20.3
22.0
23.6
25.2
26.8
28.3
29.8
31.3
32.8
34.3
35.7
37.2
38.6
40.0
41.4
42.8
44.2
45.6
46.9
48.3
49.6
51.0
52.3
53.7
66.8
79.5
92.0
104.
.999
10.8
13.8
16.3
18.5
20.5
22.5
24.3
26.1
27.9
29.6
31.3
32.9
34.5
36.1
37.7
39.3
40.8
42.3
43.8
45.3
46.8
48.3
49.7
51.2
52.6
54.1
55.5
56.9
58.3
59.7
73.4
86.7
99.6
112.
Distribution tν de Student
p
tν(p)
Des quantiles tν (p) pour la distribution t de Student à ν degrés de liberté.
Pour p < 0 on utilise la symmétrie: tν (p) = −tν (1 − p).
ν
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
50
100
∞
.75
1.000
.8165
.7649
.7407
.7267
.7176
.7111
.7064
.7027
.6998
.6974
.6955
.6938
.6924
.6912
.6901
.6892
.6884
.6876
.6870
.6864
.6858
.6853
.6848
.6844
.6840
.6837
.6834
.6830
.6828
.6807
.6794
.6770
.6745
.9
3.078
1.886
1.638
1.533
1.476
1.440
1.415
1.397
1.383
1.372
1.363
1.356
1.350
1.345
1.341
1.337
1.333
1.330
1.328
1.325
1.323
1.321
1.319
1.318
1.316
1.315
1.314
1.313
1.311
1.310
1.303
1.299
1.290
1.282
.95
6.314
2.920
2.353
2.132
2.015
1.943
1.895
1.860
1.833
1.812
1.796
1.782
1.771
1.761
1.753
1.746
1.740
1.734
1.729
1.725
1.721
1.717
1.714
1.711
1.708
1.706
1.703
1.701
1.699
1.697
1.684
1.676
1.660
1.645
15
.975
12.71
4.303
3.182
2.776
2.571
2.447
2.365
2.306
2.262
2.228
2.201
2.179
2.160
2.145
2.131
2.120
2.110
2.101
2.093
2.086
2.080
2.074
2.069
2.064
2.060
2.056
2.052
2.048
2.045
2.042
2.021
2.009
1.984
1.960
.99
31.82
6.965
4.541
3.747
3.365
3.143
2.998
2.896
2.821
2.764
2.718
2.681
2.650
2.624
2.602
2.583
2.567
2.552
2.539
2.528
2.518
2.508
2.500
2.492
2.485
2.479
2.473
2.467
2.462
2.457
2.423
2.403
2.364
2.326
.995
63.66
9.925
5.841
4.604
4.032
3.707
3.499
3.355
3.250
3.169
3.106
3.055
3.012
2.977
2.947
2.921
2.898
2.878
2.861
2.845
2.831
2.819
2.807
2.797
2.787
2.779
2.771
2.763
2.756
2.750
2.704
2.678
2.626
2.576