MAP-STA1

Modélisation
Statistique
(MAP-STA1)
Modélisation Statistique (MAP-STA1)
M1-Mathématiques Appliquées
1ère partie: Modélisation statistique
Cours 2: Estimation optimale
Christine Keribin
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
Christine Keribin
1 Laboratoire
de Mathématiques
Université Paris-Sud
2016-2017
1/33
Outline
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et efficacité
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
2/33
Outline
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et efficacité
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
3/33
Estimation ponctuelle
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Soit θ ∈ Θ ∈ IR le paramètre d’une loi IPθ ∈ P et ν(θ) une
fonction (déterministe) de θ à inférer à partir d’un
n-échantillon X = (X1 , . . . , Xn ) issu de cette loi
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
Definition
Un estimateur de ν(θ) est une variable aléatoire Tn , fonction
de l’échantillon, à valeurs dans ν(Θ), indépendante de
IPθ ∈ P
Tn = t(X1 , . . . , Xn ).
On prend souvent la notation Tn = νbn ou Tn = νb .
4/33
Comparer des estimateurs
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
I
Performance en moyenne
I
Performance asymptotique
I
Utilisation de l’information disponible
5/33
Performance en moyenne
Soit νbn un estimateur de ν(θ), fonction du paramètre d’une
loi IPθ :
I
On appelle biais de νbn pour ν(θ) la valeur
bθ (b
νn ) = IEθ (b
νn ) − ν(θ)
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
Si bθ (b
νn ) = 0 pour tout θ ∈ Θ, Tn est sans biais pour
ν(θ)
I
On appelle variance de νbn la valeur
Varθ (b
νn ) = IEθ (b
νn − IEθ (b
νn ))2
I
On appelle risque quadratique de νbn la valeur
Rθ (b
νn ) = IEθ (b
νn − ν(θ))2
6/33
Outline
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et efficacité
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
7/33
Décomposition du risque quadratique
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Rθ (b
νn ) = Varθ (b
νn ) + (bθ (b
νn ))2
Définition
Un estimateur δ1 de ν(θ) domine l’estimateur δ2 si, pour
tout θ ∈ Θ,
Rθ (δ1 ) ≤ Rθ (δ2 ),
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
cette inégalité étant stricte pour au moins une valeur de θ.
Un estimateur est admissible s’il n’existe aucun estimateur le
dominant.
I
L’estimateur non biaisé de la variance est-il admissible ?
I
Soit θ0 ∈ Θ. L’estimateur constant νbn = θ0 est-il
admissible ?
Il n’existe en général pas d’estimateur dominant tous les
autres ,→ Recherche d’estimateurs UVMB
8/33
Performance asymptotique
Soit νbn un estimateur de ν(θ), défini à partir d’une
observation de loi IPθ :
I
νbn est asymptotiquement sans biais pour ν(θ) si, pour
tout θ ∈ Θ
lim bθ (b
νn ) = 0
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
n→∞
I
νbn est consistant ssi νbn tend en probabilité vers ν(θ)
quand n → ∞ :
∀θ ∈ Θ, ∀, lim IPθ (|b
νn − ν(θ)| > ) = 0
n→∞
I
νb est fortement consistant ssi ∀θ ∈ Θ,
IPθ ( lim νbn = ν(θ) ) = 1
n→∞
9/33
Modélisation
Statistique
(MAP-STA1)
Loi de l’estimateur
Christine Keribin
Soit νbn un estimateur consistant de ν(θ) ∈ IRp et Vn sa
variance. L’estimateur est asymptotiquement normal si la loi
limite de l’estimateur renormalisé est une loi gaussienne
−1/2
Vn
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
L
(b
νn − ν(θ)) −→ N (0, Idp )
I
Un estimateur est d’autant meilleur que sa vitesse de
convergence est rapide et sa loi limite concentrée autour
de 0.
I
Quand Vn = O(1/n), on dit que la vitesse de
√
l’estimateur est en n
10/33
Outline
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et efficacité
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
11/33
Exhaustivité
Comment construire un bon résumé de l’échantillon pour
estimer un paramètre ?
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Definition
On dit que T est une statistique exhaustive pour
θ ∈ Θ ⊂ IRp si la loi de X = (X1 , . . . , Xn ) conditionnellement
à T ne dépend pas de θ
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
Théorème (de factorisation (Neyman-Fisher))
La statistique T = t(X1 , . . . , Xn ) est exhaustive pour θ s’il
existe deux applications mesurables positives g et h telles
que la densité de l’échantillon puisse se factoriser sous la
forme
f (x1 , . . . , xn ; θ) = h(x1 , . . . , xn )g (t(x); θ)
P
Exemple : i Xi est exhaustive pour l’estimation du
paramètre de proportion d’une loi de Bernoulli
12/33
Exhaustivité (suite)
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Propriété
Soit Tn est une statistique exhaustive et soit Sn = s(X ) une
statistique telle que Tn = u(Sn ), alors Sn est exhaustive :
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
f (x; θ) = h(x)g (t(x); θ) = h(x)g (u(s(x)); θ) = h(x)g̃ (s(x); θ)
Propriété
Si Tn est une statistique exhaustive et Sn = r (Tn ) où r est
une fonction bijective alors Sn est exhaustive
13/33
Exhaustivité (suite)
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
I
La notion d’exhaustivité n’implique pas forcément une
réduction de dimension : l’échantillon X est exhaustif...
I
Mais c’est une réduction suffisante pour ne pas perdre
d’information : statistique suffisante
I
Jusqu’à quel point peut-on réduire l’échantillon pour ne
pas perdre d’information sur l’estimation du paramètre ?
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
14/33
Exhaustivité (suite)
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Définition
On dit que la statistique Tn∗ est exhaustive minimale si elle
est exhaustive, et si pour toute statistique exhaustive Tn , on
peut trouver une fonction u telle que Tn∗ = u(Tn )
I
Tout estimateur pertinent est fonction d’une statistique
exhaustive minimale
I
si Θ ⊂ IRK , une statistique exhaustive est en règle
générale minimale (mais il n’existe pas forcément de
stat exhaustive à valeur dans IRk pour estimer θ ∈ IRk .)
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
15/33
Cas des familles exponentielles
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Cas θ unidimensionnel
Définition
Soit une famille paramétrique de lois {IPθ } d’un modèle
dominé admettant une densité f (x; θ), θ ∈ IR. On dit que
{IPθ } appartient à une famille (ou classe) exponentielle de
lois si sa densité peut s’écrire sous la forme
f (x; θ) = exp a(x)α(θ) + β(θ) + c(x)
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
pour tout x ∈ IR
Exemples : E(λ), B(n, π), P(λ)
Contre-ex : U[0, θ]
16/33
Cas des familles exponentielles
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Cas θ multidimensionnel
Estim. optimale
Définition
Soit une famille paramétrique de lois {IPθ } d’un modèle
dominé admettant une densité f (x; θ), θ ∈ IRp . On dit que
{IPθ } appartient à une famille (ou classe) exponentielle de
lois si sa densité peut s’écrire sous la forme
f (x; θ) = exp
p
X
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
ak (x)αk (θ) + β(θ) + c(x)
k=1
pour tout x ∈ IR
Exemple : N (µ, σ 2 )
Contre-ex : W(α, λ)
17/33
Stat. exhaustive minimale dans les familles exp.
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Théorème (Darmois)
Soit un échantillon de loi IPθ , Θ ∈ IRp appartenant à une
famille exponentielle. Alors,
I
si les fonctions (αk (θ)) sont lin. indep., la statistique
!
n
n
X
X
a1 (Xi ), . . . ,
ap (Xi )
i=1
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
i=1
est exhaustive minimale pour le paramètre inconnu.
I
De plus, une famille de densités régulières ne peut avoir
de statistique exhaustive minimale pour son paramètre
inconnu que si elle appartient à la famille exponentielle
Mais il existe des statistiques exhaustives dans des familles
de lois moins régulières, par ex U[0, θ]
18/33
Modélisation
Statistique
(MAP-STA1)
Amélioration d’un estimateur
Christine Keribin
Théorème (Rao-Blackwell)
Soit U une statistique exhaustive pour θ et T un estimateur
quelconque de θ. Alors, T ∗ = IEθ (T |U) est un estimateur de
même biais que T et qui domine T , ie, pour tout θ ∈ Θ
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
R(T ∗ ; θ) ≤ R(T ; θ)
I
T ∗ ne dépend pas de θ (exhaustivité de U) ,→ T ∗ est
un estimateur de θ
I
même biais : IEθ (T ∗ ) = IEθ [IEθ (T |U)] = IEθ (T )
I
T ∗ a une variance inférieure
Var(T ) = IE(Var(T |U)) + Var(IE(T |U))
| {z }
| {z }
≥0
T∗
19/33
Amélioration d’un estimateur
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
I
On peut améliorer un estimateur par la méthode de
Rao-Blackwell
I
Exemple : Echantillon iid Xi ∼ B(π), on améliore
T = X1 en T ∗ = IE(X1 |X̄ ) = X̄
I
Résultat valide pour l’estimation d’une fonction ν(θ)
I
Si T est sans biais, IE(T |U) est également sans biais
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
20/33
Outline
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et efficacité
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
21/33
Estimateur UVMB
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Uniformément de Variance Minimum parmi les estimateurs
sans Biais
Définition
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
L’estimateur T ∗ est UVMB pour θ s’il est sans biais pour θ
et si pour tout autre estimateur T sans biais de θ, on a
Varθ (T ∗ ) ≤ Varθ (T ), pour tout θ ∈ Θ
Note : En anglais, on dit UMVUE (Uniformly Minimum
Variance Unbaised Estimator)
22/33
Recherche d’estimateur UVMB
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Théorème
S’il existe un estimateur de θ sans biais et de variance
minimale, il est unique presque sûrement
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
Théorème
S’il existe une statistique exhaustive U, alors l’estimateur
UMVB ne dépend que de U (et il est unique) T ∗ = h(U)
Si on améliore deux estimateurs sans biais par la méthode de
Rao-Blackwell, y en a-t-il un meilleur ?
23/33
Modélisation
Statistique
(MAP-STA1)
Complétude
Définition
Christine Keribin
La statistique U est complète (ou totale) pour les lois de
probabilités f (x; θ), si pour toute fonction h tq h(U) soit
intégrable,
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
IEθ [h(U)] = 0; ∀θ ⇒ h = 0 p.s.
Exemple : la statistique exhaustive des familles
exponentielles est complète
Theorem (Lehmann-Scheffé)
Si T ∗ est un estimateur sans biais de θ et dépendant d’une
statistique exhaustive et complète, alors T ∗ est l’unique
estimateur UVMB de θ.
En particulier, si on dispose déjà d’un estimateur T sans
biais fonction d’une statistique exhaustive et complète, il est
UVMB.
24/33
Modélisation
Statistique
(MAP-STA1)
Conclusion
I
Critère risque quadratique :
I
I
I
I
on peut trouver un estimateur optimal UVMB si le
modèle possède une stat exhaustive complète et qu’on
dispose d’un estimateur sans biais.
Mais il existe des estimateurs de risque inférieur à un
celui de l’estimateur UVMB
Y a-t-il un moyen de déterminer une borne inférieure
non triviale à l’ensemble des variances des estimateurs
sans biais ?
Christine Keribin
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
Autres recherches :
I
I
théorie de la décision : minimiser le risque bayésien
Z
R(T , θ)π(θ)dθ
théorie minimax : chercher T ∗ qui minimise en T
max R(T , θ)
θ
25/33
Outline
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et efficacité
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
26/33
Modélisation
Statistique
(MAP-STA1)
Modèle régulier
Définition
Christine Keribin
Un modèle paramétrique (X , A, IPθ ), θ ∈ Θ ⊂ R p , et tel que
IPθ admette une densité f (.; θ) par rapport à une mesure
dominante ν est régulier si
I
Le support des lois f (.; θ) est indépendant de θ ∈ Θ
I
θ → log f (x; θ) est deux fois continûment différentiable
sur Θ, pour tout x du support
R
Pour tout A ∈ A, l’intégrale A f (x; θ)dν(x) est au
moins deux fois dérivable sous le signe d’intégration et
on peut permuter intégration et dérivation
I
∂
∂θj
Z
∂2
∂θj ∂θk
Z
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
∂
f (x; θ)dν(x), j = 1, . . . , p
∂θj
f (x; θ)dν(x) =
A
A
Z
Z
f (x; θ)dν(x) =
A
Estim. optimale
A
∂2
f (x; θ)dν(x), j, k = 1, . . . , p
∂θj ∂θk
Exemple : modèle de Bernoulli, Gaussien ; Contre-ex : U[0, θ]
27/33
Score Information de Fisher
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Définition
Dans un modèle paramétrique régulier, on appelle
I
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
Score (de Fisher) le vecteur aléatoire défini par
Un (X ; θ) = ∇θ log f (X ; θ)
I
Information de Fisher au point θ la matrice déterministe
I (θ) = IEθ [∇θ log f (X ; θ)∇θ log f (θ, X )0 ]
28/33
Propriétés dans un modèle régulier
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
I
Le score est un vecteur aléatoire centré et additif
I
La matrice d’information de Fisher est additive,
symétrique, définie positive et vérifie
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
In (θ) = IEθ [∇θ log f (X ; θ)∇θ log f (θ, X )0 ]
= −IEθ [∇2θ log f (θ, X )]
Exemple : modèle de Bernoulli, Gaussien
29/33
Interprétation de l’information de Fisher
Calibre l’information apportée par chaque observation sur
l’estimation du paramètre du modèle
I Si X = (X1 , . . . , Xn ) est un n-échantillon iid
d’information In (θ), alors
In (θ) = nI1 (θ)
I
I
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
L’information de Fisher est liée à la précision avec
laquelle le paramètre est estimé.
L’information IT (θ) portée par une statistique
quelconque T est inférieure ou égale à celle apportée
par l’échantillon X = (X1 , . . . , Xn )
IT (θ) ≤ In (θ)
I
On ne perd pas d’information en prenant une statistique
exhaustive. La réciproque est vraie si le domaine de X
ne dépend pas de θ
30/33
Borne Fréchet-Darmois-Cramér-Rao
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Théorème (FDCR)
Si le modèle est régulier, on a, pour tout estimateur sans
biais Tn de θ,
Var(Tn ) ≥ In (θ)−1
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
et pour tout estimateur Tn sans biais de h(θ) avec h
fonction dérivable sur Θ
Var(Tn ) ≥ ∂θ h(θ)In (θ)−1 [∂θ h(θ)]0
où ∂θ h(θ) = (∂h(θ)/∂θ1 , . . . , ∂h(θ)/∂θp )
La limite inférieure de la variance des estimateurs sans biais
s’appelle borne de Cramér-Rao
31/33
Modélisation
Statistique
(MAP-STA1)
Efficacité
Définition
Christine Keribin
Un estimateur Tn est efficace pour h(θ) s’il atteint la borne
de Cramér-Rao, ie
Var(Tn ) = ∂θ h(θ)In (θ)−1 [∂θ h(θ)]0
Estim. optimale
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
et il est UVMB, donc optimal parmi les estimateurs sans
biais.
Théorème
La borne de Cramér-Rao n’est atteinte que si
(a) la loi des observations est d’une famille exponentielle
(b) et pour l’estimation d’une fonction de reparamétrisation
particulière de θ
P
i a(Xi )
h(θ) = IEθ
.
n
32/33
Take home messages
Modélisation
Statistique
(MAP-STA1)
Christine Keribin
Estim. optimale
I
Il n’y a pas en général d’estimateur uniformément
meilleur que les autres
I
Optimalité au sens UVMB : construction à partir d’une
statistique exhaustive et complète U et d’une
statistique sans biais T : IE(T |U)
Efficacité : la borne de CR est atteinte, donc optimal
I
I
Estimateur
Admissibilité
Exhaustivité
UVMB
Information et
efficacité
mais cela n’arrive que pour une certaine fonction du
paramètre et que dans la famille exponentielle
I
Il existe des estimateurs optimaux non efficaces
I
Il existe des estimateurs de risque quadratique inférieur
à celui d’un estimateur optimal
33/33