Semaine 2: Estimation - Eléments de corrigé 1 Loi de Pareto 2

Transcription

M1- Mathématiques Appliquées - ENSTA / Paris-Sud
Modélisation statistique (MAP-STA1), 2015-2016
[email protected]
Semaine 2: Estimation - Eléments de corrigé
1
Loi de Pareto
Les intervalles de temps entre deux paquets de signaux dans un canal internet peuvent être modélisés par une loi de Pareto de paramètre θ > 2, dont la densité est donnée par
fθ (y) = θy −(θ+1) 1I[1,∞] (y).
La borne inférieure 1 du support de la densité représente l'unité de temps minimale entre deux
paquets. Le paramètre θ donne l'intensité d'utilisation du canal: plus θ est grand, plus le temps
entre deux paquets est petit.
1. Montrer que fθ est une densité.
Calculer l'espérance du temps entre deux paquets de signaux.
Réponse: On vérie que R1+∞ θy−(θ+1) dy = 1 donc fθ est une densité. IE(Y ) = θ/(θ − 1)
2. Soit (Y1 , . . . , Yn ) un échantillon i.i.d. généré selon la loi de densité fθ . Donner, en la justiant,
une statistique exhaustive pour estimer
θ.
Réponse: On a log fθ (Y ) = (−θ + 1) Pi log(Yi) + n log(θ) donc S = Pi log Yi est exhaustive
par le théorème de factorisation.
3. Calculer l'estimateur du maximum de vraisemblance θb de θ.
Réponse: L'EMV est solution des équations de vraisemblance d'où θb = n/ Pi log Yi
4. Calculer l'espérance de 1/θb; en déduire que l'estimateur est consistant.
Réponse:
b = IE(log(Yi )) = 1/θ en intégrant par parties. Par LGN P log(Yi )/n tend ps
On a IE(1/θ)
i
vers 1/θ, donc θb tend ps vers θ.
5. Calculer l'information de Fisher des observations et déterminer la loi de θb.√
Réponse: L'information de Fisher vaut In(θ) = n/θ2. On en déduit que n(θb − θ)/θ tend
en loi vers une gaussienne centrée réduite.
2
Modèle multiplicatif
Soit ε1 , . . . , εn un n-échantillon de loi normale N (0, σ 2 ). On observe Yi = a(1 + εi ), i = 1, . . . , n.
1. Déterminer l'estimateur du maximum de vraisemblance ba de a. Quelles sont ses propriétés?
Réponse
: On considère σ connu. L'échantillon Y = (Y1 , . . . , Yn ) est iid et Yi ∼ N (a, var =
a2 σ 2 ). La vraisemblance s'écrit
log L(Y ; a) = −
n
n
1 X
log(2πa2 σ 2 ) − 2 2
(Yi − a)2
2
2a σ i=1
Le modèle est identiable, mais n'est pas dérivable en a. La dérivée de la log-vraisemblance
s'écrit sur IR∗
∂
n
1 X
1 X
log L(Y ; a) = − + 3 2
(Yi − a)2 + 2 2
(Yi − a)
∂a
a a σ i
a σ i
Avec Ȳ la moyenne empirique et Sn2 =
P
i
Yi2 /n , on a
n
∂
log L(Y ; a) = − 3 2 (a2 σ 2 + aȲ − Sn2 )
∂a
a σ
1
[email protected]
Il y a deux racines (de signe opposé) du polynôme en a soit
b
a1 =
−Ȳ −
p
p
Ȳ 2 + 4σ 2 Sn2
−Ȳ + Ȳ 2 + 4σ 2 Sn2
; b
a2 =
2σ 2
2σ 2
Vérication du signe de la dérivée seconde de la log-vraisemblance en ba:
∂2
log L(Y ; a)
∂a2
3n
n
(a2 σ 2 + aȲ − Sn2 ) − 3 2 (2aσ 2 + Ȳ )
a4 σ 2
a σ
n
(a2 σ 2 + 2aȲ − 3Sn2 )
4
a σ2
=
=
Le hessien est négatif localement dans un voisinage de ba1 et dans un voisinage de ba2 : c'est
un cas où la vraisemblance comporte plusieurs maxima, mais il n'y a qu'un seul global: c'est
b
a1 si Ȳ < 0 et b
a2 si Ȳ > 0. Le hessien au maximum vaut −n(2b
a2 σ 2 + Ȳ )/(b
a3 σ 2 ) < 0.
L'estimateur est asymptotiquement sans biais puisque
p
lim(IE(b
a)) = ( a2 (2σ 2 + 1)2 − a)/(2σ 2 ) = a,
consistant, asymptotiquement UVMB. En particulier, comme IE(Yi ) = a et IE(Yi2 ) = a2 (1 +
σ 2 ), on a
In (a) = −IE
et
√
∂2
log L(Y ; a)
∂a2
L
n(b
a − a) −→ N (0,
= n(2σ 2 + 1)/(σ 2 a2 )
σ 2 a2
).
2σ 2 + 1
Si σ 2 est inconnu, il faut dériver la vraisemblance par rapport à σ 2 , d'où la deuxième équation
à satisfaire
X
σ2 =
1
2a2
(Yi − a)2
i
Il n'y a pas de solution explicite, nécessité d'utiliser un schéma numérique, et il faut faire
attention à l'initialisation pour ne pas tomber sur le maximum local.
2. Déterminer un estimateur de a par la méthode des moments. Est-il sans biais? consistant?
ecace?
Réponse: a = E(Yt), donc Ȳ est l'estimateur empirique de l'espérance,
sans biais IE(Ȳ ) = a
et consistant. L'estimateur n'est pas ecace: par exemple, cas où σ 2 est connu.: var(X̄) =
a2 σ 2 /n > 1/In (a).
3. Comment estimer la variance de ce modèle? P
Réponse: Par la méthode des moments:
Vn = i (Yi − Ȳ )2 /(n − 1) est un estimateur sans
2 2
biais et consistant de var(Y ) = σ a .
Par la méthode du maximum de vraisemblance, var(Y ) = a2 σ 2 = h(a, σ 2 ) et on utilise la
delta-méthode avec ∆h(a, σ 2 ) = (2aσ 2 , a) soit
h(b
a, σ
b2 ) − h(a, σ 2 )
p
3
∆h(a, σ 2 )2 In (a, σ 2 )−1 ∆h(a, σ 2 )0
L
−→ N (0, 1).
Données de survie
La gure présente des données données de durées de vies y de 32 composants de moteurs en fonction
de leur niveau de corrosion x.
2
[email protected]
1. On choisit de décrire la loi des temps de survie par une loi exponentielle dont l'espérance est
fonction de l'indice de corrosion xi :
E(Yi ) = exp(β1 + β2 xi ), i = 1, . . . , 32.
Motiver le choix de cette représentation.
Réponse: la décroissance de l'espérance de la durée en fonction de la corrosion semble pas
linéaire; de plus, la variance n'est pas constante et dépend de l'espérance. C'est une loi
classique pour l'étude des durées de vie.
2. Écrire la vraisemblance des observations.
Réponse: la densité de la loi exponentielle s'écrit, pour tout yi ≥ 0, f (yi) = µ1i exp(− µyii ),
avec µi = E(Yi ) = exp(β1 + β2 xi ). On en déduit la log-vraisemblance des observations
log L(Y, β1 , β2 ) = −
X
log µi −
X
Yi /µi = −nβ1 − β2
i
X
i
xi −
X
Yi exp(−β1 − β2 xi )
i
3. Calculer les équations normales dénissant l'estimateur du maximum de vraisemblance de
β = (β1 , β2 ) . Comment les résoudre?
Réponse:
X
∂
log L(Y, β1 , β2 ) = −n +
Yi exp(−β1 − β2 xi )
∂β1
i
X
X
∂
log L(Y, β1 , β2 ) = −
xi +
xi Yi exp(−β1 − β2 xi )
∂β2
i
i
système non linéaire à résoudre par schéma numérique
4. Calculer l'information de Fisher de l'échantillon.
Réponse:
∂2
log L(Y, β1 , β2 ) = −
Hn =
∂β 2
P
P
P i Yi exp(−β1 − β2 xi ) P i x2i Yi exp(−β1 − β2 xi )
i xi Yi exp(−β1 − β2 xi )
i xi Yi exp(−β1 − β2 xi )
3
[email protected]
et
In (β) = IE(−Hn ) =
Pn
i
xi
P
P i x2i
i xi
5. Est-on dans le cas standard d'estimateur du maximum de vraisemblance?
Réponse: les observations sont indépendantes, mais pas identiquement distribuées. On n'est
plus dans le cadre exposé en cours. Mais on montre que dans le cadre de ce modèle (appelé
modèle √
linéaire généralisé), et sous de bonnes conditions d'expérience xi , l'EMV converge à
vitesse n et a un comportement asymptotiquement normal.
4
Modèle de translation
Soient (Y1 , . . . , Yn ) des variables indépendantes de densité f (. − Rθ) où f est une fonction connue
x
de classe C1 strictement positive. On note F la fonction F (x) = ∞ f (u)du. En fait, on n'observe
pas (Y1 , . . . , Yn ), mais (X1 , . . . , Xn ) avec Xi = (δi , γi , 1 − δi − γi ) où δi = 1IXi <a et γi = 1Ia≤<Xi ≤b .
Soit n0 =
P
i δi
et n1 =
P
i
γi .
1. Décrire la loi de la variable Xi
Réponse: Xi est une variable discrète Rquia prend ses valeursRdans
X = {(1, 0, 0), (0, 1, 0), (0, 0, 1)}
a−θ
avec probabilité IP(Xi = (1, 0, 0)) = −∞ f (u − θ)du = −∞ f (t)dt = F (a − θ), IP(Xi =
(0, 1, 0)) = F (b − θ) − F (a − θ) et IP(Xi = (0, 0, 1)) = (1 − F (b − θ))
2. Calculer la vraisemblance du modèle
Réponse: Les observations sont iid, on en déduit
L(X, θ) =
n
Y
F (a − θ)Xi (1) (F (b − θ) − F (a − θ))Xi (2) (1 − F (b − θ))Xi (3)
i=1
soit, en notant Nj =
Pn
i=1
Xj (i)
∀x ∈ X n , L(x, θ) = F (a − θ)N1 (F (b − θ) − F (a − θ))N2 (1 − F (b − θ))N3
3. Calculer l'information de Fisher.
Réponse: L'échantillon est iid, donc In(θ) = nI(θ), où In(θ) est l'information de Fisher de
l'échantillon X = (X1 , . . . , Xn ) et I1 (θ) l'information de Fisher d'une composante Xj ; On a:
f (a − θ)
f (b − θ) − f (a − θ)
f (b − θ)
∂
log L(X1 , θ) = −X1 (1)
− X1 (2)
− X1 (3)
∂θ
F (a − θ)
F (b − θ) − F (a − θ)
1 − F (b − θ)
et
I1 (θ) = IE((
4. Soit Sa =
P
f (a − θ)2
(f (b − θ) − f (a − θ))2
f (b − θ)2
∂
log L(X1 , θ))2 ) =
+
+
∂θ
F (a − θ)
F (b − θ) − F (a − θ)
1 − F (b − θ)
i δi .
Montrer que Sn suit une loi binomiale de paramètres à préciser.
5. On propose d'estimer θ par l'estimateur θbn = a − F −1 (Sa /n). Montrer que θbn est un
√
estimateur consistant de θ et déterminer la loi asymptotique de n(θbn − θ). Cet estimateur
est-il asymptotiquement ecace?
Réponse: Sa est la somme de n variables indépendantes de loi de Bernoulli B(1, F (a − θ))
donc Sa ∼ B(1, F (a − θ))
4
[email protected]
D'après le TLC,
√
n
Sa
L
− F (a − θ) −→ N (0, σ 2 = F (a − θ)(1 − F (a − θ)))
n
La delta-méthode entraîne
√
L
−1 Sa
n F ( ) − (a − θ) −→ N (0, σ 2 [∂(F −1 )(F (a − θ)]2 )
n
soit
√
L
n(θbn − θ) −→ N
0,
F (a − θ)(1 − F (a − θ))
f (a − θ)2
On compare la variance limite avec I1 (θ). Soit A = F (a − θ), B = F (b − θ), α = f (a − θ),
β = f (b − θ).
=
=
=
I1 (θ) − f (a − θ)2 /[F (a − θ)(1 − F (a − θ))]
α2
α2
(β − α)2
β2
−
+
+
A
A(1 − A)
B−A
1−B
2
2
(β − α) (1 − A)(1 − B) + β (B − A)(1 − A) − α2 (B − A)(1 − B)
(1 − A)(B − A)(1 − B)
[β(1 − A) − α(1 − B)]2
(1 − A)(B − A)(1 − B)
Donc θbn = a − F −1 (Sa /n) est asymptotiquement ecace si et seulement si
∀θ ∈ IR,
f (b − θ)
f (a − θ)
=
1 − F (b − θ)
1 − F (a − θ)
d'où par intégration, cela implique qu'il existe une constante C telle que
∀θ ∈ IR, log(1 − F (b − θ)) = log(1 − F (a − θ)) + C
d'où
∀θ ∈ IR, 1 − F (b − θ) = eC (1 − F (a − θ))
Faire tendre θ vers −∞ amène à eC = 1, soit
∀θ ∈ IR, F (b − θ) = F (a − θ)
ce qui est impossible si a 6= b. Donc θbn est ecace si et seulement a = b.
6. Construire un estimateur asymptotiquement ecace de θ
Réponse: L'estimateur du maximum de vraisemblance est asymtptiquement ecace. Il
faut vérier les hypothèses de régularité. On a un espace d'observations discret, toutes
les hypothèses nécessaires pour intervertir intégrale et dérivation sont satisfaites. De plus
l'information de Fisher est inversible (puisque f>0), et la Fθ vue comme fonction de θ est de
classe C 2 ; On utilise un schéma numérique de Newton pour le calculer.
5
Loi uniforme
Soit X1 , . . . , Xn un n-échantillon de loi uniforme U[0; θ],θ > 0.
1. Montrer que le modèle n'est pas régulier.
Réponse: l'ensemble des résultats possibles dépend du paramètre à estimer θ.
5
[email protected]
2. Proposer un estimateur de θ par la méthode des moments, et étudier ses propriétés
Réponse: On a IE(Xi) = θ/2, l'estimateur de moments est donc Tn = 2X̄ . C'est un
estimateur sans biais et consistant, de variance var(Tn ) = 4 var(Xi )/n = θ2 /(3n)
3. Calculer l'estimateur du maximum de vraisemblance, et montrer que sa densité est
hθ (t) =
n n−1
t
1I[0;θ] (t).
θn
En déduire son espérance, sa variance.
Réponse: La vraisemblance des observations s'écrit L(X; θ) = θ−n1I0≤mini xi≤maxi xi Elle
est nulle pour θ < maxi xi , puis décroissante quand θ augmente. Elle est donc maximum
pour θb = maxi xi .
En utilisant l'indépendance des observations Xi de loi F :
IP(θb ≤ x) = IP(∩ni=1 (Xi ≤ x) =
n
Y
IP(Xi ≤ x) = F n (x).
i=1
La densité de θb est donc, par dérivation en x
hθ (x) = nF n−1 (x)f (x) =
D'où
b = nθ−n
IE(θ)
Z
θ
xn dx =
0
n n−1
x
1I[0;θ] (t)
θn
n+1
nθ2
b =
θ; var(θ)
n
(n + 1)2 (n + 2)
b var(Tn ) → 0, donc θb est inniment plus ecace que Tn
Rem: var(θ)/
4. Montrer que n(θb − θ) converge en loi vers une loi exponentielle de paramètre à préciser.
L
Réponse: n(θb − θ) −→
E(1/θ), √
cf Delmas Exemple VIII.43. La convergence est en n, beaucoup plus rapide que la vitesse n de l'EM dans les cas réguliers.
6

Semaine 2: Estimation - Eléments de corrigé 1 Loi de Pareto 2

Transcription

Documents pareils

EMV de la loi uniforme

Rapide utilisation de visualroute

Régression non paramétrique sur l`hyper

Examen PT 2009

Probabilités et statistique II

DM1

TD1 : méthode des moments et maximum de vraisemblance

UNIVERSITÉ DE BRETAGNE-SUD

Suivi de production

d`où log tang-C