UNIVERSITÉ DE BRETAGNE-SUD

U NIVERSITÉ DE B RETAGNE -S UD
Master 1 MSAD : Statistique Bayésienne
Examen Terminal du 8 janvier 2014 – Durée : 2 h
Sans document
Exercice 1 – On considère un estimateur de Bayes δ0 ( X ), d’un paramètre θ , associé à un coût
quadratique et à une loi a priori π.
Montrer que si le risque de Bayes r (π, δ0 ( X )) est strictement positif, δ0 ( X ) ne peut être sans
biais.
On rappelle la définition Z
du risque de Bayes : r (π, δ0 ( X )) = E π [R (θ , δ0 ( X ))] où R (θ , δ0 ( X )) est le risque
fréquentiste i.e. R (θ , δ0 ( X ) =
L(θ , δ0 ( X )) f ( x | θ ) dx.
X
Exercice 2 – Soit ( X 1 , ..., X n ) un n-échantillon i.i.d. de loi binomiale de paramètres ( N, p). dont
on rappelle ci-dessous la définition :
x x
P ( X = x) = C N
p (1 − p) N − x , x ∈ {0, 1, . . . , N }, 0 < p < 1.
On veut faire une estimation bayésienne du paramètre p.
1. En utilisant la règle de Jeffreys, construire une loi a priori non informative pour p.
2. Calculer la loi a posteriori de p pour la loi a priori non informative obtenue en 1.
3. Donner l’estimateur de Bayes de p sous l’hypothèse d’un coût quadratique, toujours pour
cette loi. Commenter.
4. On considère maintenant une loi a priori bêta de paramètres (α, β) sur p.
Calculer la loi a posteriori. Que peut-on dire de la loi a priori ?
5. Exprimer l’estimateur de Bayes de p, sous l’hypothèse d’un coût quadratique.
6. A quelles conditions cet estimateur est-il sans biais ?
Exercice 3 – Il arrive que l’observation se résume à des effectifs enregistrés dans des intervalles
donnés. On parle alors de données groupées. Supposons que le domaine d’observation se divise en 4
intervalles : [ t i−1 , t i [, i = 1, 2, 3, 4, t 0 = 0 et t 4 = +∞. On dispose alors d’un échantillon ( k 1 , k 2 , k 3 , k 4 )
où k i est le nombre de valeurs de la v.a. d’intérêt X appartenant à l’intervalle [ t i−1 , t i ).
4
X
On note N =
k i , le nombre total d’observations.
i =1
On considère f = ( f 1 , f 2 , f 3 , f 4 ) une discrétisation de la densité de la loi de probabilité de X c’est-àdire qu’on exprime la densité de X par
f ( x) = f i si x ∈ [ t i−1 , t i [.
f = ( f 1 , f 2 , f 3 , f 4 ) est le paramètre que l’on souhaite étudier. n.b. :
4
X
i =1
f i = 1.
1. Ecrire la vraisemblance en fonction de f 1 , f 2 , f 3 et de k 1 , k 2 , k 3 , k 4 .
2. Ecrire le système d’équations de vraisemblance (3 équations). En remarquant que d’après
le système, k 1 / f 1 = k 2 / f 2 = k 3 / f 3 , résoudre le système pour donner les estimateurs du maximum de vraisemblance de f 1 , f 2 , f 3 , f 4 .
3. On veut faire une estimation bayésienne de f . Proposer une loi a priori en justifiant.
4. Calculer la loi a posteriori.
5. Donner l’estimateur de Bayes f = ( f 1 , f 2 , f 3 , f 4 ) sous l’hypothèse d’un coût quadratique.
6. Comparer avec l’estimateur du maximum de vraisemblance.
Rappels
– Densité d’une loi bêta de paramètre (α, β) :
f ( x | α, β) =
Γ(α + β) α−1
p
(1 − p)β−1 , x ∈]0, 1[, α, β > 0.
Γ(α)Γ(β)
Espérance mathématique : α/(α + β).
– Règle de Jeffreys :
π(θ ) ∝
p
i
h ∂2
I (θ ) avec I (θ ) = E − 2 log L(θ ) .
∂θ
– Loi de Dirichlet de paramètre (α1 , · · · , αm ; αm+1 )
f ( x1 , · · · , xm |α1 , · · · , αm+1 ) =
Γ(α)
α −1 α −1
x 1 x2 2 · · · (1 − x1 − · · · − xm )αm+1 −1 ,
Γ(α1 ) · · · Γ(αm+1 ) 1
définie pour ( x1 , x2 , · · · , xm ) ∈ S m , avec α =
m
+1
X
α i et
i =1
S m = {( x1 , x2 , · · · , xm )| x i ≥ 0,
Espérance mathématique de x i : α i /α.
m
X
i =1
x i ≤ 1}.