Les chaînes de Markov Exercices solutionnés

Les chaînes de Markov
Exercices solutionnés
Geneviève Gauthier
dernière mise à jour : 16 octobre 2000
Problème 1 (30 points). À partir des trois graphes de transition suivants, reconstituez les chaînes de Markov qui leur sont associées (espace d’états
et matrice de transition). Pour chacune de ces chaînes de Markov, faites-en
l’analyse en répondant aux questions suivantes:
i)
La chaîne de Markov comporte combien de classes et quelles sontelles?;
ii)
Quelles sont les caractéristiques de chacune de ces classes (stable ou
instable, absorbante, récurrente ou transitoire, la période)?;
iii)
Existe-t-il une loi stationnaire? Si oui, qu’elle est-elle? Sinon, pourquoi?
iv)
Déterminez, s’il y a lieu, les probabilités d’absorbtion dans les classes
stables.
v)
Déterminez, s’il y a lieu, les temps moyens d’absorbtion dans les
classes stables.
x1
x2
x4
x3
1
0,5
0,25
0,5
x1
x1
x2
x2
0,75
x4
0,25
x4
x3
x3
0,75
2
1
1.1
Premier graphe de transition
Classi…cation des états
0
0
B 0
EX = fx1 ; x2 ; x3 ; x4 g et PX = B
@ 0
1
1
0
0
0
0
1
0
0
1
0
0 C
C:
1 A
0
Il n’y a qu’une seule classe forcément stable et récurrente. Par conséquent,
tous les états de la chaîne ont même période, soit
n
d(1) = P GCD fn 2 f1; 2; :::g : (PX
)11 > 0g = P GCD f4; 8; 12; 16; :::g = 4:
1.2
Loi stationnaire
!
0
Résolvant le système P
I ! = 0 en y ajoutant la contrainte 1 +
3 + 4 = 1, nous obtenons
0
1
0 1
0
1
0
1 0 1 1
1 0
0
1
0
4
1
1
B 1
B C
1 0
0 C
1 C
B
CB 2 C B 0 C
B 2 C B
B 4 C
B 0
C
B
C
B
C
B
C
1
1 0 C@
C:
B
A=B 0 C)@ 3 A=B
@ 14 A
3
@ 0
@ 0 A
0
1
1 A
1
4
4
1
1
1
1
1
4
2
+
Comme la chaîne n’est pas apériodique, nous savons que la loi de Xn ne
converge pas vers la distribution stationnaire lorsque n croît vers l’in…ni où
Xn représente l’état dans lequel se trouve la chaîne à la n ième étape.
1.3
Probabilités d’absorption
Comme il existe une seule classe et que cette dernière est stable alors le calcul
des probabilités d’absorbtion ne présente aucun intérêt puisque la probabilité
d’être absorbé dans cette unique classe, partant de n’importe quel état, est
de 1.
3
2
Deuxieme graphe de transition
2.1
Classi…cation des états
0
1
2
1
2
0
B 0 0 1
EX = fx1 ; x2 ; x3 ; x4 g et PX = B
@ 0 0 0
1 0 0
1
0
0 C
C:
1 A
0
Il n’y a qu’une seule classe forcément stable et récurrente. Par conséquent,
tous les états de la chaîne ont même période, soit
n
d(1) = P GCD fn 2 f1; 2; :::g : (PX
)11 > 0g = P GCD f1; 2; 3; 4; :::g = 1:
2.2
Loi stationnaire
!
0
Résolvant le système P
I ! = 0 en y ajoutant la contrainte
3 + 4 = 1, nous obtenons
1
0 1
0 1
0
1
0
1 0 2
0
0
1
0
2
5
1
1
B C
B 1
1 0
0 C
1
CB 2 C B 0 C
B 2 C B
B 2
B 5
C
B
C
B
B
B 0
C
C
1
1 0 C@
B
A=B 0 C)@ 3 A=B
@ 15
3
@ 0
@ 0 A
0
1
1 A
1
4
4
1
1
1
1
1
5
1
+
2
+
1
C
C
C:
A
Comme la chaîne st irréductible et apériodique, nous savons que la loi de Xn
converge vers la distribution stationnaire lorsque n croît vers l’in…ni où Xn
représente l’état dans lequel se trouve la chaîne à la n ième étape.
2.3
Probabilités d’absoption
Comme il existe une seule classe et que cette dernière est stable alors le calcul
des probabilités d’absorbtion ne présente aucun intérêt puisque la probabilité
d’être absorbé dans cette unique classe, partant de n’importe quel état, est
de 1.
4
3
3.1
Troisieme graphe de transition
Classi…cation des états
0
B
B
EX = fx1 ; x2 ; x3 ; x4 g et PX = B
B
@
0 41 0 43
0 1 0 0
0 14 0 43
0 0 0 1
Il y a quatre classes
fx1 g instable
transitoire
fx2 g stable absorbante donc récurrente
fx3 g instable
transitoire
fx4 g stable absorbante donc récurrente
3.2
1
C
C
C:
C
A
d (1) = 0
d (2) = 1
d (3) = 0
d (4) = 1
Loi stationnaire
!
0
Résolvant le système P
I ! = 0 en y ajoutant la contrainte 1 +
3 + 4 = 1, nous obtenons
0
0 1
1
1
1 0
0
1
0
1 0 0 0 0
0
1
1
B 0 C
B 1 0 1 0 C
4
C B
CB 2 C B C
B
C
B 4
C=B 0 C)B 2 C=B 1 a C
B
B 0 0
1 0 C
B
C
C
B 3
@ 3 A
@ 3 A @ 0 A
@ 0 A
@
0 34 0 A
4
a
4
4
1 1 1 1
1
2
+
où la contrainte 8i 2 f1; 2; 3; 4g ; i
0 entraîne que 0
a
1. Il existe
donc une in…nité de distributions stationnaires. Comme la chaîne n’est pas
irréductible, nous savons que la loi de Xn ne converge pas vers la distribution
stationnaire lorsque n croît vers l’in…ni où Xn représente l’état dans lequel
se trouve la chaîne à la n ième étape.
5
3.3
Probabilités d’absorptions
Les probabilités d’absorbtion semblent beaucoup plus intéressantes dans ce
cas-ci. Posons
i
= P [la chaîne est éventuellement absorbée en x2 jX0 = xi ] :
Évidemment, 2 = 1 et 4 = 0. Il est aussi clair que 1 = 14 et 3 = 14 :
!
!
E¤ectuons tout de même le calcul: résolvant le système (P I)
= 0
auquel nous ajoutons les deux contraintes 2 = 1 et 4 = 0, nous obtenons
1
0
0 1
1 14 0 43
0
C0
B
1
0
1 0 1 1
B
C
B 0 0 0 0 C
4
0
1
1
B C
C
B
B 1 C
3 CB
C
B
C
B
C
B 0 1
1 4 CB 2 C B 0 C
4
B 2 C B C
B
C:
B 0 0 0 0 C@ 3 A = B 0 C ) @ 3 A = B
@ 14 A
B C
C
B
C
B
@ 1 A
3
3
0
@ 0 1 0 0 A
0
0 0 0 1
Posons
i
= P [la chaîne est éventuellement absorbée en x4 jX0 = xi ] :
Évidemment, 2 = 0 et 4 = 1. Il est aussi clair que 1 = 34 et 3 = 34 :
!
E¤ectuons tout de même le calcul: résolvant le système (P I) ! = 0
auquel nous ajoutons les deux contraintes 2 = 0 et 4 = 1, nous obtenons
0
1
0 1
1 14 0 34
0
B
C0
1
1 0 3 1
0
B 0 0 0 0 C
B
C
4
1
1
B
C
B 0 C
B 0 C
3 CB
B 0 1
C
B
C
C
B
1 4 CB 2 C B 0 C
4
B
B 2 C B C
C:
B 0 0 0 0 C@ 3 A = B 0 C ) @ 3 A = B
@ 34 A
B
C
B C
B
C
@ 0 A
3
3
1
@ 0 1 0 0 A
1
0 0 0 1
3.4
Temps moyens d’absorption
Déterminons maintenant les temps moyen d’absorption. Puisque x2 et x4
sont des classes stables, 2 = 4 = 0:
1
3
=1
1 = 1+
2+
4
4 4
1
3
=1
3 = 1+
2+
4
4 4
6