Chapitre 4 : suites stationnaires - Jean-Yves Tourneret

Processus Stochastiques
Jean-Yves Tourneret(1)
(1) Université of Toulouse, ENSEEIHT-IRIT-TéSA
Thème 1 : Analyse et Synthèse de l’Information
[email protected]
Cours Mastère, 2010 – p. 1/29
Plan du cours
Chapitre 1 : Chaînes de Markov à états discrets
Chapitre 2 : Chaînes de Markov à états continus
Chapitre 3 : Méthodes de Simulation
Chapitre 4 : Suites Stationnaires
Stationnarité, Autocorrélation, Densité Spectrale de
Puissance
Filtrage linéaire invariant dans le temps
Suites ARMA, AR et MA
Innovations, Théorème de Wold, Prédiction
Cours Mastère, 2010 – p. 2/29
Bibliographie
Peter J. Brockwell and Richard A. Davis, Time Series:
Theory and Methods, Springer Verlag, 2nd edition, 1998.
Athanasios Papoulis and S. Unnikrishna Pillai, Probability,
Random Variable and Stochastic Processes, McGraw Hill
Higher Education, 4th edition, 2002.
B. Porat, Digital Processing of Random Signal. Theory
and Methods, Prentice Hall, Englewood Cliffs, 1994.
Bernard Lacaze, Processus aléatoires pour
communications numériques, Hermes Sciences
Publications, 2000.
Cours Mastère, 2010 – p. 3/29
Stationnarité
Définition
E [xn ] = µ
∗
E xn xn−m = rx (m) , r(m)
Moyenne et fonction d’autocorrélation indépendantes
du temps.
Exemples
Bruit blanc
Echantillonnage périodique d’un processus aléatoire
stationnaire à temps continu
Cours Mastère, 2010 – p. 4/29
Propriétés de la fonction d’autocorrélation
Symétrie hermitienne
r∗ (−m) = r(m)
Valeur à l’origine
|r (m)| ≤ r (0)
Suite définie non négative
n
X
aj a∗k r(j − k) ≥ 0,
∀n, aj , ak
j,k=1
Cours Mastère, 2010 – p. 5/29
Propriétés de la densité spectrale de puissance
Théorème d’Erglotz
r (m) définie non négative si et ssi
r (m) =
Z
1/2
e2iπmf dS(f )
−1/2
où S(.) est une fonction continue à droite, non décroissante, bornée sur [−1/2, 1/2]
et telle que S(−1/2) = 0.
Densité spectrale de puissance s(f )
Rf
Si S(f ) = −1/2 s(u)du, on a
r (m) =
Z
1/2
e2iπmf s(f )df
et
s(f ) =
−1/2
∞
X
r (m) e−2iπmf
m=−∞
Preuve : voir polycopié ou livre de Brockwell and Davis.
Cours Mastère, 2010 – p. 6/29
Filtrage linéaire invariant dans le temps
Définition
xn =
∞
X
hk en−k = hn ∗ en
k=−∞
CNS de Stabilité BIBO
∞
X
|hk | < ∞
k=−∞
Transmittance
H(f ) =
∞
X
k=−∞
hk e
−j2πkf
= TFD [hk ] ,
1
1
− ≤f ≤
2
2
Cours Mastère, 2010 – p. 7/29
Relations de Wiener-Lee
Densité spectrale de puissance
sx (f ) = se (f ) |H (f )|2 avec H(f ) =
∞
X
hk e−j2πkf
k=−∞
Intercorrélation
∗
rxe (k) = E xn en−k = h(k) ∗ re (k)
Formule des Interférences
∗ ryz (k) = E yn zn−k
Z 1
2
=
H (f ) G∗ (f ) ej2πkf se (f ) df
− 12
Cours Mastère, 2010 – p. 8/29
Preuve
Autocorrélation

rx (k) = E 
=
X
i∈Z
XX
i∈Z j∈Z
=
hi en−i
XX
X
j∈Z
hi h∗j E

h∗j e∗n−k−j 
∗
en−i en−k−j
hi h∗j re (k + j − i)
i∈Z j∈Z
Cours Mastère, 2010 – p. 9/29
Preuve
Densité Spectrale de Puissance
X
sx (f ) =
rx (k) e−j2πkf
k∈Z
=
XX
hi h∗k
i∈Z k∈Z
=
XX
i∈Z k∈Z
=
XX
hi h∗k
(
X
(
re (l + k − i) e−j2πlf
l∈Z
X
)
re (m) e−j2π(m+i−k)f
m∈Z
)
hi h∗k se (f ) e−j2π(i−k)f
i∈Z k∈Z
= se (f ) |H (f )|2
Cours Mastère, 2010 – p. 10/29
Preuve
Intercorrélation
rxe (k) = E
=
=
"
∞
X
l=−∞
∞
X
∞
X
hl en−l
l=−∞
!
e∗n−k
#
∗
hl E en−l en−k
hl re (k − l)
l=−∞
= h(k) ∗ re (k)
Cours Mastère, 2010 – p. 11/29
Retour sur les chaînes de Markov
Le spectre d’une chaîne de Markov est une fraction
rationnelle en e−2iπf . En effet, pour k ≥ 0, on a
r(k) = E [xn xn+k ]
X
=
abP [xn = a, xn+k = b]
a,b
=
X
abP [xn+k = b| xn = a] P [xn = a]
a,b
=
X
(aP [xn =
(k)
a]) bpab
..
= [...]P [.]
k
a,b
=
l
X
|k|
ai λi
i=1
Cours Mastère, 2010 – p. 12/29
Exemple
Chaîne de Markov stationnaire de matrice de transition


1/3 2/3 0


P =  1/3 0
2/3 
2/3 0
1/3
associée à trois états {0, 1, −1} de probabilités initiales
3 2 2
égales aux probabilités limites 7 , 7 , 7 .
Cours Mastère, 2010 – p. 13/29
Suite ARMA
Définition
p
X
k=0
ak xn−k =
q
X
bk en−k
k=0
où ak et bk , k = 0, ..., n sont des nombres réels et où en
est un bruit blanc (E(en ) = 0 et E(e2n ) = σe2 ).
Remarques
a0 = b0 = 1
Suites AR et MA
On suppose que B(z) et A(z) n’ont pas de zéros
communs, ou alors on simplifie.
Approximation du spectre d’une suite stationnaire
Cours Mastère, 2010 – p. 14/29
Densité spectrale de puissance
Transmittance
Wiener-Lee
Pq
−k
b
z
X(z)
k
H(z) =
= Ppk=0
−k
E(z)
a
z
k
k=0
P
2
q b e−j2πkf k
sx (f ) = σe2 Ppk=0
k=0 ak e−j2πkf La densité spectrale de puissance d’une suite ARMA
est une fraction rationnelle en e−j2πf .
Cours Mastère, 2010 – p. 15/29
La solution
Expression de xn en fonction de en
AR(1)
xn = axn−1 + en avec |a| < 1
AR(1)
xn = axn−1 + en avec |a| > 1
Cas général
On montre qu’il existe P
une solution stationnaire
inversible, i.e., x(n) = ∞
k=0 hk e(n − k) si et ssi H(z)
a tous ses pôles à l’intérieur du cercle unité.
Lorsqu’il n’y a pas de pôle sur le cercle unité, il
existe une solution stationnaire de la forme
x(n) =
∞
X
k=−∞
hk e(n − k)
Cours Mastère, 2010 – p. 16/29
Autocorrélations dans le cas causal
Équations de Yule-Walker
p
X
ak r (i − k) =
k=0
q
X
bk E [xn−i en−k ] ,
k=0
P∞
avec xn = j=0 hj en−j .
i≥q+1
p
p
X
X
ak r (i − k) = 0 ⇔ r(i) =
ak r (i − k)
k=0
k=1
i ∈ {0, ..., q}
r(i) =
p
X
k=1
ak r (i − k) + σe2
q
X
bk hk−i
k=i
Cours Mastère, 2010 – p. 17/29
Autocorrélations d’une suite AR causale
i≥1
r(i) =
p
X
ak r (i − k)
p
X
ak r (−k) + σe2
k=1
i=0
r(0) =
=
k=1
p
X
ak r (k) + σe2
k=1
Cours Mastère, 2010 – p. 18/29
Autocorrélations d’une suite MA causale
i≥q+1
r(i) = 0
i ∈ {0, ..., q}
r(i) = σe2
q
X
bk bk−i = σe2 (b0 bi + b1 bi+1 + ... + bq−i bq )
k=i
On notera en particulier que r(q + 1) = 0 et que
r(q) = b0 bq = bq 6= 0
Ces deux dernières relations seront pratiques pour
déterminer l’ordre du modèle MA.
Cours Mastère, 2010 – p. 19/29
Résumé Suites Stationnaires
Autocorrélation-Densité spectrale
r (m) =
Z
1/2
e2iπmf s(f )df
et
s(f ) =
−1/2
∞
X
r (m) e−2iπmf
m=−∞
Filtrage Linéaire
Relation entrée-sortie X(f ) = H(f )E(f )
DSP sortie sx (f ) = se (f )|H(f )|2
Intercorrélation rxe (k) = h(k) ∗ re (k)
Autocorrélations d’une chaîne de Markov
l
X
|k|
r(k) =
ai λi
i=1
Cours Mastère, 2010 – p. 20/29
Résumé Suites ARMA
Définition
p
X
k=0
ak xn−k =
q
X
bk en−k
k=0
Transmittance
B(z)
H(z) =
A(z)
Densité spectrale de puissance
P
2
q
−j2πkf b
e
k
2 P k=0
sx (f ) = σe p
−j2πkf
k=0 ak e
Cours Mastère, 2010 – p. 21/29
Résumé Suites ARMA
Solution
pôles à l’intérieur du cercle unité ⇔ solution
stationnaire causale
pôles à l’extérieur du cercle unité ⇔ solution
stationnaire anti causale
Autocorrélations dans le cas causal
peuvent se déterminer à l’aide des équations de
Yule-Walker
permettent d’estimer les paramètres de la suite
ARMA
Cours Mastère, 2010 – p. 22/29
Innovations d’une suite stationnaire (E[xt] = 0)
Définition
Hn le sous espace engendré par {xt, t ≤ n} (le passé et
le présent de xn ). L’ innovation de xn est définie par
un = xn − PHn−1 (xn ) = xn − x
bn .
Propriétés
un ∈ Hn
La suite des innovations {un , n ∈ Z} est constituée
de variables aléatoires non-corrélées (orthogonales)
la suite {un , n ∈ Z} est une suite stationnaire de
moyenne nulle et de variance finie
Cours Mastère, 2010 – p. 23/29
Suites déterministes et régulières
Suites déterministes
h
i
σ 2 = E |xn − x
bn |2 = 0 ⇒ un = 0 p.s.
Suite parfaitement prédictible à partir de son passé
xn = x
bn = −
∞
X
αk xn−k
k=1
Ex. : xn = A cos(2πf0 n + θ) = 2 cos(2πf0 )xn−1 − xn−2 .
Suites régulières
h
i
σ 2 = E |xn − x
bn |2 6= 0.
Normalisation : E[u2 (n)] = 1, Exemple : suite ARMA.
Cours Mastère, 2010 – p. 24/29
Décomposition de Wold
Toute suite stationnaire de moyenne nulle s’écrit
xn = y n + v n =
∞
X
βs un−s + vn , où
s=0
(a) un et vn sont des suites décorrélées
E [vm un ] = 0,
∀n, m
(b) un est l’innovation appartenant à Hn
(c) vn est une variable aléatoire appartenant à H−∞ ,
(d) vn est une suite déterministe
(e) yn est une suite régulière
Cours Mastère, 2010 – p. 25/29
Cas particuliers
Suites déterministes (xn = vn )
xn = α ⇒ x
bn = E [ xn | xn−1 , xn−2 , ...] = α = xn , i.e.,
un = 0.
xn = A cos (2πf0 n + θ) = 2 cos (2πf0 ) xn−1 − xn−2 , i.e.,
un = 0.
Bruit blanc
x
bn = E [ xn | xn−1 , xn−2 , ...] = E [xn ] = 0 ⇒ un = xn −b
xn = xn
Cours Mastère, 2010 – p. 26/29
Décomposition de Wold d’une suite ARMA
Résultat fondamental
xn =
∞
X
βs un−s
s=0
i.e., filtrage causal des innovations (donc les pôles de
β(z) sont tous à l’intérieur du cercle unité).
Inversibilité
Si les pôles et zéros de β(z) ne sont pas sur le cercle
unité, alors
∞
X
un =
αs xn−s
s=0
avec pôles de α(z) (zéros de β(z)) à l’intérieur du cercle
unité.
Cours Mastère, 2010 – p. 27/29
Exemples de décompositions de Wold
Suites AR(1)
xn = axn−1 + en avec |a| < 1
xn = axn−1 + en avec |a| > 1
Suites MA(1)
xn = en − aen−1 avec |a| < 1
xn = en − aen−1 avec |a| > 1
Cours Mastère, 2010 – p. 28/29
Prédiction
On observe une suite stationnaire aux instants t ≤ 0 et on
cherche à estimer xn avec n > 0 à l’aide du meilleur
estimateur linéaire à partir des éléments {x0 , x−1 , ...}. La
solution de ce problème est immédiate dans le cas où
vn = 0 dans la décomposition de Wold (e.g., suites ARMA).
En effet, à partir de
∞
X
xn =
βs un−s
s=0
puisque les innovations sont orthogonales, on a
∞
X
x
en = PH0 (xn ) =
βs un−s .
s=n
Erreur de prédiction :
σn2
Pn−1 2
2
= E |xn − x
en | = s=0 βs .
Cours Mastère, 2010 – p. 29/29