Matrices Al´eatoires et T´el´ecommunications: de Wigner `a Shannon

Supelec
Matrices Aléatoires et Télécommunications:
de Wigner à Shannon
Mérouane Debbah
Alcatel-Lucent Chair on Flexible Radio
[email protected]
Evolution des standards
1
Bell Labs (1948)
A Mathematical Theory of Communication, The Bell Labs Technical Journal, July-October,
vol. 27, 379-457,623-656, 1948.
(1921-1948)
2
La théorie de l’information
• L’information est une mesure objective de notre incertitude indépendante du sens du
message.
• Cette incertitude est désignée par la notion d’entropie.
• Elle est liée au nombre de possibilités (et donc aux probabilités) de réalisation du
message.
• Exemple: Si un message peut avoir M = 2N possibilités, il contient log2(M ) = N
bits d’information.
3
Le cas continu
• Dans le cas continu, une formulation de la notion d’information existe.
• Dans le cas d’un signal bande limitée, Shannon trouve une représentation élégante
du signal à partir d’un certain nombre de ces échantillons: c’est le théorème
d’échantillonnage de shannon.
• Ironie de l’histoire, ce théorème est dans la section ”mathematical preliminaries”.
4
Comment transmettre un signal?
• Shannon donne le schéma général d’un schéma de communication.
• La notion de débit est également introduite: pendant une durée T , le signal est émis
selon un certain nombre de niveaux M.
log (M )
bits/s.
• Le débit est donné par: 2T
• Le schéma de communication comprend:
Un source dinformation.
Un transmetteur.
Un canal
Un récepteur
Une destination.
5
Comment transmettre un signal?
6
Exemple
0 1 0 1 0
0 1 1
A
A
T
−A
−A
7
Exemple
A
A
A/3
A/3
−A/3
−A/3
T
−A
−A
8
Existe-t-il une limite au débit?
• On peut effectivement augmenter le débit (en tant que vitesse de transmission) en
augmentant le nombre de niveaux.
• Par contre, si l’on parle de débit en tant que nombre de bits par seconde arrivant sans
erreur au niveau du récepteur, alors ceci n’est pas possible.
9
Existe-t-il une limite au débit?
• En effet, plus le nombre de niveaux augmente (à puissance fixée, la puissance est
toujours normalisée pour des questions de coût de transmission) et plus les niveaux
émis ont des valeurs de plus en plus proches.
• Par contre, si l’on parle de débit en tant que nombre de bits par seconde arrivant sans
erreur au niveau du récepteur, alors ceci n’est pas possible.
• Il est alors difficile au niveau du récepteur de discriminer entre 2 valeurs entachées
d’erreurs dûes au bruit.
10
Existe-t-il une limite au débit?
• Le débit a donc une limite déterminée par un seuil que l’on appelle la capacité du canal.
• Le fait de pouvoir transmettre à un débit non nul sans erreur était une idée à contrecourant des travaux des scientifiques avant1949.
• Il était alors naturel à l’époque de réduire la probabilité d’erreur d’une transmission en
réduisant le débit. Ce n’est qu’avec les travaux de Shannon que le codage est apparu
comme une issue à ce dilemme.
11
Capacité d’un canal
On encode une série de C bits en un vecteur de dimension N .
y, x et b sont des vecteurs de dimension N
y =x+b
Pour N assez grand, la puissance de
• b est proche de N σ 2
• x est proche de N P
• y est proche de N (P + σ 2)
12
Capacité d’un canal
13
Capacité d’un canal
p
Le volume de la sphère du signal est proportionnel à ( N (P + σ 2))N
p
Le volume de la sphère du bruit est proportionnel à ( N (σ 2))N
Le nombre total de codes (messages) que l’on peut mettre est donné par le ratio suivant:
(
p
N (P + σ 2))N
p
( N (σ 2))N
Ce qui donne un nombre de bits par temps symbole égal à:
p
1
( N (P + σ 2))N
1
P + σ2
C=
log2(
)=
log2(
)
p
2
2
N
NT
2T
σ
( N (σ ))
14
Volume d’une sphère
Le volume d’une sphère de rayon r (en dimension N ) est donné par:
N
V =
π 2 rN
Γ( N2 + 1)
15
Capacité d’un canal
y =x+n
P + σ2
1
log2(
)
C=
2T
σ2
Dans le cas complexe et si on définit SNR =
P
,
σ2
la capacité est donnée par:
1
C = log2(1 + SNR)
T
16
Bande et Rapport Signal à Bruit
C = W log(1 + SNR)
SNR = C
Eb
N0
Eb
2C − 1
lim
=
= log(2)
C→0 N 0
C
Nous n’avons que deux degrés de liberté
.
17
Le monde sans fils
18
Le monde sans fils
I
E , B
I
19
Le monde sans fils
y = hx + n
| h |2 P
C = W log(1 +
)
2
σ
20
Les réseaux Multi-Antennes sans fils
21
Les réseaux Multi-Antennes sans fils
22
Les réseaux Multi-Antennes sans fils
Rx
Tx
23
Représentation Matricielle
y = Hx + n



H=

h11
...
...
h nr 1
...
...
...
...
...
...
...
...
h1nt
...
...
h nr nt





(1)
24
Capacité d’un système MIMO
y = Hx + n
H = UΛV
H
r=U y
H
s=V x
r = Λs + n
0
25
Capacité d’un système MIMO
y(i) = λ(i)s(i) + n(i)
Sur chaque lien spatial, la capacité est de:
λ2i
Ci = log2(1 + 2 )
σ
La capacité totale est donnée par:
C=
nr
X
i=1
λ2i
log2(1 + 2 )
σ
L’espace joue le même rôle que la bande.
26
Capacité d’un systéme MIMO
C=
nr
X
i=1
λ2i
log2(1 + (1 + 2 )
σ
¶
µ
1
H
C = log2 det I + 2 HH
σ
Quels sont les débits que l’on peut atteindre dans les milieux sans fils MIMO?
27
Freebox ADSL MIMO
”Parmis les nouveautés techniques de cette freebox HD, on notera l’utilisation dune
nouvelle solution sans fil dénommée Wifi Mimo”
28
Equation de Schrondinger
HΦi = EiΦi
Φi est la fonction d’onde
Ei est le niveau d’énergie
H est un hamiltonien
Interaction magnétique entre les spins
29
La naissance des matrices aléatoires
Eugene Paul Wigner, 1902-1995
30
L’aléatoire en 1955
E. Wigner. ”Characteristic Vectors of bordered matrices with infinite dimensions”, The
annal of mathematics, vol. 62, pp.546-564, 1955.



1 

√ 
n


0
+1
+1
+1
−1
−1
+1
0
−1
+1
+1
+1
+1
−1
0
+1
+1
+1
+1
+1
+1
0
+1
+1
−1
+1
+1
+1
0
−1
−1
+1
+1
+1
−1
0









Quand la dimension de la matrice augmente, que peut-on dire des valeurs propres
(niveaux d’énergie)?
31
Matrices de Wigner: la loi semi-circulaire
32
Loi empirique des valeurs propres de H
H est hermitienne
N
1 X
δ (λ − λ1)
dFN (λ) =
N i=1
Les moments de la distribution sont donnés par:
N
=
N
=
...
=
N
=
m1
m2
mk
Z
N
1
1 X
tr (H) =
λi =
λdFN (λ)
N
N i=1
Z
1
2
2
tr (H) =
λ dFN (λ)
N
...
Z
1
k
k
tr (H) =
λ dFN (λ)
N
Dans beaucoup de cas, tous les moments convergent. C’est exactement le genre de
résultat dont nous avons besoin pour comprendre le réseau.
33
Matrices de Wigner: la loi semi-circulaire
La preuve de Wigner pour la convergence vers la loi semi-circulaire
Les moments empiriques de
2k
1
N Trace(H )
1
2k
lim
Trace(H )
N →∞ N
→ Nombres de Catalan
Z
2
=
2k
x f (x)dx
−2
=
1
2k
Ck
k+1
Comme la loi est symmetrique, les moments impaires tendent vers zéro.
34
Matrices de Wigner: la loi semi-circulaire
Calcul récursif:
On intègre par parties et on obtient:
α2k
=
=
=
=
1
π
Z
2
x
2k
p
4 − x2dx
−2
Z 2
1
−x
2k−1
2
−
x
(4 − x )dx
√
2π −2 4 − x2
Z 2p
1
2k−1
2 0
4 − x2(x
(4 − x )) dx
2π −2
4(2k − 1)α2k−2 − (2k + 1)α2k
Le résultat est donc obtenu de manière récursive:
α2k =
2(2k − 1)
α2k−2
k+1
35
Nombres de Catalan
Eugène Charles Catalan, 1814-1894
36
Matrices de Wigner: la loi semi-circulaire
E. Wigner. ”On the Distribution of Roots of certain symmetric matrices”, The Annals of
Mathematics, vol. 67, pp.325-327, 1958.
Theorem2. Consider a N × N standard Wigner matrix W such that, for some constant κ
and sufficiently large N ,
κ
4
maxi,j E(| wij | ) ≤ 2
N
Then the empirical distribution of W converges almost surely to the semi-circle law whose
density is:
1 p
f (x) =
4 − x2
2π
with | x |≤ 2
The semi-circle law is also known as the non-commutative analog of the Gaussian
distribution.
37
Remarques sur les rśultats asymptotiques
Distribution: la distribution asymptotique ne dépend pas de la distribution des entrées
indépendentes.
Ergodicité: L’histogramme des valeurs propres d’une réalisation converge presque
sûrement vers la distribution asymtptotique des valeurs propres.
Vitesse de Convergence: 8 = ∞
Cas Gaussien: C’est le seul cas pour lequel nous savons traiter le cas non-asymptotique.
38
Dterminisme et alátoire
•
•
•
•
•
Distribution de λ(H).
Distribution de λ(HH H).
Distribution de λmax(H).
Dsitribution conjointe de of λ1(H), ..., λN (H).
Distribution de l’espacement des valeurs propres (liée à la fameuse hypothèse de
Riemann).
• Distribution de HH H.
• Distribution de la matrice des vecteurs propres de HH H.
39
L’alátoire en 1967
H une matrice N × K avec des élément i.i.d., de moyenne zéro et de variance 1/N .
Valeurs propres de



N

|

H
{z
K

}






















HH
quand N → ∞, K/N → α ne sont l’identité!
Remarque: Si les entrées sont Gaussiennes, nous parlons de matrices de Wishart avec
K degés de liberté. La distribution exacte est connue dans le cas fini.
40
Dsitribution limite des valeurs propres pour α = 10
Remarque: De manière assez remarquable, les support est borné alors que les entrées
peuvent prendre n’importe quelle valeur.
41
Distribution empirique des valeurs propres de HHH
H est N × K i.i.d avec
K
N
=α
N
1 X
dFN (λ) =
δ (λ − λ1)
N i=1
Les moments sont donnés par:
N
m1
N
m2
N
m3
=
N
´
1 X
1 ³
H
tr HH
=
λi → 1
N
N i=1
=
N
´2
1 ³
1 X 2
H
λ →1+α
tr HH
=
N
N i=1 i
=
N
´3
1 ³
1 X 3
2
H
λi → α + 3α + 1
tr HH
=
N
N i=1
42
The Marchenko-Pastur Distribution Law
V. A. Marchenko and L. A. Pastur, ”Distributions of eigenvalues for some sets of random
matrices,” Math USSR-Sbornik, vol.1 pp.457-483, 1967.
Theorem. Consider an N × K matrix H whose entries are independent zero-mean
complex (or real) random variables with variance N1 and fourth moments of order O( N12 ).
H
As K, N → ∞ with K
N → α, the empirical distribution of H H converges almost surely
to a nonrandom limiting distribution with density
1 +
f (x) = (1 − ) δ(x) +
α
√
√
where a = (1 − α)2 and b = (1 + α)2.
p
(x − a)+(b − x)+
2παx
43
Matrice carré avec des coefficients i.i.d
44
La loi circulaire
V. L. Girko, ”Circular Law”, Theory. Prob. Appl., vol. 29, pp. 694-706, 1984
Z. D. Bai, ”The Circle Law”, The Annals of Probability, pp. 494-529, 1997.
Theorem. Let H be an N × N complex random matrix whose entries are independent
random variables with identical mean and variance and finite kth moments for k ≥ 4.
Assume that the joint distribution of the entries real and imaginary parts of the entries
have uniformly bounded support densities. Then, the asymptotic spectrum of H
converges almost surely to the circular law, namely the uniform distribution over the unit
disk on the complex plane, {ξ ∈ C, | ξ |≤ 1} whose density is given by:
f (ξ) =
1
, | ξ |≤ 1
π
45
Les applications des matrices aléatoires
• Wigner (55) , Dyson (67) : Théorie des matrices aléatoires et physique nucléaire.
• Potters (00), Bouchaud (00) : Théorie des matrices aléatoires et finance.
• Voiculescu (91) , Biane (00), Hiai, Petz (00): Théorie des matrices aléatoires et théorie
des probabilités libres.
• Silverstein (89), Pastur (72), Girko (90), Edelman (89): Théorie des matrices aléatoires
et transform’ee de Cauchy-Stieljes.
• Speicher (92): Théorie des matrices aléatoires et combinatoire.
• Tanaka (01), Moustakas (03), Sengupta (03) : Théorie des matrices aléatoires et
mécanique statistique.
46
Capacité de Shannon
Considérons la variable alátoire
CN
1
=
log det
N
µ
1
H
IN + 2 WW
σ
¶
µ
N
³
´¶
1
1 X
H
log 1 + 2 λk WW
=
N k=1
σ
Quand N → ∞ et K/N → γ ( σ12 = ρ),
Z
CN
=
∞
log(1 + ρλ)dF (λ)
0
=
γ log(1 + ρ − ρα) + ln(1 + ργ − ρα) − α
avec
α=
1
1
[1 + γ + −
2
ρ
s
1
(1 + γ + )2 − 4γ]
ρ
47
Propagation avec reflecteurs multiples
Rx
Tx
Φnr ×sr
Θsr ×st
Ψst ×nt
• Ψst×nt
• Φnr ×sr
• Θsr ×st
48
Propagation avec reflecteurs multiples
y
=
Hx + n
=
Φnr ×sr Θsr ×st Ψst×nt x + n
µ
log2det
I nr
¶
1
H
+ 2 HH
?
σ
49
L’aléatoire dans les années 1980
Que pouvons nous dire des valeurs propres de C = AB
• En général, il n’est pas possible de trouver les valeurs propres du produit de matrices à
partir des valeurs propres de chaque matrice.
• Une exception est le cas où les matrices ont les mêmes vecteurs propres.
50
Distribution empirique des valeurs propres de C = AB
N
dFC (λ)
N
´
1 X ³
C
=
δ λ − λ1
N i=1
Dans beaucoup de cas, les moments asymptotiques de C peuvent s’exprimer en fonction
des moments asymptotiques de A and B.
C
mk
=
1
k
A
A
B
B
tr (C) = f (m1 , ..., mk , m1 , ..., mk )
N →∞ N
lim
En d’autres termes, la distribution asymptotique des valeurs propres de C dépend
uniquement de la distribution empirique des valeurs propres de A and B.
Quand cela arrive, les deux matrices sont libres et le cadre général est celui des
probabilités libres. Ces résultats sont aussi valides pour C = A + B.
51
Résultat H =
η et ξ sont respectivement les valeurs propres
sr × st avec des entrées i.i.d):
C=
nt
X
log2(1 + ρξir) +
i=1
H
1
sr ΦΦ
nr
X
et
H
1
st Ψ Ψ
(Θ est une matrice
log2(1 + ρηiq) − nr qr
i=1
"
g(r, q) =
√ 1 ΦΘΨ
sr st
nt
ρηi
1 X
2
(
)
nt i=1 1 + ηiρq
#"
1
nt
nr
X
(
i=1
ρξi
2
)
1 + ξiρr
#
n
t
ρηi
1 X
r=
nt i=1 1 + ηiρq
n
r
1 X
ρξi
q=
nt i=1 1 + ξiρr
52
Validation par des mesures
53
Validation par des mesures
54
Validation par des mesures
55
Les réseaux flexibles: du b/s/Hz au b/s/Hz/m2
Les réseaux flexibles (ou réseaux aléatoires) ne considèrent pas les ressources radio
comme un ”gâteau à partager” entre les utilisateurs mais profitent du grande nombre
d’interactions entre les termainaux pour accroitre l’éfficacité spectrale.
Plus de terminaux représente plus d’opportunités pour faire transiter l’information dans le
réseau, ce qui accroit le débit global.
56
Les réseaux MIMO
”Nous construisons trop de murs...pas assez de ponts”, Isaac Newton
Combattre l’interférence à travers le partage du spectre/contrôle de puissance.
Exploiter l’interference à travers la coopération et la coordination.
57
Les réseaux MIMO
En théorie, le seul facteur limitant sera le nombre de stations de base.
58
Réseaux MIMO Intelligent
C’est l’aléatoire dans le réseau qui amène les gains potentiels...nous devons exploiter
cette opportunité et non la combattre!
Pour cela, nous travaillons sur des modèles plus complexes (avec les outils adéquats pour
les traiter)
59
Cours en ligne
http://www.supelec.fr/d2ri/flexibleradio/cours.en.html
Course 1: Overview and Historical development.
Course 2: Probability and convergence measures review.
Course 3: Basic Results on Random Matrix Theory
Course 4: What about deterministic matrices?
Course 5: Stieltjes Transform Method.
Course 6: Results on Unitary Random Matrix Theory
Course 7: The role of the Cauchy-Stieltjes transform in communications
Course 8: Free probability theory and random matrices
Course 9: Free deconvolution for signal processing applications
Course 10 MIMO Channel Modelling and random matrices
Course 11: Asymptotic analysis of (MC)-CDMA systems
Course 12: Asymptotic Analysis of MIMO systems
Course 13: Asymptotic design of receivers
Course 14: Decoding order in receivers
Course 15: Game theory and Random matrix theory
Course 16: Asymptotic Analysis of Multi-hop relay channels
60
Random Matrix Theory
61
Last Slide
THANK YOU!
62