Quantification vectorielle sous condition de marge

Quantication vectorielle sous condition de marge
C.Levrard
Université Paris 11 and UPMC
INRIA Projet Select
11ème Colloque Jeunes Probabilistes et Statisticiens
11 avril 2014
Introduction
Principe
Quantication
Introduction
Quantication
Principe
P une distribution sur H, dim(H) = d ≤ +∞
séparer H selon
k zones
de manière pas totalement stupide
en n'ayant accès qu'à un n-échantillon
Quantication par Voronoï
Quanticateur et risque
Quanticateur vs dictionnaire
P une distribution sur H, et Q un k -quanticateur
R (Q ) = P kx − Q (x )k2
Quantication par Voronoï
Quanticateur vs dictionnaire
Quanticateur et risque
Quantication par Voronoï
Quanticateur vs dictionnaire
Quanticateur et risque
Quantication par Voronoï
Quanticateur et risque
Quanticateur vs dictionnaire
P une distribution sur H, et Q un k -quanticateur
R (Q ) = P kx − Q (x )k2
c = (c1 , . . . , ck ) dictionnaire
ci mot
Quantication par Voronoï
Quanticateur et risque
Quanticateur vs dictionnaire
P une distribution sur H, et Q un k -quanticateur
Risk/Distortion R (c) = E(mini =1,...,k kX − ci k2 ) = P γ(c, .)
c = (c1 , . . . , ck ) dictionnaire
ci mot
Fonction de contraste
( d k
(R )
γ:
(c
×
,
Rd
x)
−→
7−→
R
min kci − x k2
i =1,...,k
Quantication par Voronoï
Stratégie de l'ERM
Stratégie ERM
X1 , . . . , Xn un n-échantillon.
On veut : c∗ = arg min P γ(c, .)
On a : n1
Pn
2
i =1 minj =1,...,k kXi − cj k = Pn γ(c, .)
→ ĉn ∈ arg min Pn γ(c, .)
Quantication par Voronoï
Stratégie de l'ERM
Stratégie ERM
X1 , . . . , Xn un n-échantillon.
On veut : c∗ = arg min P γ(c, .)
On a : n1
Pn
2
i =1 minj =1,...,k kXi − cj k = Pn γ(c, .)
→ ĉn ∈ arg min Pn γ(c, .)
Ce qu'on veut majorer/minorer
(def)
`(ĉn , c∗ ) =
R (ĉn ) − R (c∗ ) or /and
E`(ĉn , c∗ )
Vitesses faibles
Vitesses faibles
Linder 94
On suppose que Supp(P ) ⊂ B(0, 1). Alors
√
∗
kd
n
E`(ĉn , c ) . √ .
Vitesses faibles
Vitesses faibles
Biau, Devroye, Lugosi 2008
On suppose que Supp(P ) ⊂ B(0, 1). Alors
k
n
E`(ĉn , c∗ ) . √ .
Vitesses faibles
Vitesses faibles
Biau, Devroye, Lugosi 2008
On suppose que Supp(P ) ⊂ B(0, 1). Alors
k
n
E`(ĉn , c∗ ) . √ .
Vitesse minimax (Bartlett, Linder and Lugosi 1998)
Soit P l'ensemble des distributions à support inclus dans B(0, 1).
Quels que soient k , d et n ≥ a0 k ,
sup E`(ĉn , c ) & k
P ∈P
∗
r
k 1−4/d
.
n
Vitesses rapides
Condition de marge
Condition de marge
N ∗ squelette de Voronoï
N ∗ (ε) = {x |d (x , N ∗ ) ≤ ε} ε-voisinage
p(ε) = P(N ∗ (ε))
Vitesses rapides
Condition de marge
Condition de marge
Vitesses rapides
Condition de marge
Condition de marge
N ∗ squelette de Voronoï
N ∗ (ε) = {x |d (x , N ∗ ) ≤ ε} ε-voisinage
p(ε) = P(N ∗ (ε))
Condition de marge
Supp(P ) ⊂ B(0, 1), et
∃r0
où
x ≤ r0
⇒
p(x ) ≤ ax ,
a est déterminé en fonction de P et k .
Vitesses rapides
Condition de marge
Condition de marge
Condition de marge
Supp(P ) ⊂ B(0, 1), et
∃r0
où
x ≤ r0
⇒
p(x ) ≤ ax ,
a est déterminé en fonction de P et k .
Exemple :
Gap : p (x ) = 0 if
x ≤r
Vitesses rapides
Condition de marge
Condition de marge
Condition de marge
Supp(P ) ⊂ B(0, 1), et
∃r0
où
x ≤ r0
⇒
p(x ) ≤ ax ,
a est déterminé en fonction de P et k .
Exemple :
Mélange gaussien ou presque :
pmin
pmax
>
512k σ 2
2k 2
−B̃ 2 /32σ 2
,
∨
e
2
2
2
(1 − )B̃ 2 (1 − e −B̃ /128σ ) (1 − )σ
Vitesses rapides
Degré de séparation
Degré de séparation
Vitesses rapides
Degré de séparation
Degré de séparation
−→ δ écart de risque entre minimiseurs locaux seulement et
minimiseurs globaux
Vitesses rapides
Convergences rapides
Vitesse dimensionnée
L.2012
Si Supp(P ) ⊂ B(0, 1),
P est δ-séparée et satisfait une CM, alors
∗
E`(ĉn , c
−→ κ0 (P ) = 4k
1
δ
∨p
R (c∗ )
1
) . κ0 (P )
+O
n
n2
64
2 2
min B r0
Vitesses rapides
Convergences rapides
Vitesse adimensionnée
L.2013
Si Supp(P ) ⊂ B(0, 1),
P est δ-séparée et satisfait une CM, alors
E`(ĉn , c∗ ) . κ0 (P )
C (P )
2
n3
Une perspective : quantication et sélection de variable
Procédure type Lasso
Quantication et sélection de variable selon
ĉn,λ ∈ arg min Pn γ(c, .) + λn kck1
Une perspective : quantication et sélection de variable
Procédure type Lasso
Quantication et sélection de variable selon
ĉn,λ ∈ arg min Pn γ(c, .) + λn kck1
Résultats verts
6k
−→ Si λ ≥ √
n , alors
E`(ĉn,λ , c∗ ) ≤ inf (`(cR , c∗ ) + 2λR ) +
R >0
2λ
k
c
0
+√
n
Une perspective : quantication et sélection de variable
Procédure type Lasso
Quantication et sélection de variable selon
ĉn,λ ∈ arg min Pn γ(c, .) + λn kck1
Résultats verts
−→ Si
P satisfait une CM, et λ &
grand,
√
k√
log(kd )
n , alors, pour
kĉn,λ − c∗n k1 ≤
avec
C (√k , d )
,
n
c∗n ∈ arg min `(c, c∗ ) + c0 λ2 kck0 .
n assez
Une perspective : quantication et sélection de variable
Merci de votre attention