De la parcimonie à la synthèse à la parcimonie à la synthèse à la

Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
De la synthèse aux jauges en passant par
l’analyse.
Charles Dossal1
Samuel Vaiter2
Fadili3
1 IMB
Jalal
CNRS-Université Bordeaux
2 CEREMADE
3 GREYC
Gabriel Peyré2
CNRS-Université Paris Dauphine
CNRS-ENSICAEN-Université de Caen
23 Juin 2014, Séminaire Hermite, Journée Parcimonie
Introduction
Minimisation `1
Minimisation `1 analyse.
Plan
Motivation
Questions et notations.
Minimisation `1 (Synthèse)
Un problème de géométrie.
Certificat et précertificats duaux.
Conditions d’identifiabilité et de robustesse au bruit
Régularisation analyse.
Extension des résultats obtenus en synthèse.
Exemples
Extension aux jauges convexes.
Conclusion
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Problème direct
Un modèle de mesures linéaires
On considère les modèles d’observation suivants :
y = Φx 0
(1)
y = Φx 0 + b
(2)
et
où x ∈ RN , y ∈ RQ est le vecteur observé, Φ est une matrice
Q × N non inversible ou mal conditionnée et b un vecteur de
R Q tel que kbk2 6 ε.
Questions
Estimer x 0 à partir de y , problème inverse mal posé.
Estimer le support I de x à partir de y .
Stabilité d’un estimateur par rapport au bruit.
Introduction
Minimisation `1
Minimisation `1 analyse.
Exemples
Inpainting, 93 % pixels manquants en TV
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Exemples
Inpainting, 93 % pixels manquants en TV
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Exemples
Inpainting en `1 synthèse ondelettes
50
100
150
200
250
300
350
400
450
500
50
100
150
200
250
300
350
400
450
500
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Exemples
Inpainting en `1 synthèse ondelettes
50
100
150
200
250
300
350
400
450
500
50
100
150
200
250
300
350
400
450
500
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Exemples
Déconvolution en `1 synthèse ondelettes
50
100
150
200
250
50
100
150
200
250
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Exemples
Déconvolution en `1 synthèse ondelettes
50
100
150
200
250
50
100
150
200
250
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Régularisation convexe
Régularisation convexe
Soit J une fonction convexe sci définie sur RN
Si les données ne sont pas bruitées, on considère
x ? = arg min J(x) tel que y = Φx.
(3)
x∈RN
Si les données sont bruitées on peut considérer les 2 problèmes
suivants
x ? = arg min J(x) tel que
x∈RN
et
x ? = arg min λJ(x) +
x∈RN
ky − Φxk2 6 ε.
1
ky − Φxk22 .
2
(4)
(5)
Introduction
Minimisation `1
Minimisation `1 analyse.
Identifiabilité et robustesse
Identifiabilité
A quelle condition x 0 est il solution de (3) ?
A quelle condition x 0 est il l’unique solution de (3) ?
Robustesse dans le cas bruité
Peut on contrôler x 0 − x ? ?
Support de x ? (si cette notion a un sens) ?
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Régularisation `1
La minimisation `1
Si les données ne sont pas bruitées, on considère
x ? = arg min kxk1 tel que y = Φx.
(6)
x∈RN
Si les données sont bruitées on considère la forme relaxée :
x ? = arg min λ kxk1 +
x∈RN
1
ky − Φxk22 .
2
(7)
Par un changement de variable simple, cette formulation est
équivalente quand T est une transformée inversible à
x ? = arg min kTxk1 tel que y = Ψx.
x∈RN
On pose en effet z = Tx et y = ΨT −1 z.
Introduction
Minimisation `1
Minimisation `1 analyse.
Notations
Notations et définition
Le support I d’un vecteur x est défini par
I = {i tels que x(i) 6= 0},
Le signe d’un vecteur est défini par
sign(x)(i) = 1 si x(i) > 0
sign(x)(i) = −1 si x(i) < 0
sign(x)(i) = 0 si x(i) = 0
La restriction d’un vecteur x à son support xI , c’est un
vecteur de taille cardinal de I (|I |).
ΦI désigne la matrice extraite de Φ composée des colonnes de
t
−1 t
Φ indicées sur I et Φ+
I = (ΦI ΦI ) ΦI sa pseudoinverse.
On dira qu’un vecteur x 0 est identifiable s’il est solution de
(6) avec y = Φx 0 .
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Sous différentielle ou sous gradient
définition de la sous différentielle
Si f est une fonction convexe sci, en tout point x on définit la sous
différentielle de f en x
∂f (x) = {u ∈ RN tels que ∀z ∈ RN , f (z) > f (x) + hu, z − xi}.
Propriétés
La sous différentielle peut être multivaluée.
Chaque élément de ∂f (x) correspond à un hyperplan tangent
à f au point x.
Si f est différentiable alors ∂f (x) = {∇f (x)}.
x ? est un minimiseur de f ssi 0 ∈ ∂f (x ? ).
∂ k·k1 (x) = {u tels que kuk∞ 6 1 et uI = sign (xI )}
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Minimisation `1 et géométrie des polytopes
Géométrie
x 0 est identifiable ssi Φx 0 ∈ ∂Φ(B`1 (x 0 1 )).
x 0 est identifiable ssi l’image de la face associé à x 0 est une
face extérieure du polytope P = Φ(B`1 ).
L’identifiabilité de x 0 ne dépend que du signe de x 0 et de son
support.
x1 = ( 13 , 0, 23 ), Φx1 ∈
/ ∂P.
x1 n’est pas identifiable
x2 = ( 35 , 0, − 25 ), Φx2 ∈ ∂P.
x2 est identifiable.
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Certificats duaux
Définition
Un vecteur η ∈ Rn est un certificat dual associé à x 0 ssi
ΦtI η = sign xI0 et kΦt ηk∞ 6 1 (i.e Φt η ∈ ∂ k·k1 (x 0 )).
Théorèmes
x 0 est identifiable ssi il existe un certificat dual η associé à x 0 .
Si rang (ΦI ) = |I | et si kΦtI c ηk∞ < 1 alors x 0 est l’unique
minimiseur de (6).
Dualité de Fenchel : deux problèmes liés
min kxk1 sous la contrainte Φx = y
x∈RN
minn hη, y i sous la contrainte Φt η ∞ 6 1
η∈R
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Certificat dual et géométrie
Hyperplans tangents
A un certificat dual est associé un hyperplan tangent au
polytope P.
Un certificat peut ne pas être unique.
η0 et η1 sont deux certificats
duaux associés à
x3 = (−1, 0, 0). Ils
définissent chacun une droite
tangente au polytope P au
point Φx3
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Comment trouver un Certificat dual ?
Définition de précertificat
0
Un vecteur η est
un précertificat au point x de support I ssi
t
0
ΦI η = sign xI .
Exemples et propriétés
Si rang (ΦI ) = |I | alors η0 = Φ+t
sign xI0 est un précertificat.
I
0 Si IC (x 0 ) = ΦtI c Φ+t
< 1 alors η0 est un
I sign xI
∞
0
certificat dual et x est l’unique solution de (6) (Fuchs)
t +t Si ERC (I ) = maxj ∈I
/ ϕj ΦI < 1 alors tout vecteur x de
1
support inclus dans I est identifiable, (voir Tropp).
D’autres constructions explicites (Super-résolution voir Candès
et Granada ou Duval et Peyré).
Construction itérative (matrices aléatoires, Candès et Tao,
matrices déterministes Nicodème, D. et Turcu).
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Robustesse au Bruit
Critère IC
Si IC (x 0 ) < 1 alors si b est suffisamment petit, le support et
le signe de x ? sont égaux à ceux de x 0 pour λ 6 λ0
De plus on a une formulation explicite de la solution :
xI? = xI0 − λ(ΦtI ΦI )−1 sign xI0 + Φ+
I b.
Robustesse à un bruit quelconque (Grasmair)
Si λ = C ε, la solution x ? de (7), et η est un certificat dual
associé à x 0 alors
?
x − x 0 6 cI (1+C kηk )+
2
2
où cI = Φ−1
I
(1 + C kηk2 /2)2
1 + cI kΦk
1 − maxj ∈I
C
/ |hϕj , ηi|
(8)
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Au delà de la synthèse
Certificats pour des fonctionnelles J
Un vecteur η est un certificat associé à x 0 pour la
fonctionnelle J ssi Φt η ∈ ∂J(x 0 ).
L’existence d’un certificat assure l’identifiabilité pour une
fonctionnelle J, c’est une CNS d’identitifiabilité
Construction d’un certificat plus complexe.
Critères d’identifiabilité moins facilement calculable.
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Régularisation analyse
Régularisation analyse
Considérons les problèmes suivants :
xs = arg min D t x 1 tel que y = Φx.
(9)
x∈RN
1
xs = arg min λ D t x 1 + ky − Φxk22 .
2
x∈RN
(10)
où D est un opérateur linéaire quelconque (Frame
d’ondelettes, Gradient discret).
Soit x 0 un vecteur de RN , I = {i tels que hdi , xi =
6 0} son
c
D-support et I sont co-support.
Soit G = Ker (DItc ) et U une base orthonormée de G . On note
A = U(U t Φt ΦU)−1 U t et Ω = DI+c (Φt ΦA − Id)DI .
IC (s) = minu∈Ker (DI c ) kΩsI − uk∞ .
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Théorème d’identifiablité Analyse
Théorème
Si IC (sign D t x 0 ) < 1, si kbk2 est suffisamment petit, et si
λ ∼ kbk2 alors
x ? (y , λ) = x 0 − λADI sI + AΦt b
(11)
est l’unique solution de (10).
t ?
De plus x ? (y , λ) ∈ G et sign Dt x 0 = sign
(D x (y , λ)).
0
?
Si kbk2 est suffisamment petit x − x = 0(kbk2 ).
Remarques sur IC
La condition IC est une condition suffisante d’identifiabilité.
C’est une CNS de stabilité locale du support.
Le calcul de IC (s) peut nécessiter la résolution d’un problème
d’optimisation (algo Primal Dual).
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Extension du critère ERC de Tropp
Définition de RC (Analyse Recovery Criterion)
Soit I un support, on définit
RC (I ) = max IC (pI )
kpI k∞
(12)
Théorème
cI
Si RC (I ) < 1 pour I = Supp(D t x 0 ) et si λ = ρ kbk2 1−RC
(I ) avec
ρ > 1, alors (10) a une unique solution x ? (y , λ) dont le support
supp(D t x ? (y , λ)) ⊂ I et
kx ? (y , λ)k2 6 CI kbk2 , où
cI = DI c Φt (ΦAΦt − Id)2,∞ ,
ρcI
CI = kAk2,2 kΦk2,2 +
kDI k2,∞
1 − RC (I )
(13)
Introduction
Minimisation `1
Minimisation `1 analyse.
Debruitage TV
Débruitage par Variation Totale
t x) = (x − x
Φ = Id, (D t x)i = (DDIF
i
i
i−1 ).
+
t
0
s = sign D x , σ = ΩsI = DI c DI sI et IC (s) = kσk∞ .
Dessin du dessus vecteur
x 0.
2
1.5
En rouge le vecteur sI .
1
0.5
1
2
3
4
5
6
7
En bleu le vecteur σ.
1
IC (s) = kσk∞ < 1, le
vecteur est identifiable.
0.5
0
−0.5
−1
1
2
3
4
5
6
7
Stabilité du support à
petit bruit.
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Debruitage TV
Débruitage par Variation Totale
t x) = (x − x
Φ = Id, (D t x)i = (DDIF
i
i
i−1 ).
+
t
0
s = sign D x , σ = ΩsI = DI c DI sI et IC (s) = kσk∞ .
Dessin du dessus vecteur
x 0.
2
1.5
En rouge le vecteur sI .
1
0.5
1
2
3
4
5
6
7
En bleu le vecteur σ.
1
IC (s) = kσk∞ = 1, le
vecteur est identifiable.
0.5
0
−0.5
−1
1
2
3
4
5
6
7
Mais pas de stabilité du
support à petit bruit.
Jauges
Introduction
Minimisation `1
CS-Fused Lasso
CS-Fused Lasso
Φij ∼ i.i.dN (0, 1/Q).
D = [DDIF ηId ]
s = sign D t x 0 .
Minimisation `1 analyse.
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Valeur de IC
1
1
0.5
IC
0
0.8
−0.5
−1
0.9
20
40
60
80
100
120
0.5
0.6
0.7
0.8
0.9
1
0.8
0.9
1
0.8
0.9
1
Q/N
1
1.4
0.5
IC
0
−0.5
−1
1.2
1
20
40
60
80
100
120
0.5
0.6
0.7
Q/N
1
2
0.5
IC
0
1.5
−0.5
−1
20
40
60
80
100
120
1
0.5
0.6
0.7
Q/N
Introduction
Minimisation `1
Minimisation `1 analyse.
Quid des autres régularisations
Certificat duaux
η est un certificat dual associé à x 0 ssi Φt η ∈ ∂J(x 0 ).
Intérêt d’une strucute de ∂J particulière.
La sous diffrentielle d’une jauge (forte) a une structure qui
permet d’étendre les résultats précédents.
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Définition et propriétés
Si C est un convexe contenant l’origine, sa jauge est définie
par
γC (x) = inf{λ > 0 tels que x ∈ λC }.
γC (x) = +∞ si l’ensemble est vide.
La sous différentielle de la jauge est :
∂γC (x) = {p ∈ RN | p ∈ C 0 et hp, xi = γC (x)}.
où C 0 est le polaire de C .
C 0 = {z ∈ R N tels que ∀x ∈ C , hx, zi 6 1}.
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Généralisation à une jauge
Jauge
On note S¯x = aff ∂J(x),
ex = arg mine∈S¯x kek et Sx = S¯x − ex et Tx = Sx⊥ .
ex correspond au vecteur signe.
Tx appelé espace modèle tangent correspond à l’espace
vectoriel engendré par les colonnes de ΦI .
Si fx appartient à l’intérieur relatif de ∂J(x) alors
∂J(x) = {p ∈ RN |pTx = ex et Jfx,0
(PSx (p − fx )) 6 1}. (14)
x
où Jfx,0
est la jauge polaire de J translatée de fx .
x
x ? est un minimiseur de (3) ssi il existe un vecteur η tel que
ΦtT η = ex et Jfx,0
(ΦtS η − PS (fx )) 6 1.
x
Jauges
Introduction
Minimisation `1
Minimisation `1 analyse.
Jauges
Extension de la définition de IC
IC pour des jauges
Si J est une jauge alors on peut définir l’Identifialibility Criterion IC
(ΦtSx Φ+,t
IC (x) = Jfx,0
Tx ex − PSx (fx)).
x
qui ne dépend pas du choix de fx .
(15)
Introduction
Minimisation `1
Minimisation `1 analyse.
The end
Merci
Jauges