Minimisation de crit`eres par approximation quadratique majorante

UMR CNRS 6597
Minimisation de critères par approximation
quadratique majorante pour la restauration d’image
Jérôme IDIER
[email protected]
http://www.irccyn.ec-nantes.fr/~idier
Institut de Recherche en Communications et Cybernétique de Nantes
Équipe Analyse et décision en traitement du signal et de l’image
GDR ISIS, Paris, 17 mars 2008
J. Idier — GDR ISIS, 17/03/08
2/18
Mots-clés
• Algorithmes semi-quadratiques, formes tronquées par gradient conjugué,
• Algorithmes du gradient conjugué non linéaire sans recherche de pas,
• Algorithme de moindres carrés repondérés,
• Algorithme de Newton et de quasi-Newton,
• Algorithmes MM
Marc Allain, décembre 2002 : Approche pénalisée en tomographie hélicoı̈dale. Application à la conception d’une prothèse personnalisée du genou, thèse de doctorat en
cotutelle, Université de Paris-Sud / École Polytechnique de Montréal, décembre 2002
Christian Labat, décembre 2006 : Algorithmes d’optimisation de critères pénalisés pour
la restauration d’images. Application à la déconvolution de trains d’impulsions en imagerie ultrasonore, thèse de doctorat, École Centrale de Nantes, décembre 2006
J. Idier — GDR ISIS, 17/03/08
3/18
Plan
I.
« Rappels »
II.
Contributions
J. Idier — GDR ISIS, 17/03/08
4/18
I. « Rappels »
5/18
I. « Rappels »
Restauration d’image
• Imagerie biomédicale,
• Géophysique,
• Contrôle non destructif par ultrasons,
• Imagerie satellite, ...
Estimer x à partir de y = H x + n
Exemple (bateau de p^
eche)
N = 512 × 512
PSF gaussienne
(σ = 2.24 pixels)
RSB 40dB
x
y
6/18
I. « Rappels »
Formulation pénalisée
b = arg min J (x) = ky − Hxk2 + λ
x
x
φ(vct x)
Σ
c∈C
e.g., vct x = xr − xs , c = {r, s} : paires de pixels voisins horizontaux ou verticaux
Préservation des discontinuités ; φ non quadratique
√
φ(t) = δ 2 + t2
φ(t) = ln(δ 2 + t2 )
[Charbonnier et coll. 1997]
[Hebert et Leahy 1989]
7/18
I. « Rappels »
Approximations quadratiques majorantes
[Ortega et Rheinboldt 1970, Voss et Eckhardt 1980]
Soit JbB (x′ , x) = J (x) + (x′ − x)t ∇J (x) + (x′ − x)t B(x) (x′ − x)/2
Supposons qu’il existe B(·) > 0 tel que JbB (x′ , x) > J (x′ ),
⇓
• JbB approximation quadratique majorante,
bB (x′ , x) 6 J (x),
J
• min
′
∀x, x′ ∈ RN
JbB (·, xk )
x
• arg min JbB (x′ , x) = x − B−1 (x)∇J (x)
x′
⇓
AQM : xk+1 = xk − B−1 (xk )∇J (xk )
Version relaxée : xk+1 = xk − θB
−1
(xk )∇J (xk )
J
xk
xk+1
8/18
I. « Rappels »
Historique
Problème de Fermat-Weber
N
min
x
kx − xn k2
Σ
n=1
AQM : algorithme de Weiszfeld
[Weiszfeld 1937, Kuhn 1973]
Régression robuste
N
min
x
φ(yn − vnt x)
Σ
n=1
AQM : moindres carrés repondérés : IRLS, RSD
[Beaton et Tukey 1974, Byrd et Payne 1979, Huber 1981]
9/18
I. « Rappels »
Approche markovienne en restauration d’image
b = arg min ky − Hxk2 + λ Σ φ(vct x)
x
c∈C
x
AQM : Algorithmes semi-quadratiques (SQ) : ARTUR / GR, LEGEND / GY
[Geman et Reynolds 1992, Geman et Yang 1995, Charbonnier et coll. 1997]
Dictionnaires et parcimonie
b = arg min ky − HWxk2 + λ kxkpp ,
x
p61
x
AQM : FOCal Underdetermined System Solver (FOCUSS)
[Gorodnitsky et Rao 1997, Rao et coll. 2003] ; voir aussi [Fuchs 2007]
Weiszfeld
=
IRLS
RSD
=
=
ARTUR / GR
LEGEND /GY
=
FOCUSS
J. Idier — GDR ISIS, 17/03/08
10/18
II. Contributions
11/18
II. Contributions
Deux variantes SQ
LEGEND/GY
1 2
2u
− φ convexe
⇓
∃ζ tel que φ(u) = inf
b∈R
1
2 (u
⇓
BGY = 2Ht H + Vt V,
2
− b) + ζ(b)
V = [v1 |...|vC ]
t
ARTUR/GR
√
φ C 1 , paire, φ( .) concave sur R+
⇓
2
∃ψ tel que φ(u) = inf bu + ψ(b)
b∈R
⇓
BGR (x) = 2Ht H + Vt L(x)V,
L(x) = Diag
φ
′
(vct x)
vct x
12/18
II. Contributions
Convergence [Charbonnier et coll. 1997, Allain et coll. 2006]
B(x) = BGY = 2Ht H + Vt V
J coercif, φ C 1 , θ ∈ ]0, 2[,
B(x) = BGR = 2Ht H + Vt L(x)V
ou
xk+1 = xk − θB−1 (xk )∇J (xk )
⇓
lim ∇J (xk ) = 0
k→∞
Inconvénient en restauration d’image : efficacité ց
ց quand N ր
Variante 1 [Charbonnier et coll. 1997, Nikolova et Ng 2005]
Calcul approché de B−1 (xk )∇J (xk ) par GC (préconditionné) : SQ+GC
Variante 2 [Fessler et Booth 1999]
Algorithme GC non linéaire (préconditionné) + SQ scalaire : GCNL+SQ1D
13/18
II. Contributions
Variante 1 : SQ+GC
Principe
xk+1 = xk + θdk
dk = uIk (xk )
où uI (x) est la solution après I itérations de GC(P) appliquées à
B(x) u = −∇J (x)
Questions ouvertes
krésiduIk k
6 ε, e.g., ε = 10−6 ?
• Comment choisir Ik ? Tel que
krésidu0 k
• Convergence ?
∀Ik > 1,
lim ∇J (xk ) = 0 [Labat et Idier 2007]
k→∞
14/18
II. Contributions
Problème simulé (bateau de p^
eche)
GR+GC
GR+GCP (transformée en cosinus)
1400
600
1200
500
temps (s)
temps (s)
1000
800
600
400
300
200
400
100
200
0
0
1
10
20
30
40
50
60
70
80
90
1
5
10
15
20
25
sous-itérations Ik
sous-itérations Ik
ε = 10−6 =⇒ Ik ∈ [60, 100]
ε = 10−6 =⇒ Ik ∈ [20, 30]
30
15/18
II. Contributions
Variante 2 : GCNL+HQ1D
Principe
dk = −M−1 ∇J (xk ) + βk dk−1
xk+1 = xk + αk dk
M > 0 : matrice de préconditionnement
Statégies de pas
1. Pas constant αk = θ : pas de garantie de convergence
2. Recherche de pas classique : dichotomie, interpolation, ... + conditions de Wolfe
3. Minimisation de f (α) = J (xk + αdk ) (Ik sous-itérations) [Fessler et Booth 1999]
• Comment choisir Ik ? Ik = 5 ?
• Convergence ?
∀Ik > 1, lim inf ∇J (xk ) = 0 (Polak-Ribière, ...) [Labat et Idier 2008]
k→∞
16/18
II. Contributions
Problème simulé (bateau de p^
eche)
180
Meilleur CG+Wolfe
160
140
CG+GR1D
temps (s)
120
100
PCG+GR1D
(transformée en cosinus)
80
60
Meilleur PCG+Wolfe
40
20
0
1
2
3
4
5
6
sous-itérations Ik
7
8
9
10
17/18
II. Contributions
Bilan comparatif
préconditionnement
non
oui
GR+GC
194,3 s
87,9 s
CG+GR1D
110,7 s
46,9 s
CG+Wolfe
175,5 s
53,3 s
SQ exact
>2000 s
18/18
II. Contributions
Conclusions/Perspectives
Algorithmes semi-quadratiques
;
Algorithmes de quasi-Newton tronqués et de gradient conjugué
sans recherche de pas
Pas d’algorithme emboité : simplicité + rapidité + convergence
Perspectives
• Extension à φ non différentiable ?
• Extension aux algorithmes à mémoire de gradient ?
• Les algorithmes SQ sont des algorithmes MM [Lange et coll. 2000]
; Généralisations possibles ?
Bibliographie
[Allain et coll. 2006] M. Allain, J. Idier et Y. Goussard. On global and local convergence of half-quadratic algorithms.
IEEE Trans. Image Processing, 15 (5) : 1130–1142, mai 2006.
[Beaton et Tukey 1974] A. E. Beaton et J. W. Tukey. The fitting of power series, meaning polynomials, illustrated on
band-spectroscopic data. Technometrics, 16 : 147–185, 1974.
[Byrd et Payne 1979] R. H. Byrd et D. A. Payne. Convergence of the iteratively reweighted least squares algorithm
for robust regression. Rapport Interne 313, The Johns Hopkins Univ., Baltimore, MD, USA, juin 1979.
[Champagnat et Idier 2004] F. Champagnat et J. Idier. A connection between half-quadratic criteria and EM algorithms.
IEEE Signal Processing Letters, 11 (9) : 709–712, sep. 2004.
[Charbonnier et coll. 1997] P. Charbonnier, L. Blanc-Féraud, G. Aubert et M. Barlaud. Deterministic edge-preserving
regularization in computed imaging. IEEE Trans. Image Processing, 6 (2) : 298–311, fév. 1997.
[Fessler et Booth 1999] J. A. Fessler et S. D. Booth. Conjugate-gradient preconditionning methods for shift-variant
PET image reconstruction. IEEE Trans. Image Processing, 8 (5) : 668–699, mai 1999.
[Fuchs 2007] J.-J. Fuchs. Convergence of a sparse representations algorithm applicable to real or complex data.
IEEE J. Selected Topics Sig. Proc., 1 (4) : 598–605, déc. 2007. Issue : Convex Optimization Methods for Signal
Processing.
[Geman et Reynolds 1992] D. Geman et G. Reynolds. Constrained restoration and the recovery of discontinuities.
IEEE Trans. Pattern Anal. Mach. Intell., 14 (3) : 367–383, mars 1992.
[Geman et Yang 1995] D. Geman et C. Yang. Nonlinear image recovery with half-quadratic regularization. IEEE
Trans. Image Processing, 4 (7) : 932–946, juil. 1995.
[Gorodnitsky et Rao 1997] I. F. Gorodnitsky et B. D. Rao. Sparse signal reconstruction from limited data using focuss :
a re-weighted minimum norm algorithm. IEEE Trans. Signal Processing, 45 (3) : 600–616, mars 1997.
[Hebert et Leahy 1989] T. Hebert et R. Leahy. A generalized EM algorithm for 3-D Bayesian reconstruction from
Poisson data using Gibbs priors. IEEE Trans. Medical Imaging, 8 (2) : 194–202, juin 1989.
[Huber 1981] P. J. Huber. Robust Statistics. John Wiley, New York, NY, USA, 1981.
Bibliographie
[Kuhn 1973] H. W. Kuhn. A note on Fermat’s problem. Mathematical Programming, 4 : 98–107, 1973.
[Labat et Idier 2007] C. Labat et J. Idier. Convergence of truncated half-quadratic and Newton algorithms, with
application to image restoration. Rapp. tech., IRCCyN, juin 2007.
[Labat et Idier 2008] C. Labat et J. Idier. Convergence of conjugate gradient methods with a closed-form stepsize
formula. J. Optim. Theory Appl., 136 (1), jan. 2008.
[Lange et coll. 2000] K. Lange, D. R. Hunter et I. Yang. Optimization transfer using surrogate objective functions
(with discussion). J. Comput. Graph. Statist., 9 (1) : 1–20, mars 2000.
[Nikolova et Ng 2005] M. Nikolova et M. Ng. Analysis of half-quadratic minimization methods for signal and image
recovery. SIAM J. Sci. Comput., 27 : 937–966, 2005.
[Ortega et Rheinboldt 1970] J. Ortega et W. Rheinboldt. Iterative Solution of Nonlinear Equations in Several Variables.
Academic Press, New York, NY, USA, 1970.
[Rao et coll. 2003] B. D. Rao, K. Engan, S. F. Cotter, J. Palmer et K. Kreutz-Delgado. Subset selection in noise
based on diversity measure minimization. IEEE Trans. Signal Processing, 51 (3) : 760–770, mars 2003.
[Voss et Eckhardt 1980] H. Voss et U. Eckhardt. Linear Convergence of Generalized Weiszfeld’s Method. Computing,
25 : 243–251, 1980.
[Weiszfeld 1937] E. Weiszfeld. Sur le point pour lequel la somme des distances de n points donnés est minimum.
Tôhoku Mathematical Journal, 43 : 355–386, 1937.