Optimisation numérique

Optimisation numérique
La méthode d’Uzawa
Daniele Di Pietro
A.A. 2013–2014
Outline
1 Rappels
2 La méthode d’Uzawa
3 Dualité et interprétation de la méthode d’Uzawa
Rappel : Projection sur un convexe I
Soit V un EHR et K ⊂ V un convexe fermé
Soit v ∈ K. Le problème de projection sur K est défini par
kΠK v − vkV = min kw − vkV
w∈K
La solution du problème de projection est caractérisée par
(ΠK v − v, w − ΠK v)V ≥ 0
∀w ∈ K.
(car. ΠK )
Cette inégalité a été prouvée en TD
Rappel : Projection sur un convexe II
En général, la projection ΠK v n’est pas connue explicitement
Une exception remarquable est le cas où K est un pavé,
K=
N
Y
[ai , bi ],
ai , bi ∈ R ∀1 ≤ i ≤ N
i=1
Soit x ∈ RN . On a montré en TD que
(ΠK (x))i = max(ai , min(xi , bi )),
à savoir, il suffit de “tronquer” le composantes de x pour obtenir sa
projection sur le pavé
Rappel : Somme de deux fonctions dont une seule dérivable
Lemme (Inéquations d’Euler pour la somme de deux fonctions dont une
seule dérivable)
Soit V un EHR et K ⊂ V convexe, J1 et J2 deux fonctions convexes
continues sur K. On suppose que J1 seulement est dérivable. Alors,
u ∈ K est un minimum de J1 + J2 sur K ssi
hJ10 (u), v − uiV 0 ,V + J2 (v) − J2 (u) ≥ 0
∀v ∈ K.
Outline
1 Rappels
2 La méthode d’Uzawa
3 Dualité et interprétation de la méthode d’Uzawa
(Euler J1 + J2 )
La Méthode d’Uzawa I
Soit V un EHR, J : V → R une fonctionnelle convexe et
F : V → RM une fonction convexe
On considère le problème de minimisation sous contrainte
(Π)
inf J(v)
F (v)≤0
Sous les hypothèses du Théorème Kuhn–Tucker résoudre (Π) revient
à trouver un point selle (PS) (u, p) du Lagrangien
L(v, q) := J(v) + q·F (v)
dans V × Q avec Q := RM
+
La Méthode d’Uzawa II
Par définition de PS on a
∀q ∈ Q
L(u, q) ≤ L(u, p) ≤ L(v, p)
∀v ∈ V
En utilisant la première inégalité on obtient pour tout q ∈ Q
+ q·F (u) ≤ J(u)
J(u)
+ p·F (u)
⇐⇒ (p − q)·F (u) ≥ 0
⇐⇒ (p − q)·(µF (u)) ≥ 0 ∀µ > 0
⇐⇒ (p − q)·((p + µF (u)) − p) ≥ 0 ∀µ > 0
Ceci implique
p = ΠQ (p + µF (u))
∀µ > 0
(car. p)
La Méthode d’Uzawa III
La Méthode d’Uzawa consiste
fixer p0 ∈ Q et µ > 0 paramètre utilisateur
pour tout n ≥ 0, poser
L(un , pn ) = inf L(v, pn ),
v∈V
pn+1 = ΠQ (pn + µF (un )),
(U1)
(U2)
Cela revient à resoudre deux problèmes de minimisation sans
contrainte dont un est une projection sur le pavé Q = RM
+
La Méthode d’Uzawa IV
Lemme (Convergence de la méthode d’Uzawa)
Soit J fortement convexe de paramètre α et différentiable, F : V → RM
convexe et Lipschitzienne, à savoir,
∃C ∈ R, ∀v, w ∈ V
kF (v) − F (w)k2 ≤ Ckv − wkV .
On suppose de plus que L admet un PS sur V × Q. Alors,
0<µ<
2α
=⇒ un → u lorsque n → +∞
C2
La Méthode d’Uzawa V
On commence par remarquer que
L admet un PS =⇒ (Π) admet une solution
J fort. convexe =⇒ la sol. de (Π) est unique
Soit q ∈ Q fixé et G := J + q·F . On peut montrer que G est
fortement convexe de paramètre α (exercice) et on a
G fort. convexe, K convexe =⇒ (U1) admet une unique sol
On a prouvé en TD que (U2) admet une solution unique
La Méthode d’Uzawa VI
D’après (car. p) et (U2), en posant rn := pn − p on a
rn+1 = ΠQ (pn − p + µ(F (un ) − F (u)))
= ΠQ (rn + µ(F (un ) − F (u)))
Comme ΠQ est faiblement contractant on a
krn+1 k2 ≤ krn + µ(F (un ) − F (u))k2
En élevant au carré et en développant on obtient
krn+1 k22 = krn k22 + 2µrn ·(F (un ) − F (u)) + µ2 kF (un ) − F (u)k22
Comme F est Lipschitzienne, kF (un ) − F (u)k22 ≤ C 2 kun − uk2V
Il ne reste qu’à estimer le seconde terme
La Méthode d’Uzawa VII
D’après les inégalités d’Euler enoncées en debut de séance,
hJ 0 (u), v − uiV 0 ,V + p· (F (v) − F (u)) ≥ 0
∀v ∈ V
hJ 0 (un ), w − un iV 0 ,V + pn · (F (w) − F (un )) ≥ 0
∀w ∈ V
En prenant v = un , w = u et additionnant on obtient
hJ 0 (u) − J 0 (un ), un − uiV 0 ,V + (p − pn )· (F (un ) − F (u)) ≥ 0
Comme J est fortement convexe de paramètre α,
hJ 0 (u) − J 0 (un ), un − uiV 0 ,V ≤ −αkun − uk2V
Comme, par définition, rn := pn − p, on a donc
rn · (F (un ) − F (u)) ≤ −αkun − uk2V
La Méthode d’Uzawa VIII
Nous avons donc
krn+1 k22 ≤ krn k22 + µ2 C 2 − 2µα kun − uk2V
Si 0 < µ < 2α/C 2 , on peut trouver β > 0 t.q. C 2 µ2 − 2µα < −β,
0 ≤ βkun − uk2V ≤ krn k22 − krn+1 k22
Ceci montre que la suite (krn k22 )n∈N est décroissante et le seconde
membre tend vers 0
Par conséquent,
kun − ukV → 0 lorsque n → +∞
La Méthode d’Uzawa IX
Une remarque importante est que ce théorème ne dit rien de la
convergence de (pn )n∈N
En effet, sous ces hypothèses, l’unicité de p ∈ Q t.q. (u, p) soit PS
de L n’est même pas assurée
L’algorithme d’Uzawa peut s’appliquer aussi à des sous-ensembles K
de forme plus générale
Outline
1 Rappels
2 La méthode d’Uzawa
3 Dualité et interprétation de la méthode d’Uzawa
Dualité I
Une interpretation intéressante de la méthode d’Uzawa s’obtient en
utilisant la dualité
Soit V et Q deux EHR, L un Lagrangien défini sur une partie U × P
de V × Q
On suppose qu’il existe un PS de L sur U × P ,
∀q ∈ P
L(u, q) ≤ L(u, p) ≤ L(v, p) ∀v ∈ U
Pour v ∈ U et q ∈ P on pose
I(v) := sup L(v, r)
G(q) := inf L(w, q)
r∈P
w∈U
Dualité II
Définition (Problème primal et problème dual)
On appelle problème primal le problème de minimisation
inf I(v),
v∈U
et problème dual le problème de maximisation
sup G(q).
q∈P
Dualité III
Comme on a suppose qu’il existe un PS (u, p) de L sur U × P ,
I(u) = G(p) = L(u, p)
Ceci montre que les ensembles
{v ∈ U | I(v) < +∞},
{q ∈ P | G(q) > −∞},
ne sont pas vides car
I(u) = G(p) = L(u, p)
Dualité IV
Théorème (De dualité)
Le couple (u, p) est PS de L sur U × P ssi
I(u) = min I(v) = max G(q) = G(p),
v∈U
q∈P
(min-max)
à savoir, on peut échanger l’ordre du max et du min s’ils sont atteints.
Dualité V
(u, p) PS de L sur U × P =⇒ (min-max)
Pour tout v ∈ U , I(v) = supq∈P L(v, q) et L(u, p) ≤ L(v, p), donc
I(v) ≥ L(v, p) ≥ L(u, p) := L∗
D’autre part, comme (u, p) est PS, I(u) = L∗ , ce qui montre
I(u) = inf I(v) = L∗
v∈U
(l’infimum est atteint)
On montre de la même façon que le supremum est atteint
G(p) = sup G(q) = L∗
q∈P
Dualité VI
(min-max) =⇒ (u, p) PS de L sur U × P
Soit maintenant L∗ := I(u) = G(p)
Par définition,
I(v) = sup L(v, q)
=⇒ (L(u, q) ≤ I(u) = L∗
∀q ∈ P )
=⇒ (L(v, p) ≥ G(p) = L∗
∀v ∈ U )
q∈P
G(q) = inf L(v, q)
v∈U
En appliquant la définition de PS on conclut que (u, p) est PS de L
sur U × P
Interprétation de la méthode d’Uzawa I
Le problème dual de
inf J(v)
F (v)≤0
s’écrit pour Q := RM
+
sup G(q) := inf L(v, q)
q∈Q
v∈V
(Π0 )
Le multiplicateur de Lagrange p est une solution du problème dual
Interprétation de la méthode d’Uzawa II
On peut montrer sous des hypothèses très générales que
G 0 (q) = F (uq ),
avec uq solution de (Π0 )
En remplaçant cette expression dans (U2) on conclut
pn+1 = ΠQ (pn + µG 0 (pn )),
ce qui montre que la méthode d’Uzawa n’est rien d’autre que la
méthode du gradient avec projection pour le problème dual
A noter que cette fois-ci on a à faire à un problème de maximisation,
d’où le changement de signe