Un document sur l`optimisation des fonctions convexes.

8
Chapitre 4
Chapitre 4
Optimisation des fonctions convexes
D6: Un sous-ensemble C de IRn est dit convexe si, pour tout (a, b) ∈ C 2 , [a, b] ⊂ C
(c’est-à-dire pour tout λ ∈ [0, 1], λa + (1 − λ)b ∈ C).
D7 : Une fonction réelle f définie sur C convexe est dite convexe si, pour tout (a, b) ∈ C 2
et pour tout λ ∈ [0, 1], f (λa + (1 − λ)b) ≤ λf (a) + (1 − λ)f (b).
Propriétés :
1) Si C est un convexe de IRn et (fi )i∈I , une famille quelconque de fonctions convexes
alors
a) sup fi est convexe ;
i∈I
b) si I est fini et si (λi )i∈I est une famille de réels positifs, alors
P
λi fi est convexe.
i∈I
2) Si C est un convexe de IRn , si f est une fonction convexe de C sur IR et si ϕ est une
fonction convexe croissante sur IR, alors ϕ ◦ f est une fonction convexe.
Preuve des propriétés :
1)a) fi (λa + (1 − λ)b) ≤ λfi (a) + (1 − λ)fi (b) ≤ λ(sup fi )(a) + (1 − λ)(sup fi )(b). Ceci est
vérifié pour tout i ∈ I donc (sup fi )(λa + (1 − λ)b) ≤ λ(sup fi )(a) + (1 − λ)(sup fi )(b).
1)b) λi ≥ 0 donc λi fi (λa + (1 − λ)b) ≤ λi λfi (a) + λi (1 − λ)fi (b). En faisant la somme, on
a:
X
(
i
λi fi )(λa + (1 − λ)b) ≤ λ(
X
i
λi fi )(a) + (1 − λ)(
X
λi fi )(b).
i
2) f (λa + (1 − λ)b) ≤ λf (a) + (1 − λ)f (b) et, en utilisant la croissance, puis la convexité de
ϕ, on a :
ϕ (f (λa + (1 − λ)b)) ≤ ϕ (λf (a) + (1 − λ)f (b))
≤ λϕ(f (a)) + (1 − λ)ϕ(f (b)).
2
Optimisation des fonctions convexes
9
Caractérisation des fonctions convexes différentiables
TH5 : Soit Ω un ouvert convexe de IRn et f une fonction de Ω sur IR.
1) Si f est différentiable sur Ω, alors f est convexe si et seulement si, pour tout
(x, y) ∈ Ω2 ,
f (y) − f (x) ≥ h∇f (x), y − xi.
2) Si f est de classe C 2 sur Ω, alors f est convexe sur Ω si et seulement si, pour tout
x ∈ Ω, la matrice ∇2 f (x) est positive.
Preuve du TH5 :
1) Si f est convexe, pour θ ∈]0, 1[, on a :
f (x + θ(y − x)) = f ((1 − θ)x + θy) ≤ (1 − θ)f (x) + θf (y)
d’où f (x + θ(y − x)) − f (x) ≤ θ(f (y) − f (x)).
Or f (x + θ(y − x)) = f (x) + θdx f (y − x) + θky − xkε(θ(y − x)).
En simplifiant par θ > 0, on obtient :
dx f (y − x) + ky − xkε(θ(y − x)) ≤ f (y) − f (x)
et en faisant tendre θ vers 0, on a alors :
dx f (y − x) ≤ f (y) − f (x).
Réciproquement, si f (b) ≥ f (a) + da f (b − a) pour tout (a, b) ∈ Ω2 , alors, avec b = y et
a = x + θ(y − x), puis avec b = x et a = x + θ(y − x),
f (y) ≥ f (x + θ(y − x)) + dx+θ(y−x) f (y − x) × (1 − θ)
f (x) ≥ f (x + θ(y − x)) + dx+θ(y−x) f (y − x) × (−θ).
On multiplie la première inégalité par θ, la deuxième par (1 − θ) et on fait la somme :
θf (y) + (1 − θ)f (x) ≥ (θ + 1 − θ)f (x + θ(y − x))
soit f ((1 − θ)x + θy) ≤ (1 − θ)f (x) + θf (y).
2) On applique la formule de Taylor-Mac-Laurin à l’ordre 2 en x :
il existe θ ∈]0, 1[ tel que :
1
f (y) = f (x) + dx f (y − x) + d2x+θ(y−x) f (y − x, y − x).
2
Or d2x+θ(y−x) f (y − x, y − x) ≥ 0 donc f (y) ≥ f (x) + dx f (y − x) et f est convexe.
Réciproquement, si f est convexe, alors, pour tout h ∈ IRn et pour tout t tel que x + th ∈ Ω,
f (x + th) ≥ f (x) + dx f (th).
10
Chapitre 4
Or f (x + th) = f (x) + dx f (th) + 12 t2 d2x f (h, h) + t2 khk2 ε(th). D’où :
d2x f (h, h) + 2khk2 ε(th) ≥ 0
et en faisant t → 0, on obtient finalement d2x f (h, h) ≥ 0.
2
Minimum global d’une fonction convexe.
TH6 : Soit C un convexe de IRn , f une fonction convexe de C sur IR et a ∈ C,
alors
1) un minimum local est un minimum global ;
2) si f est de classe C 1 sur C et si C est ouvert, alors a ∈ ArgC min f si et seulement
si ∇f (a) = 0.
Preuve du TH6 :
1)f (x + θ(y − x)) ≤ (1 − θ)f (x) + θf (y) donc f (x + θ(y − x)) − f (x) ≤ θ(f (y) − f (x)).
Si x est un minimum local, alors, pour θ assez petit, on a f (x + θ(y − x)) − f (x) ≥ 0. Donc
f (y) − f (x) ≥ 0 et ceci pour y quelconque. Donc x est un minimum global.
2) Si a ∈ ArgC min f , alors f (y) ≥ f (a) pour tout y ∈ C. Or C est ouvert, donc a est aussi
minimum local et ∇f (a) = 0.
Réciproquement, si ∇f (a) = 0, i.e. da f = 0, comme f (y) ≥ f (a) + da f (y − a) pour tout y ∈ C,
on a donc, pour tout y ∈ C, f (y) ≥ f (a) et a est un minimum global de f sur C.
2
Exercices
1
8. Soit a ∈ IRn tel que kak < 1 et soit f : IRn → IR, x 7→ (1 + kxk2 ) 2 − ha, xi.
Montrer que f est convexe et déterminer ArgIRn min f .
9. Soit ϕ : Ω ⊂ IRn → IR. Pour tout y ∈ IRn , on pose ϕ∗ (y) = sup(hy, xi − ϕ(x)).
x∈Ω
a) Montrer que ϕ∗ est convexe.
p
. Montrer que ϕ est convexe ; déterminer ϕ∗ (y)
b) Soit p ∈]1, +∞[ et ϕ(x) = kxk
p
et montrer que ϕ∗∗ = ϕ. (On utilisera q tel que p1 + 1q = 1).
c) Soit ϕ(x) = 12 hAx, xi + hb, xi + c où A est une matrice symétrique définie positive. Montrer que ϕ est convexe ; déterminer ϕ∗ (y) et montrer que ϕ∗∗ = ϕ.
Optimisation des fonctions convexes
11
10. Soit C ⊂ IRn un convexe fermé non vide et b ∈ IRn . Soit π = ArgC min N où
N (x) = kx − bk2 .
a) Montrer que :
i) π est non vide ;
ii) si p ∈ π, pour tout c ∈ C, hp − b, p − ci ≤ 0.
(On utilisera F (λ) = kλc + (1 − λ)p − bk2 ).
iii) π contient exactement 1 élément, noté p(b).
iv) Si hu − b, u − ci ≤ 0 pour tout c ∈ C, alors u = p(b).
b) Déduire de a) que, b ∈
/ C si et seulement si il existe w ∈ IRn tel que
hw, bi < inf hw, ci.
c∈C