Optimisation Dynamique en temps continu

Transcription

Dr
aft
Du Hamiltonien à l’équation de Hamilton-Jacobi-Bellman
Jean-Paul K. Tsasa Vangu
Laboratoire d’analyse-recherche en économie quantitative
Décembre 27, 2014
Jean-Paul K. Tsasa (LAREQ)
Décembre 27, 2014
1 / 25
Dr
aft
“Tu me dis, j’oublie...
Tu m’enseignes, je me souviens...
Tu m’impliques, j’apprends.”
Benjamin Franklin
Décembre 27, 2014
2 / 25
Présentation Laréq
Dr
aft
Sommaire
1
2
Exposé du problème
3
Principe du Maximum de Pontryagin
4
Principe d’optimalité de Bellman
Décembre 27, 2014
3 / 25
Dr
aft
Introduction
Cette présentation s’inscrit dans le cadre de la rubrique “DIVERS” des réunions
LAREQ
L’objectif de cette rubrique est :
d’une part, de faire le parallélisme entre les aspirations exprimées par des chercheurs non-économistes, sur l’orientation des théories économiques
et de l’autre, de motiver les chercheurs-L à converger vers la frontière de recherche
Pour plus de détails, cf. : http://www.lareq.com
Décembre 27, 2014
4 / 25
Dr
aft
Sommaire
1
2
3
4
Décembre 27, 2014
5 / 25
Dr
aft
L’analyse macroéconomique moderne est essentiellement micro-fondée : Rational expectations ; optimisation, etc.
Dans cet exposé, nous considérons la version continue des modèles que nous
avons traités dans l’exposé précédent, plus particulièrement le problème de
croissance optimale de Ramsey
L’environnement demeure déterministique, i.e. pas de stochasticité
Principale référence :
BERTSEKAS Dimitri P., 2005 (2012), Dynamic Programming and Optimal
Control, Vol. 1 (Vol. 2), Athena Scientific, 3è éd. (4è ed.), 558p (712p).
URL : http://www.athenasc.com/dpbook.html
Décembre 27, 2014
6 / 25
Dr
aft
Carl G.J. Jacobi
Du problème de contrôle optimal au problème de Ramsey
Dr
aft
De manière générale, un problème de contrôle optimal s’écrit :
Z ∞
V (x0 ) = max∞
exp {−ρt}h[x(t), u(t)]dt
{u(t)}t=0
(1)
0
sujet à la loi de transition :
ẋ(t) = g[x(t), u(t)],
(2)
avec t ≥ 0, x(0) = x0 donné, et où :
h(x, u) : X × U → R est la fonction de retour instantanée
x(t) ∈ X ⊆ Rm , le vecteur d’état
u(t) ∈ U ⊆ Rn , le vecteur de contrôle
Décembre 27, 2014
8 / 25
Pour rappel :
Dr
aft
Du problème de contrôle optimal au problème de Ramsey
le facteur d’escompte β est tel que :
β=
1
,
1+ρ
(3)
où ρ est le taux d’escompte, ρ > 0.
En temps discret, le problème de croissance optimal s’écrit :
max ∞
{ct ,kt+1 }t=0
∞
X
β t u(ct )
(4)
t=0
sujet à : kt+1 = f (kt ) − ct + (1 − δ)kt , avec k0 donné ; ct ≥ 0 ; kt+1 ≥ 0
Décembre 27, 2014
9 / 25
Dr
aft
Illustration d’un problème en temps discret
Décembre 27, 2014
10 / 25
Dr
aft
Sommaire
1
2
3
4
Décembre 27, 2014
11 / 25
Dr
aft
Illustration d’un problème en temps continu
Décembre 27, 2014
12 / 25
Problème de croissance optimale en temps continu
Dr
aft
Ainsi, en temps continue, le modèle de croissance optimale devient :
Z ∞
V (k0 ) = max∞
exp {−ρt}u[c(t)]dt
{c(t)}t=0
(5)
0
sujet à la loi de transition :
k̇(t) = f [k(t)] − c(t) − δk(t),
(6)
avec t ≥ 0, k(0) = k0 donné, et où par correspondance, x = k et u = c :
h(x, u) = u[c(t)]
g(x, u) = f (k) − c − δk
Décembre 27, 2014
13 / 25
Du Lagrangien au Hamiltonien
Dr
aft
L’équivalent du Lagrangien associé la version continue du problème de croissance optimale, est appelé “Hamiltonien” :
H[k(t), c(t), λ(t)] = u[c(t)] + λ(t){f [k(t)] − c(t) − δk(t)},
(7)
où λ(t) est le vecteur de co-état (variables adjointes), l’équivalent du multiplicateur de Lagrange dans le problème en temps discret tel que :
λ(t) ∈ Λ ⊆ Rm
Les équations de co-état λ̇(t) est un vecteur des équations différentielles d’ordre
1 du négatif du Hamiltonien par rapport à chaque variable d’état x(t). Au
regard du problème (7), il vient que :
λ̇(t) = −
∂H
∂k
(8)
Décembre 27, 2014
14 / 25
Conditions d’optimalité
Dr
aft
Conditions nécessaires et suffisantes, appliquées au problème générique, cf. (1)
et (2) :
∂H
[x(t), u(t), λ(t)] = 0
∂u(t)
λ̇(t) = ρλ(t) −
(9)
∂H
[x(t), u(t), λ(t)]
∂x(t)
(10)
∂H
≡ ẋ(t) − g[x(t), u(t)] = 0
∂λ(t)
(11)
pour tout t ≥ 0.
Condition limite pour les variables de co-état (condition de transversalité) :
lim exp {−ρt}λ(T ) × (T ) = 0
(12)
T→∞
Conditions initiales pour les variables d’état : x(0) = x0
Décembre 27, 2014
15 / 25
Dérivation de l’équation d’Euler
il vient que :
Dr
aft
En considérant le problème de croissance optimale et une fonction d’utilité
instantanée hyperbolique isoélastique telle que :
1
[c(t)]1−σ ,
(13)
u[c(t)] =
1−σ
Z
V (k0 ) = max∞
{c(t)}t=0
0
∞
1
1−σ
exp {−ρt}[c(t)]1−σ dt
sujet à (6). Au regard de (7), le Hamiltonien correspondent s’écrit :
1
H=
[c(t)]1−σ + λ(t){f [k(t)] − c(t) − δk(t)},
1−σ
(14)
(15)
avec k(0) = k0 donné et pour tout t ≥ 0.
Décembre 27, 2014
16 / 25
Conditions d’optimalité :
et
(16)
∂f [k(t)]
∂H
[k(t), c(t), λ(t)] = λ(t)
−δ ,
∂k(t)
∂k(t)
(17)
∂u[c(t)]
−σ
≡ u 0 [c(t)] = [c(t)]
∂c(t)
(18)
∂f [k(t)]
= f 0 [k(t)]
∂k(t)
(19)
Dr
aft
où :
∂H
−σ
[k(t), c(t), λ(t)] ≡ [c(t)] − λ(t) = 0
∂c(t)
Décembre 27, 2014
17 / 25
Dr
aft
Dès lors, les équations différentielles ordinaires (conditions optimales) correspondant à ce problème de contrôle optimale s’écrivent :
λ̇(t) = λ(t) {ρ + δ − f 0 [k(t)]}
=⇒
(20)
λ̇(t)
= ρ + δ − f 0 [k(t)]
λ(t)
k̇(t) = f [k(t)] − c(t) − δk(t)
avec :
(21)
k(0) = k0
et
lim exp {−ρT }λ(T )k(T ) = 0
T→∞
Décembre 27, 2014
18 / 25
Puisque (16) implique :
Dr
aft
∂u[c(t)]
≡ u 0 [c(t)] = λ(t)
∂c(t)
−σ
=⇒ [c(t)]
(22)
= λ(t)
L’équation d’Euler correspondant à la version continue du problème de croissance optimale est décrite par l’équation différentielle ordinaire suivante :
autrement :
u˙0 (t)
= ρ + δ − f 0 [k(t)],
u 0 (t)
(23)
u˙0 (t) = u 0 (t){ρ + δ − f 0 [k(t)]}
(24)
Décembre 27, 2014
19 / 25
En notation logarithmique, la relation (22) devient :
−σ log c(t) = log λ(t),
Dr
aft
d’où :
(25)
−σ
ċ(t)
λ̇(t)
=
c(t)
λ(t)
(26)
Ainsi, plus spécifiquement, l’équation d’Euler peut s’écrire comme :
ċ(t)
1
= {f 0 [k(t)] − ρ − δ}
c(t)
σ
avec :
−σ
lim exp {−ρT } [c(T )]
T→∞
(27)
k(T ) = 0
(28)
Décembre 27, 2014
20 / 25
Dr
aft
Sommaire
1
2
3
4
Décembre 27, 2014
21 / 25
Equation de Hamilton-Jacobi-Bellman
Dr
aft
En programmation dynamique (Cf. Principe d’optimalité de Bellman), la fonction valeur du problème de croissance optimale satisfait l’équation de HamiltonJacobi-Bellman.
Pour rappel, dans la version discrète, la fonction valeur satisfaisait l’équation
de Bellman :
V (kt ) = max ∆u(c) + exp {−ρ∆}V (kt+∆ )
(29)
ct
sujet à kt+∆ = ∆[f (kt ) − ct − δkt ] + kt
Pour une petite variation ∆ telle que ∆ → 0, exp {−ρ∆} = 1 − ρ∆
D’où :
V (kt ) = max ∆u(c) + (1 − ρ∆)V (kt+∆ )
(30)
ct
Décembre 27, 2014
22 / 25
En soustrayant (1 − ρ∆)V (kt ) de deux côtés de (30), il vient que :
ρ∆V (kt ) = max ∆u(c) + (1 − ρ∆)[V (kt+∆ ) − V (kt )]
Dr
aft
ct
(31)
En divisant par ∆ et après réaménagement, il vient que :
ρV (kt ) = max u(c) + (1 − ρ∆)
ct
[V (kt+∆ ) − V (kt )] kt+∆ − kt
kt+∆ − kt
∆
(32)
A présent, il suffit de considérer que ∆ → 0, pour dériver l’équation de
Hamilton-Jacobi-Bellman correspondant au problème de croissance optimale :
ρV (kt ) = max u(ct ) + V 0 (kt )k˙t
(33)
ρV (k) = max u(c) + V 0 (k)k̇
(34)
ct
En notation récursive :
c
avec k̇ = f (k) − c − δk
Décembre 27, 2014
23 / 25
Connexion Hamiltonien et Equation HJB
Dr
aft
De (34), la condition d’optimalité implique, notamment que :
u 0 (c) = V 0 (k)
(35)
Dès lors, il devient possible d’établir une connexion entre le Hamiltonien et
l’équation de Hamilton-Jacobi-Bellman
Pour rappel, de (22) :
u 0 [c(t)] = λ(t)
D’où, en substituant (7) dans (34) :
ρV (k) = max H[k, c, V 0 (k)],
(36)
c
où la variable de co-état λ(t) équivaut à la shadow value V 0 (k).
Décembre 27, 2014
24 / 25
Dr
aft
William R. Hamilton

Optimisation Dynamique en temps continu

Transcription

Documents pareils

Alg`ebre. Mat 2600 Devoir 8. Ne pas remettre. Discuté le 13

Université d`Aix Marseille 1, Master de Mathématiques Analyse

Les TP ont lieu au petit Valrose le Jeudi de 10h `a 12h. TP

Concours d`entrée en Ingénierie, 2012 Nom : Prénom : Test des

CNAM CSC109 : Méthode des éléments finis TP 4 Fig. 1 – Solution

U3GRE - Soutenance de thÃ¨se de Federico Repetto

Comment changer ma photo de profil? - TC Franc

U3LLS - Bourses doctorale France

Extinction en temps fini des solutions de certains probl`emes

Théorie abélienne des tissus, Jean