Sommaire - AgroParisTech

Sommaire
Sommaire
xiii
Table des illustrations
xix
Liste des tableaux
I
xxiii
L’ANALYSE BAYÉSIENNE
1 La décision en présence d’information
1.1 Décision, information et règle de décision
1.2 Ensemble A des décisions ou actions . . .
1.3 Ensemble X des informations . . . . . . .
1.4 Les campagnes de collecte d’information .
1.5 Associer x ∈ Xe et a ∈ A . . . . . . . . .
1
.
.
.
.
.
.
.
.
.
.
3
3
6
8
11
11
2 Représentation probabiliste des connaissances
2.1 Modèle statistique et modèle d’expertise . . . . . . . . . . .
2.1.1 De l’utilité des représentations probabilistes . . . . . .
2.1.2 Les observables X et les observées x . . . . . . . . . .
2.1.3 Les inconnues θ . . . . . . . . . . . . . . . . . . . . . .
2.2 Modèles statistiques paramétriques . . . . . . . . . . . . . .
2.2.1 Exemple 1 : un modèle probabiliste à variable discrète
2.2.2 Exemple 2 : pollution bactériologique . . . . . . . . .
2.2.3 Exemple 3 : longueurs de saumons . . . . . . . . . . .
2.2.4 Exemple 4 : rencontres de football . . . . . . . . . . .
2.2.5 Exemple 5 : débordements d’une rivière . . . . . . . .
2.3 Modèles d’expertise . . . . . . . . . . . . . . . . . . . . . . .
2.3.1 Utiliser d’autres données . . . . . . . . . . . . . . . . .
2.3.2 La méthode par introspection . . . . . . . . . . . . . .
2.3.3 Choix de priors non informatifs . . . . . . . . . . . . .
2.4 Que sait-on ? Incertitude et aléa . . . . . . . . . . . . . . . .
2.4.1 Mise à jour de prior par propriété de conjugaison . . .
2.4.2 Quand les informations l’emportent sur le prior . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
19
20
20
21
22
22
23
23
24
26
29
30
31
34
39
41
42
49
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
xiv
Le raisonnement bayésien
3 Risque et aide bayésienne à la décision
3.1 Le cadre décisionnel théorique . . . . . . . . . . . . .
3.1.1 Analyse extensive (ou a posteriori) . . . . . . .
3.1.2 Analyse normale (ou prédictive) . . . . . . . .
3.2 Des fonctions de désutilité simplifiées . . . . . . . . .
3.2.1 La pénalisation quadratique . . . . . . . . . . .
3.2.2 La pénalisation linéaire dissymétrique . . . . .
3.3 Exemples d’analyses décisionnelles complètes . . . . .
3.3.1 Protéger ou ne pas protéger . . . . . . . . . . .
3.3.2 Prise en compte réglementaire des risques . . .
3.4 Traitement décisionnel de la construction d’une digue
3.4.1 Période de retour . . . . . . . . . . . . . . . . .
3.4.2 Interprétation économique de la crue de projet
3.4.3 Prior non informatif . . . . . . . . . . . . . . .
3.4.4 Règle de décision bayésienne . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
53
54
54
54
55
56
56
57
57
59
61
62
63
64
65
4 Comment construire un modèle ?
4.1 Questions préliminaires . . . . . . . . . . . . . . . . . . . .
4.1.1 Le modèle existe-il ? . . . . . . . . . . . . . . . . . .
4.1.2 Le scientifique est condammé à la statistique . . . .
4.1.3 L’état de la nature est inaccessible à nos sens . . . .
4.2 Modèles par théorèmes asymptotiques . . . . . . . . . . . .
4.2.1 Loi normale . . . . . . . . . . . . . . . . . . . . . . .
4.2.2 Loi de Poisson . . . . . . . . . . . . . . . . . . . . .
4.2.3 Loi généralisée des extrêmes . . . . . . . . . . . . . .
4.2.4 Loi des dépassements . . . . . . . . . . . . . . . . .
4.3 Modèles par convolution . . . . . . . . . . . . . . . . . . .
4.3.1 Loi de Student . . . . . . . . . . . . . . . . . . . . .
4.3.2 Loi binomiale négative . . . . . . . . . . . . . . . . .
4.4 Modèles statistiques par maximum d’entropie . . . . . . . .
4.4.1 Interprétation intuitive de l’entropie . . . . . . . . .
4.4.2 Maximiser l’entropie Q sous contraintes . . . . . . .
4.4.3 Lois connues et reconnues de la famille exponentielle
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
73
74
74
74
74
75
76
76
77
78
79
80
82
83
84
86
88
.
.
.
.
.
.
.
.
.
93
94
95
97
100
100
105
105
108
111
5 Construire un modèle brique par brique
5.1 Dépendance et indépendance conditionnelles . . . . .
5.2 Modèle et symétrie par échangéabilité . . . . . . . . .
5.3
Conditionnement, causalité et graphe orienté . . . . .
5.4 Définitions grâce à un graphe orienté . . . . . . . . .
5.5 Conditionner, la clé pour modéliser intelligemment . .
5.6 Classes de modèles par conditionnement probabiliste .
5.6.1 Données manquantes et censurées . . . . . . .
5.6.2 Modèle dynamique à temps discret . . . . . . .
5.6.3 Modèle hiérarchique . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Sommaire
II
xv
LE CALCUL BAYÉSIEN
6 Motivations du calcul bayésien
6.1 Un passage obligé de l’inférence statistique bayésienne . .
6.1.1 Un calcul d’intégrale . . . . . . . . . . . . . . . . .
6.1.2 Difficultés . . . . . . . . . . . . . . . . . . . . . . .
6.2 Inventaire des méthodes . . . . . . . . . . . . . . . . . . .
6.2.1 Les commodités mathématiques de la conjugaison
6.2.2 Les techniques asymptotiques . . . . . . . . . . . .
6.2.3 Algorithmes de simulation avec indépendance . . .
6.2.4 Simulation Monte Carlo avec dépendance . . . . .
6.3 Guide de lecture . . . . . . . . . . . . . . . . . . . . . . .
123
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
125
126
126
127
128
128
128
128
129
129
7 Méthodes exactes et modèles unidimensionnels
133
7.1 Distributions conjuguées naturelles . . . . . . . . . . . . . . . . 134
7.2 Théorème de Koopman-Darmois . . . . . . . . . . . . . . . . . 135
7.3 Densité conjuguée d’un modèle exponentiel modifié . . . . . . 136
7.3.1 Construire la distribution conjuguée . . . . . . . . . . . 136
7.3.2 Extensions aux mélanges des propriétés de conjugaison . 137
7.4 Distributions conjuguées pour les modèles les plus courants . . 137
7.5 Inférence par les distributions conjuguées naturelles . . . . . . 139
7.5.1 Exemple 2 de la pollution bactériologique . . . . . . . . 139
7.5.2 Exemple 3 des saumons revisité . . . . . . . . . . . . . . 142
7.6 Distribution a posteriori d’un quantile normal . . . . . . . . . 147
7.7 Au-delà des distributions conjuguées naturelles . . . . . . . . . 149
8 Représentations multidimensionnelles
8.1 Un cas particulier de modèle normal . . . . . . . . . . . . . .
8.1.1 Vraisemblance . . . . . . . . . . . . . . . . . . . . . .
8.1.2 Inférence statistique . . . . . . . . . . . . . . . . . . .
8.1.3 Extensions à l’approximation de lois non normales . .
8.2 Modèle multinormal général . . . . . . . . . . . . . . . . . .
8.2.1 Modèle multinormal avec prior multinormal-Wishart .
8.2.2 Modèle multinormal sur l’exemple 9 . . . . . . . . . .
8.2.3 Données multivariées partiellement manquantes . . . .
8.3 Le modèle multinomial-Dirichlet . . . . . . . . . . . . . . . .
8.3.1 Le conjugué naturel du modèle multinomial . . . . . .
8.3.2 Inférence pour l’exemple 4 du loto-foot . . . . . . . . .
8.4 Extensions vers le non-paramétrique . . . . . . . . . . . . . .
8.4.1 Application du modèle Dirichlet au bootstrap bayésien
8.4.2 Boostrap bayésien sur l’exemple 9 . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
153
153
153
155
156
156
158
161
162
164
164
165
165
166
167
xvi
Le raisonnement bayésien
9 Les méthodes asymptotiques
9.1 Utilisation des modes a posteriori . . . .
9.2 Posterior avec prior négligeable . . . . .
9.2.1 θ est un paramètre réel scalaire . .
9.2.2 θ est un paramètre k-dimensionnel
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
171
171
173
173
175
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
10 Simulation Monte Carlo avec indépendance
10.1 Nombres au hasard . . . . . . . . . . . . . . . . . . . . .
10.2 Du déterminisme à l’aléatoire . . . . . . . . . . . . . . . .
10.3 La distribution uniforme sur l’intervalle [0,1] . . . . . . .
10.4 Distribution réelle discrète ou continue . . . . . . . . . .
10.4.1 Par méthode d’inversion . . . . . . . . . . . . . . .
10.4.2 Simulation d’une variable normale N (0, 1) . . . . .
10.5 La méthode d’acceptation-rejet . . . . . . . . . . . . . . .
10.6 Méthode d’inversion générale . . . . . . . . . . . . . . . .
10.7 Intégration par échantillonnage simple . . . . . . . . . . .
10.8 Échantillonnage pondéré ou préférentiel . . . . . . . . . .
10.8.1 Choix de la distribution instrumentale . . . . . . .
10.8.2 Méthode IS approchée . . . . . . . . . . . . . . . .
10.8.3 Calcul bayésien par échantillonnage pondéré . . . .
10.8.4 Ré-échantillonnage . . . . . . . . . . . . . . . . . .
10.8.5 Méthodes générales de ré-échantillonnage . . . . .
10.9 Applications . . . . . . . . . . . . . . . . . . . . . . . . .
10.9.1 Quantile de Gumbel pour l’exemple 11 . . . . . . .
10.9.2 Intégration par échantillonnage . . . . . . . . . . .
10.9.3 Évaluation d’un prior informatif pour l’exemple 4
10.9.4 Rendement de la méthode SIR de Rubin . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
181
. 181
. 182
. 183
. 183
. 183
. 185
. 186
. 189
. 190
. 191
. 193
. 193
. 194
. 195
. 196
. 197
. 197
. 198
. 200
. 202
11 Chaînes de Markov et simulations Monte Carlo
11.1 Quelques illustrations de chaînes de Markov . . .
11.2 Éléments constitutifs des chaînes de Markov . . .
11.2.1 États . . . . . . . . . . . . . . . . . . . . .
11.2.2 Propriété de Markov . . . . . . . . . . . . .
11.2.3 Homogénéité (ou stationnarité forte) . . . .
11.2.4 Noyau d’une chaîne de Markov . . . . . . .
11.2.5 Équations de Chapman-Kolmogorov . . . .
11.2.6 Motivations pour passer à la limite . . . . .
11.2.7 Itérer une chaîne de Markov ? . . . . . . . .
11.2.8 Distribution invariante . . . . . . . . . . . .
11.3 Chaînes de Markov sur l’espace d’états de cardinal
11.3.1 Irréductibilité . . . . . . . . . . . . . . . . .
11.3.2 Propriétés caractéristiques des visites . . . .
11.3.3 Chaîne récurrente . . . . . . . . . . . . . .
11.3.4 Chaîne apériodique . . . . . . . . . . . . . .
11.3.5 Chaîne positive . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
. . .
fini
. . .
. . .
. . .
. . .
. . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
205
206
214
214
214
214
215
217
220
221
222
224
225
225
229
229
229
Sommaire
xvii
11.4 Chaînes de Markov pour les espaces d’états de cardinal infini
11.4.1 ϕ−Irréductibilité . . . . . . . . . . . . . . . . . . . . .
11.4.2 Chaîne récurrente . . . . . . . . . . . . . . . . . . . .
11.4.3 Harris-récurrence . . . . . . . . . . . . . . . . . . . . .
11.4.4 Chaîne positive récurrente . . . . . . . . . . . . . . . .
11.5 Théorème général de convergence ergodique . . . . . . . . . .
11.5.1 Moyenne empirique le long d’une trajectoire . . . . . .
11.5.2 Recours à la Harris-récurrence . . . . . . . . . . . . .
11.5.3 Interprétation de la propriété ergodique . . . . . . . .
11.5.4 Intégrer par échantillonnage le long d’une trajectoire .
11.6 Rapidité de convergence . . . . . . . . . . . . . . . . . . . . .
11.6.1 A-t-on atteint le régime stationnaire ? . . . . . . . . .
11.6.2 Contrôler la rapidité de convergence . . . . . . . . . .
11.6.3 Réversibilité . . . . . . . . . . . . . . . . . . . . . . . .
11.7 Simulations informatiques . . . . . . . . . . . . . . . . . . . .
12 Algorithme de Metropolis-Hastings
12.1 Une méthode MCMC générale : Metropolis-Hastings .
12.1.1 L’algorithme d’acceptation-rejet revisité . . . . .
12.1.2 Limitations de l’algorithme d’acceptation-rejet .
12.1.3 Algorithme de Metropolis-Hastings . . . . . . . .
12.1.4 Conditions de π-réversibilité . . . . . . . . . . . .
12.1.5 Pratique de l’algorithme de Metropolis-Hastings
12.2 Réglages de l’algorithme Metropolis-Hastings . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 230
. 230
. 231
. 232
. 232
. 233
. 233
. 234
. 234
. 235
. 236
. 236
. 239
. 241
. 242
.
.
.
.
.
.
.
245
246
247
247
249
250
251
255
13 Algorithme de Gibbs
263
13.1 Échantillonneur de Gibbs . . . . . . . . . . . . . . . . . . . . . 263
13.1.1 Cas de deux coordonnées à valeurs continues . . . . . . 264
13.1.2 Condition d’invariance . . . . . . . . . . . . . . . . . . . 265
13.1.3 Échantillonnage de Gibbs d’un vecteur à k composantes 266
13.1.4 Exemple d’application de l’échantillonneur de Gibbs . . 268
13.2 Algorithme de Gibbs et modélisation graphique . . . . . . . . 270
13.2.1 Le DAG : une représentation utile du problème . . . . . 270
13.2.2 Modèle graphique et conditionnelles complètes . . . . . 271
13.2.3 Variables non observables . . . . . . . . . . . . . . . . . 273
13.2.4 Traitement de l’exemple 6 . . . . . . . . . . . . . . . . . 275
13.2.5 Traitement de l’exemple 10 . . . . . . . . . . . . . . . . 276
13.2.6 Traitement de l’exemple 7 . . . . . . . . . . . . . . . . . 279
13.3 Discussions et exercices de maniement . . . . . . . . . . . . . . 280
13.3.1 Le modèle linéaire . . . . . . . . . . . . . . . . . . . . . 280
13.3.2 Capture/marquage/recapture . . . . . . . . . . . . . . . 281
xviii
Le raisonnement bayésien
14 Algorithmes MCMC et par-delà
14.1 Méthodes hybrides . . . . . . . . . . . . . . . . . . . . . . . .
14.2 Rao-Blackwell . . . . . . . . . . . . . . . . . . . . . . . . . .
14.3 Les logiciels d’analyse bayésienne . . . . . . . . . . . . . . . .
14.3.1 Écrire ses propres programmes . . . . . . . . . . . . .
14.3.2 Utiliser des packages bayésiens tout faits . . . . . . . .
14.3.3 WinBUGS . . . . . . . . . . . . . . . . . . . . . . . . .
14.4 Calculs d’intégration et contrôles pratiques de la convergence
14.4.1 Contrôle par l’échantillonnage pondéré séquentiel . . .
14.4.2 Approximation par un autorégressif . . . . . . . . . .
14.4.3 Test pour contrôler que la phase ergodique est atteinte
14.5 Introduction aux méthodes particulaires . . . . . . . . . . . .
14.5.1 Une étape d’échantillonnage pondéré . . . . . . . . . .
14.5.2 Une étape de ré-échantillonnage . . . . . . . . . . . . .
14.5.3 Ajouter une transition à la mode MCMC . . . . . . .
14.5.4 Premières idées pour un algorithme particulaire . . . .
14.5.5 Réconcilier échantillonnage pondéré et MCMC . . . .
14.5.6 Utilisation des algorithmes particulaires . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
283
284
288
294
294
295
296
300
300
301
303
306
306
307
309
309
313
314
15 Conclusions
15.1 Une démarche cohérente et des outils efficaces
15.2 De la difficulté d’être statisticien . . . . . . . .
15.3 Jeter des ponts transdisciplinaires . . . . . . .
15.4 Du plaisir d’être statisticien . . . . . . . . . . .
.
.
.
.
323
323
325
326
327
Annexes
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
331
Bibliographie
351
Index
359