Modèle de régression linéaire multivarié

U. Paris Ouest,
M1 - Cours de Modélisation Appliquée
Modèle de régression linéaire
multivarié
Laurent Ferrara
Mars 2013
U. Paris Ouest
L. Ferrara, 20122012-13
Exemple: Consommation mondiale du pétrole
World Liquid Fuels Supply and Demand Balance
million barrels per day
94
140
World supply (left axis)
World demand (left axis)
B t
Brent
BMPE Dec. 2012
OECD ‐ EO Nov. 2012
EIA ‐ Feb. 2013
IMF‐WEO update, Jan. 2013
92
90
Forecast
120
100
88
80
86
60
84
40
82
20
80
0
2009-Q1
2010-Q1
2011-Q1
2012-Q1
2013-Q1
2014-Q1
Source: Short-Term Energy Outlook, February 2013
U. Paris Ouest
L. Ferrara, 20122012-13
Exemple: Consommation mondiale du pétrole
Expliquer la conso mondiale de pétrole C(t) (en logs) par :
P(t) Prix
P(t):
P i du
d pétrole
ét l (en
( logs)
l )
PIB(t) : Demande de pétrole (en logs)
à l’aide du modèle suivant :
C ( t ) = b 0 + b1 P ( t ) + b 2 PIB ( t ) + ε ( t )
b0
b1 = élasticité-prix
b2 = élasticité
élasticité-revenu
revenu
U. Paris Ouest
L. Ferrara, 20122012-13
Schéma de mise en
œuvre d’une
modélisation linéaire
Analyse des données
Modèle de régression linéaire
E ti ti des
Estimation
d paramètres
èt du
d modèle
dèl
Validation du modèle
U. Paris Ouest
Utilisation du modèle en prévision
Distributions, lien linéaire,...
Choix des variables
MCO, MLE
Tests d’hypothèses,
Analyse de la variance
Points et IC
L. Ferrara, 20122012-13
Modèle linéaire multivarié
Soit pp+1 variables continues Y et X1, …, Xp, . On observe les
unités expérimentales : ( y i , x i1 ,..., x ip ) pour i = 1, …, n.
Le modèle linéaire s’écrit sous forme matricielle:
Y=Xb+ε
avec
Y = ( y 1 ,..., y n ) t
( n × 1)
b = ( b 0 , b1 ,..., b p ) t
ε = ( ε 1 ,,...,, ε n ) t
U. Paris Ouest
( p + 1 × 1)
( n × 1)
L. Ferrara, 20122012-13
et :
⎛1
⎜
⎜ ...
X =⎜1
⎜
⎜ ...
⎜
⎝1
U. Paris Ouest
x 11
...
x 1k
...
x i1
...
x ik
...
x 1n
...
x nk
...
x 1p ⎞
⎟
⎟
x ip ⎟⎟
⎟
p ⎟
xn ⎠
( n × ( p + 1))
L. Ferrara, 20122012-13
Hypothèses du modèle linéaire :
• H1 : E(Y) fonction linéaire des X1, …, Xp .
• H2 : Les erreurs, εi, sont indépendantes entre elles
• H3 : E(εi) = 0, les erreurs sont d’espérance nulle
(en moyenne le modèle est bien spécifié)
U. Paris Ouest
L. Ferrara, 20122012-13
• H4 : E(ε2i) = σ2 , les erreurs sont de variance égale
ppour toute valeur de X
(hypothèse d ’homoscédasticité)
• H5 : E(Xi εi) = 0 , les erreurs,sont indépendantes des
valeurs de X
• H6 : Hypothèse de Normalité
Les erreurs, εi, sont identiquement distribuées selon
la loi Normale.
Normale
U. Paris Ouest
L. Ferrara, 20122012-13
Hypothèses supplémentaires structurelles
• H7 : Absence de colinéarité entre les X1, …, Xp .
• H8 : (X’X) / n tend vers une matrice finie non
singulière
g
lorsque
q n tend vers l ’infini
• H9 : n > p+1
U. Paris Ouest
L. Ferrara, 20122012-13
Estimation des paramètres
• Objectif : estimer le vecteur b
• Par les MCO, on minimise la forme quadratique :
n
Q (b) = ∑ ε = (Y − bX ) (Y − bX )
i =1
2
i
t
∂Q (b)
= 2 X tY + 2 X t Xb = 0
∂b
∂b
U. Paris Ouest
L. Ferrara, 20122012-13
Et :
bˆ = ( X t X ) −1 X tY
Solution réalisable si la matrice carrée XtX est inversible !!!
→ des hypothèses sont nécessaires
En cas de
E
d colinéarité
li é ité parfaite
f it entre
t 2 variables
i bl explicatives,
li ti
cette matrice est singulière et la méthode des MCO est
défaillante.
défaillante
U. Paris Ouest
L. Ferrara, 20122012-13
Le modèle estimé s’écrit donc :
ˆy i = bˆ0 + bˆ1 x i1 + ... + bˆ p x ip
Soit :
Yˆ = X bˆ = X ( X t X ) − 1 X t Y
i
ie:
Yˆ = HY
U. Paris Ouest
L. Ferrara, 20122012-13
L’erreur de prévision (ou résidu) est donnée par :
ei = yi − yˆ i
Soit :
e = ( I − H )Y
Remarques :
R1 : Il faut
f t distinguer
di ti
l’erreur
l’
inobservable
i b
bl du
d modèle
dèl (ε)
( ) ett
le résidu (e) qui lui est estimé
R2 En
R2:
E termes
t
géométriques,
é ét i
le
l vecteur
t
(e)
( ) estt la
l projection
j ti
orthogonale sur le sous-espace vectoriel Vect(X)
U. Paris Ouest
L. Ferrara, 20122012-13
Interprétation géométrique
Propriétés des estimateurs
• L ’estimateur b̂ est le meilleur estimateur non-biaisé de b
au sens où sa variance est la pplus faible ppossible et
• On mq :
2
t
−1
ˆ
V (b) = σ ε ( X X )
• Un ESB de la variance résiduelle est donné par :
n
σˆ ε =
2
U. Paris Ouest
2
∑ ei
i =1
n − p −1
L. Ferrara, 20122012-13
Propriétés des estimateurs
• Sous l’hypothèse de Normalité, l’ EMV coïncide avec le
l’estimateur MCO mais est un estimateur efficace;;
ie: sa matrice des variances-covariances atteint la borne
de Cramer –Rao
• L
L’estimateur
estimateur de la variance résiduelle suit une loi :
2
Chi
(n − p −1)
2
2
σˆε ≈ σ
n − p −1
U. Paris Ouest
L. Ferrara, 20122012-13
Validation: Somme des carrés
• SSE = Sum of squared errors
SSE = Y − Yˆ
2
• SST = Total sum of squares
2
SST = Y − y1 = Y tY − ny 2
• SSR = Regression
g
sum of squares
q
2
SSR = Yˆ − y1 = Yˆ tYˆ − ny 2 = b t X tY − ny 2
SST = SSR+SSE
U. Paris Ouest
L. Ferrara, 20122012-13
Validation: Coefficient de détermination
SSR
SSE
R =
= 1−
SST
SST
2
• Le coefficient de détermination est la part de variation de Y
expliquée par le modèle, ie : il doit être le plus proche de 1
• Attention: on remarque que l’ajout de variables explicatives
augmente automatiquement ce coefficient
U. Paris Ouest
L. Ferrara, 20122012-13
Validation: Coefficient de détermination ajusté
2
= 1−
RAdj
SSE /( n − p − 1)
SST /( n − 1)
• On pondère par le nombre de paramètres à estimer.
U. Paris Ouest
L. Ferrara, 20122012-13
Validation: Tests sur les paramètres
• On montre que la statistique T suit une loi de
St dent à (n-p-1)
Student
(n p 1) ddl:
bˆ j − b j
T=
σb
j
• On utilise T pour tester H0: b j = 0
Racine du jième
terme diagonal de
la matrice de
variance-cov des
paramètres
estimés
• Un intervalle de confiance à (1-α) est donné par:
b j ± tα / 2,( n − p −1)σ b j
U. Paris Ouest
L. Ferrara, 20122012-13
Validation: Tests du modèle global
• On peut tester globalement l’hypothèse nulle:
H 0 : b1 = b2 = ...bp = 0
• On utilise la statistique:
SSR / p
F=
SSE /(n − p − 1)
qui suit une loi de Fischer à (p, n-p-1) ddl
U. Paris Ouest
L. Ferrara, 20122012-13
Validation: Tests d’un modèle réduit
• On peut tester l’hypothèse nulle d’un modèle réduit à
q<p variables
ariables eexplicatives:
plicati es:
H 0 : b1 = b2 = ...bq = 0
• Sous H0, on utilise la statistique:
F=
( SSEq − SSE p ) / q
SSE p /(n − p − 1)
qui suit une loi de Fischer à (q, n-p-1) ddl.
• L’ajout des (p-q) variables explicatives est justifié si
(SSRp- SSRq) est « suffisamment grand ».
U. Paris Ouest
L. Ferrara, 20122012-13
Prévision
• Soit une nouvelle observation: X 0 = ( x01 ,..., x0p )t
yˆ 0 = bˆ0 + bˆ1 x 01 + ... + bˆ p x 0p
• Prédicteur :
• IC pour Y:
yˆ 0 ± tα / 2 , ( n − p −1)σ ε (1 + v 0t ( X t X ) − 1 v 0 )1 / 2
• IC pour E(Y):
v 0 = (1, x 01 ,..., x 0p )
yˆ 0 ± tα / 2 , ( n − p −1)σ ε ( v 0t ( X t X ) −1 v 0 )1 / 2
U. Paris Ouest
L. Ferrara, 20122012-13
Extensions
Effet croisé:
y i = b 0 + b1 x i1 + b 2 x i2 + γ x i1 x i2 + ε i
Effet non-linéaire:
y i = b 0 + b1 z i + b 2 z + b 3 z + ε i
2
i
U. Paris Ouest
3
i
L. Ferrara, 20122012-13
Exemple: IMF Working Paper,
« Walking Hand in Hand: Fiscal Policy and Growth in Advanced
Economies » by Cotarelli and Jaramillo (2012)
Problème de politique économique:
La consolidation fiscale et budgétaire dans les pays avancés après la
récession 2008-09 pèse sur la croissance de court terme mais semble
nécessaire pour favoriser la croissance à long terme via une baisse de la
dette publique et une baisse des taux longs souverains (spreads = écarts
de taux).
Equation de relation entre dette / taux longs / croissance :
⎛ rt − π t − g t
d t − d t −1 = ⎜⎜
⎝ 1 + gt
⎞
⎟⎟d t −1 − pt
⎠
But du modèle linéaire: Rechercher les déterminants des spreads
U. Paris Ouest
L. Ferrara, 20122012-13
Exemple: IMF Working Paper,
« Walking Hand in Hand: Fiscal Policy and
Growth in Advanced Economies » by Cotarelli and Jaramillo (2012)
U. Paris Ouest
L. Ferrara, 20122012-13
Exemple: IMF Working Paper,
« Walkingg Hand in Hand: Fiscal Policyy and
Growth in Advanced Economies » by Cotarelli and Jaramillo (2012)
U. Paris Ouest
L. Ferrara, 20122012-13