Problème des Moindres Carrés, J–Paul K., Tsasa

Problème des Moindres Carrés, J–Paul K., Tsasa
Laboratoire d’Analyse – Recherche en Economie Quantitative
One Pager
Mars 2013
Vol. 5 – Num. 019
Copyright © Laréq 2013
http://www.lareq.com
Dérivation du Problème général des Moindres Carrés
Jean–Paul Kimbambu, Tsasa Vangu
« Comme en un éclair subit, l’énigme se trouva résolue. Je ne puis dire moi – même de quelle
nature a été le fil conducteur reliant ce que je savais déjà à ce qui a rendu mon succès
possible. »
Johann Carl Friedrich Gauß (1777 – 1855)
Résumé
Ce papier s’inscrit dans la suite logique de deux numéros précédents. Il propose une dérivation
rigoureuse du problème général des moindres carrés et présente également sa résolution.
Mots – clé : Orthogonalité, projection orthogonale et moindres carrés.
Abstract
This analysis, enrolling in the following of two papers previously published, presents the
formulation and solution of a general problem of least squares.
Introduction
Ce papier formalise le problème général des moindres carrés, en se fondant sur les deux publications
parues précédemment1. Une fois le problème formalisé, il sera question de le résoudre par la suite en se
basant sur les théorèmes de la décomposition orthogonale et de la meilleure approximation. Pour ce
faire, le papier s’organise comme suit. La première section s’intéresse à la formulation du problème
général des moindres carrés. Et la deuxième en présente la solution. Une fois la solution au problème en
cause sera caractérisée, d’autres publications suivront pour confectionner l’édifice construit jusqu’alors.
Par ailleurs, contrairement aux deux précédents numéros, pour désigner le vecteur la notation
préférée à
sera
tout au long de cette présentation.
Formalisation du problème général des moindres carrés
Dans l’analyse économique, il est fréquent de rencontrer des systèmes d’équations linéaires de la forme :
issus des données d’enquêtes ou des informations statistiques, qui soient incompatibles c’est – à – dire
non résoluble. Cependant, au regard de l’importance des informations à extraire de ces systèmes, de tels
problèmes ne sont généralement pas rejetés par l’économiste. Ils sont plutôt résolus en adoptant une
approche d’approximation consistant à identifier un vecteur
qui minimiserait la distance entre
et
soit :
où
1
est une approximation de
cf. Tsasa (2013a & 2013b)
126
J–Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
En se rappelant de la notion de distance abordée dans Tsasa (2013a, p. 113), on se rend compte que
cette dernière correspond, en effet, à une somme des carrés, soit :
D’où, le vecteur
recherché est nommé : solution au sens des moindres carrés de
Ainsi, le
problème général des moindres carrés consiste donc à résoudre le système linéaire incompatible tel
qu’exprimé par la relation (1), où
vecteur de
désigne une matrice de format
;
une vecteur de
et
un
Puisqu’il s’agit d’un système incompatible, la solution à un tel problème sera obtenu par
approximation et devra satisfaire la condition suivante :
De ce fait, quel que soit la procédure exécutée dans le choix du vecteur
un résultat important soutenu
par les considérations théoriques développées dans Tsasa (2013a, 2013b), stipule que nécessairement :
où
est un espace des colonnes.
La relation (5) établit le principe clé du traitement d’un système d’équations linéaires incompatible au
sens des moindres carrés. Ainsi, au regard de la relation (4), il faudra donc trouver ce vecteur
le vecteur
soit le point de
tel que
le plus proche du vecteur
Figure 1 : Illustration de la solution au sens des moindres carrés
Cette figure révèle que si le vecteur
pour un certain vecteur
tel que
appartient à l’espace des colonnes, il vient que
est de la forme
constitue une solution au sens des moindres carrés.
Solution du problème général des moindres carrés
La recherche d’une solution au système
trouve ses fondements dans le théorème de la meilleure
approximation énoncé et démontré dans Tsasa (2013b, p. 124). Dans le cas d’espèce, ce théorème sera
appliqué au sous–espace
où
:
est la projection orthogonale de
sur l’espace des colonnes de .
127
J–Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Puisque
le système
Le vecteur
est compatible. Et de ce fait, il existe
étant le point de
le plus proche de
solution au sens des moindres carrés (SSMC) de
tel que :
par conséquent, le vecteur
si et seulement si
constitue une
satisfait (7). Au regard du
théorème de la décomposition orthogonale (Tsasa, 2013b, p. 123), la projection
est telle que :
et
Ainsi, on obtient :
où
est une colonne quelconque de
On écrit également :
Puisque
correspond à une ligne de
il y a également lieu d’écrire :
Et par conséquent :
où chaque SSMC de
vérifie l’équation matricielle suivante :
La relation (10) représente un système d’équations communément appelé « équations normales » de
dont
est la solution. Les deux théorèmes qui suivent permettent de caractériser la solution
premier montre
que
suffisante pour que la matrice
et
le
coïncident et le second pose la condition nécessaire et
soit inversible.
Théorème 1. L’ensemble des solutions au sens des moindres carrés de
coïncide avec
l’ensemble non vide des solutions des équations normales
Démonstration.
D’après les définitions et relations établies précédemment, il vient que l’ensemble des solutions
les équations normales de
Réciproquement, si
vérifie
vérifie
alors il vérifie la relation (9c),
d’où :
128
J–Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Les colonnes de
étant partie génératrice de
il vient que :
Et donc, l’équation :
apparaît comme une décomposition de
en la somme d’un vecteur de
et d’un vecteur orthogonal à
En vertu de la propriété d’unicité de la décomposition orthogonale,
orthogonale de
Ainsi,
sur
et donc,
est nécessairement la projection
:
est bel et bien une solution au sens des moindres carrés.
A titre illustratif, en considérant l’espace
et le plan
ainsi que les données suivantes :
Pour dériver la SSMC d’un système incompatible noté
on procéder généralement comme suit :
Calculer la relation (10) :
Dès lors, on peut écrire :
Pour résoudre cette dernière équation matricielle, il nous faut un théorème supplémentaire sur les
conditions assurant que la matrice
Théorème 2. La matrice
est bien inversible.
est inversible si et seulement si les colonnes de
indépendantes. Dans ce cas, l’équation
n’a qu’une solution
sont linéairement
au sens de moindres carrés
qui est donnée par :
Ce résultat trouve une explication dans Tombola – Tsasa (2013, p. 97). D’après le théorème (2), la
projection
est toujours unique (critère d’unicité de la SSMC de
).
129
J–Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Pour tester l’indépendance de la matrice
on peut également s’intéresser à ses sous–matrices carrées
et comparer les déterminants (non nuls) correspondants.
Soit :
puisque les colonnes de
correspondent aux lignes de
on a :
où on peut dériver deux sous–matrices carrées :
Comme
les colonnes de
La distance entre
Connaissant
et
et
sont, de ce fait, linéairement indépendantes. Ainsi :
appelée « erreur » de l’approximation de
par
est donnée par :
on a :
Et donc :
Ainsi, pour tout autre
du plan
la distance entre
et
ne peut qu’être au moins égale à l’unité.
A l’effet de doter à ces différentes publications une connotation pratique, le Laboratoire prévoit élaborer
dans les mois à venir des manuels illustratifs (Guides Laréq). Il y sera donc question de confronter les
considérations théoriques aux données empiriques. Et par ailleurs, vu que dans la réalité, les formats des
matrices et des vecteurs utilisés sont généralement très grands, les logiciels Matlab, R, Stata ou Eviews
serviront de supports d’analyse et seront sollicités chacun selon le cas ou le besoin d’études.
130
J–Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative
Par ailleurs, afin d’approfondir davantage les considérations théoriques fondamentales de la méthode des
moindres carrés, nous prévoyons revenir prochainement sur : (i) la dérivation de la droite des moindres
(modèle linéaire simple) et sa généralisation aux cas « multiple linéaire » et « non linéaire » ; (ii) la
définition des espaces euclidiens ; (iii) les applications des espaces euclidiens dans l’analyse des
moindres carrés, l’étude de tendance et l’emploi des séries de Fourier dans les problèmes
d’approximation (approximation de Fourier).
Bibliographie

AIGNER Martin et Günter M. ZIEGLER, 1998, Raisonnements Divins : Quelques Démonstrations
Mathématiques Particulièrement Elégantes, 2ième édition Springer, Berlin, 270p.

ASLANGUL Claude, 2011, Des Mathématiques pour les Sciences. Concepts, Méthodes et Techniques
pour la modélisation (Cours et Exercices), édition De Boeck Université, 1252p.

BJÖRCK Åke, 1996, Numerical Methods for Least Squares Problems, Society for Industrial and
Applied Mathematics (Siam), Philadelphia, 408p.

BOCHEV Pavel B. and Max D. GUNZBURGER, 2009, Least – Squares Finite Element methods,
Springer (Applied Mathematical Sciences Volume 166), New York, 660p.

BOURBAKI Nicolas, 1975, Topologie Générale, Chapitres 5 à 10, Springer – Verlag Berlin and
Heidelberg GmbH & Co. K, Berlin, 336p.

BOURBAKI Nicolas, 1981, Espaces Vectoriels Topologiques, Chapitre 1 à 5, Dunod, Paris, 368p.

BOURBAKI Nicolas, 2006, Topologie Générale, Chapitre 1 à 4, Springer – Verlag Berlin and
Heidelberg GmbH & Co. K, Berlin, 376p.

BOURBAKI Nicolas, 2007, Eléments d’histoire des mathématiques, Springer – Verlag Berlin and
Heidelberg GmbH & Co. K, Berlin, 374p.

CHAVENT Guy, Nonlinear Least Squares for Inverse Problems. Theorical Foundations and Step–by–
Step Guide for Applications (With 25 Figures), Springer, New York, 360p.

IPSEN Ilse C.F., 2009, Numerical Matrix Analysis. Linear Systems and Least Squares, Society for
Industrial and Applied Mathematics (Siam), Philadelphia, 128p.

KARIYA Takeai and KURATA Hiroshi, 2004, Generalized Least Squares, John Wiley & Sons, Ltd, West
Sussex, 289p.

LAWSON Charles L. and Richard J. HANSON, 1995, Solving Least Squares Problems, Society for
Industrial and Applied Mathematics (Siam), Philadelphia, 337p.

LAY David C., 2004, Algèbre linéraire: Théorie, Exercices & Applications, Traduction de la 3ème
edition américaine par Micheline Citta–Vanthemsche, Editions De Boeck Univesité, Bruxelles, 558p.

MARCO Jean – Pierre, 2009, Mathématiques L3. Analyse (Cours complet avec 600 test et Exercices
corrigés), avec la collaboration de Hakim BOUMAZA, Benjamin COLLAS, Stéphane COLLION, Marie
DELLINGER, Zoé FAGET, Laurent LAZZARINI et Florent SCHAFFA_HAUSER), édition Pearson, Paris,
932p.
131
J–Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative

OK Efe A., 2007, Real Analysis with Economic Applications, Princeton University Press, Princeton,
802p.

RAO C. Radhakrishna and Helge TOUTENBURG, 1999, Linear Models. Least Squares and Alternatives
(With 33 Illlustrations), 2nd Edition (With Contribution by Adreas FIEGER), Springer – Verlag, New
York, 427p.

RAO C. Radhakrishna, Helge TOUTENBURG, SHALABH,Christian HEUMANN, 2008, Linear Models and
Generalizations. Linear Squares and Alternative, 3rd Extended Edition (With Contribution by Michael
SCHOMAKER), Springer – Verlag, Berlin, 570p.

TOMBOLA Cédrick et Jean – Paul TSASA, 2013, « Analyse de la Structure d’Espaces Vectoriels »,
One Pager Laréq (février), vol. 5, num. 15, 93 – 99.

TSASA Jean – Paul, 2012a, « Faisceau des Moindres Carrés », One Pager Laréq (mai), vol. 2, num.
001, 1 – 11.

TSASA Jean – Paul, 2012b, « Dérivation de la Règle d’or d’Estimation : un regard plus attentif sur
les points focaux de la méthode des moindres carrés linéaires », One Pager Laréq (mai), vol. 2,
num. 004, 22 – 28.

TSASA Jean – Paul, 2013a, « Produit Scalaire, Métrique et Orthogonalité : Préalables à la Résolution
du Problème des Moindres Carrés », One Pager Laréq (mars), vol. 5, num. 017, 112 – 117.

TSASA Jean – Paul, 2013b, « Projection Orthogonale : Décomposition Orthogonale et Meilleure
Approximation », One Pager Laréq (mars), vol. 5, num. 018, 118 – 125.

VINZI V. Esposito, CHIN Wynne W., HENSElER Jörg and WANG Huiwen (editors), 2010, Handbook of
Pratical Least Squares. Concepts, Methods and Applications, Springer Handbooks of Computational
Statistics, New York, 798p.

WOLBERG John R., 2006, Data Analysis Using the Method of Least Squares. Extracting the Most
Information from Experiments (With 58 Figures and 68 Tables), Springer – Verlag, Berlin, 250p.
132
J–Paul Kimbambu, Tsasa Vangu
Laboratoire d’Analyse – Recherche en Economie Quantitative