Problème des Moindres Carrés, J–Paul K., Tsasa
Transcription
Problème des Moindres Carrés, J–Paul K., Tsasa
Problème des Moindres Carrés, J–Paul K., Tsasa Laboratoire d’Analyse – Recherche en Economie Quantitative One Pager Mars 2013 Vol. 5 – Num. 019 Copyright © Laréq 2013 http://www.lareq.com Dérivation du Problème général des Moindres Carrés Jean–Paul Kimbambu, Tsasa Vangu « Comme en un éclair subit, l’énigme se trouva résolue. Je ne puis dire moi – même de quelle nature a été le fil conducteur reliant ce que je savais déjà à ce qui a rendu mon succès possible. » Johann Carl Friedrich Gauß (1777 – 1855) Résumé Ce papier s’inscrit dans la suite logique de deux numéros précédents. Il propose une dérivation rigoureuse du problème général des moindres carrés et présente également sa résolution. Mots – clé : Orthogonalité, projection orthogonale et moindres carrés. Abstract This analysis, enrolling in the following of two papers previously published, presents the formulation and solution of a general problem of least squares. Introduction Ce papier formalise le problème général des moindres carrés, en se fondant sur les deux publications parues précédemment1. Une fois le problème formalisé, il sera question de le résoudre par la suite en se basant sur les théorèmes de la décomposition orthogonale et de la meilleure approximation. Pour ce faire, le papier s’organise comme suit. La première section s’intéresse à la formulation du problème général des moindres carrés. Et la deuxième en présente la solution. Une fois la solution au problème en cause sera caractérisée, d’autres publications suivront pour confectionner l’édifice construit jusqu’alors. Par ailleurs, contrairement aux deux précédents numéros, pour désigner le vecteur la notation préférée à sera tout au long de cette présentation. Formalisation du problème général des moindres carrés Dans l’analyse économique, il est fréquent de rencontrer des systèmes d’équations linéaires de la forme : issus des données d’enquêtes ou des informations statistiques, qui soient incompatibles c’est – à – dire non résoluble. Cependant, au regard de l’importance des informations à extraire de ces systèmes, de tels problèmes ne sont généralement pas rejetés par l’économiste. Ils sont plutôt résolus en adoptant une approche d’approximation consistant à identifier un vecteur qui minimiserait la distance entre et soit : où 1 est une approximation de cf. Tsasa (2013a & 2013b) 126 J–Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative En se rappelant de la notion de distance abordée dans Tsasa (2013a, p. 113), on se rend compte que cette dernière correspond, en effet, à une somme des carrés, soit : D’où, le vecteur recherché est nommé : solution au sens des moindres carrés de Ainsi, le problème général des moindres carrés consiste donc à résoudre le système linéaire incompatible tel qu’exprimé par la relation (1), où vecteur de désigne une matrice de format ; une vecteur de et un Puisqu’il s’agit d’un système incompatible, la solution à un tel problème sera obtenu par approximation et devra satisfaire la condition suivante : De ce fait, quel que soit la procédure exécutée dans le choix du vecteur un résultat important soutenu par les considérations théoriques développées dans Tsasa (2013a, 2013b), stipule que nécessairement : où est un espace des colonnes. La relation (5) établit le principe clé du traitement d’un système d’équations linéaires incompatible au sens des moindres carrés. Ainsi, au regard de la relation (4), il faudra donc trouver ce vecteur le vecteur soit le point de tel que le plus proche du vecteur Figure 1 : Illustration de la solution au sens des moindres carrés Cette figure révèle que si le vecteur pour un certain vecteur tel que appartient à l’espace des colonnes, il vient que est de la forme constitue une solution au sens des moindres carrés. Solution du problème général des moindres carrés La recherche d’une solution au système trouve ses fondements dans le théorème de la meilleure approximation énoncé et démontré dans Tsasa (2013b, p. 124). Dans le cas d’espèce, ce théorème sera appliqué au sous–espace où : est la projection orthogonale de sur l’espace des colonnes de . 127 J–Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative Puisque le système Le vecteur est compatible. Et de ce fait, il existe étant le point de le plus proche de solution au sens des moindres carrés (SSMC) de tel que : par conséquent, le vecteur si et seulement si constitue une satisfait (7). Au regard du théorème de la décomposition orthogonale (Tsasa, 2013b, p. 123), la projection est telle que : et Ainsi, on obtient : où est une colonne quelconque de On écrit également : Puisque correspond à une ligne de il y a également lieu d’écrire : Et par conséquent : où chaque SSMC de vérifie l’équation matricielle suivante : La relation (10) représente un système d’équations communément appelé « équations normales » de dont est la solution. Les deux théorèmes qui suivent permettent de caractériser la solution premier montre que suffisante pour que la matrice et le coïncident et le second pose la condition nécessaire et soit inversible. Théorème 1. L’ensemble des solutions au sens des moindres carrés de coïncide avec l’ensemble non vide des solutions des équations normales Démonstration. D’après les définitions et relations établies précédemment, il vient que l’ensemble des solutions les équations normales de Réciproquement, si vérifie vérifie alors il vérifie la relation (9c), d’où : 128 J–Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative Les colonnes de étant partie génératrice de il vient que : Et donc, l’équation : apparaît comme une décomposition de en la somme d’un vecteur de et d’un vecteur orthogonal à En vertu de la propriété d’unicité de la décomposition orthogonale, orthogonale de Ainsi, sur et donc, est nécessairement la projection : est bel et bien une solution au sens des moindres carrés. A titre illustratif, en considérant l’espace et le plan ainsi que les données suivantes : Pour dériver la SSMC d’un système incompatible noté on procéder généralement comme suit : Calculer la relation (10) : Dès lors, on peut écrire : Pour résoudre cette dernière équation matricielle, il nous faut un théorème supplémentaire sur les conditions assurant que la matrice Théorème 2. La matrice est bien inversible. est inversible si et seulement si les colonnes de indépendantes. Dans ce cas, l’équation n’a qu’une solution sont linéairement au sens de moindres carrés qui est donnée par : Ce résultat trouve une explication dans Tombola – Tsasa (2013, p. 97). D’après le théorème (2), la projection est toujours unique (critère d’unicité de la SSMC de ). 129 J–Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative Pour tester l’indépendance de la matrice on peut également s’intéresser à ses sous–matrices carrées et comparer les déterminants (non nuls) correspondants. Soit : puisque les colonnes de correspondent aux lignes de on a : où on peut dériver deux sous–matrices carrées : Comme les colonnes de La distance entre Connaissant et et sont, de ce fait, linéairement indépendantes. Ainsi : appelée « erreur » de l’approximation de par est donnée par : on a : Et donc : Ainsi, pour tout autre du plan la distance entre et ne peut qu’être au moins égale à l’unité. A l’effet de doter à ces différentes publications une connotation pratique, le Laboratoire prévoit élaborer dans les mois à venir des manuels illustratifs (Guides Laréq). Il y sera donc question de confronter les considérations théoriques aux données empiriques. Et par ailleurs, vu que dans la réalité, les formats des matrices et des vecteurs utilisés sont généralement très grands, les logiciels Matlab, R, Stata ou Eviews serviront de supports d’analyse et seront sollicités chacun selon le cas ou le besoin d’études. 130 J–Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative Par ailleurs, afin d’approfondir davantage les considérations théoriques fondamentales de la méthode des moindres carrés, nous prévoyons revenir prochainement sur : (i) la dérivation de la droite des moindres (modèle linéaire simple) et sa généralisation aux cas « multiple linéaire » et « non linéaire » ; (ii) la définition des espaces euclidiens ; (iii) les applications des espaces euclidiens dans l’analyse des moindres carrés, l’étude de tendance et l’emploi des séries de Fourier dans les problèmes d’approximation (approximation de Fourier). Bibliographie AIGNER Martin et Günter M. ZIEGLER, 1998, Raisonnements Divins : Quelques Démonstrations Mathématiques Particulièrement Elégantes, 2ième édition Springer, Berlin, 270p. ASLANGUL Claude, 2011, Des Mathématiques pour les Sciences. Concepts, Méthodes et Techniques pour la modélisation (Cours et Exercices), édition De Boeck Université, 1252p. BJÖRCK Åke, 1996, Numerical Methods for Least Squares Problems, Society for Industrial and Applied Mathematics (Siam), Philadelphia, 408p. BOCHEV Pavel B. and Max D. GUNZBURGER, 2009, Least – Squares Finite Element methods, Springer (Applied Mathematical Sciences Volume 166), New York, 660p. BOURBAKI Nicolas, 1975, Topologie Générale, Chapitres 5 à 10, Springer – Verlag Berlin and Heidelberg GmbH & Co. K, Berlin, 336p. BOURBAKI Nicolas, 1981, Espaces Vectoriels Topologiques, Chapitre 1 à 5, Dunod, Paris, 368p. BOURBAKI Nicolas, 2006, Topologie Générale, Chapitre 1 à 4, Springer – Verlag Berlin and Heidelberg GmbH & Co. K, Berlin, 376p. BOURBAKI Nicolas, 2007, Eléments d’histoire des mathématiques, Springer – Verlag Berlin and Heidelberg GmbH & Co. K, Berlin, 374p. CHAVENT Guy, Nonlinear Least Squares for Inverse Problems. Theorical Foundations and Step–by– Step Guide for Applications (With 25 Figures), Springer, New York, 360p. IPSEN Ilse C.F., 2009, Numerical Matrix Analysis. Linear Systems and Least Squares, Society for Industrial and Applied Mathematics (Siam), Philadelphia, 128p. KARIYA Takeai and KURATA Hiroshi, 2004, Generalized Least Squares, John Wiley & Sons, Ltd, West Sussex, 289p. LAWSON Charles L. and Richard J. HANSON, 1995, Solving Least Squares Problems, Society for Industrial and Applied Mathematics (Siam), Philadelphia, 337p. LAY David C., 2004, Algèbre linéraire: Théorie, Exercices & Applications, Traduction de la 3ème edition américaine par Micheline Citta–Vanthemsche, Editions De Boeck Univesité, Bruxelles, 558p. MARCO Jean – Pierre, 2009, Mathématiques L3. Analyse (Cours complet avec 600 test et Exercices corrigés), avec la collaboration de Hakim BOUMAZA, Benjamin COLLAS, Stéphane COLLION, Marie DELLINGER, Zoé FAGET, Laurent LAZZARINI et Florent SCHAFFA_HAUSER), édition Pearson, Paris, 932p. 131 J–Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative OK Efe A., 2007, Real Analysis with Economic Applications, Princeton University Press, Princeton, 802p. RAO C. Radhakrishna and Helge TOUTENBURG, 1999, Linear Models. Least Squares and Alternatives (With 33 Illlustrations), 2nd Edition (With Contribution by Adreas FIEGER), Springer – Verlag, New York, 427p. RAO C. Radhakrishna, Helge TOUTENBURG, SHALABH,Christian HEUMANN, 2008, Linear Models and Generalizations. Linear Squares and Alternative, 3rd Extended Edition (With Contribution by Michael SCHOMAKER), Springer – Verlag, Berlin, 570p. TOMBOLA Cédrick et Jean – Paul TSASA, 2013, « Analyse de la Structure d’Espaces Vectoriels », One Pager Laréq (février), vol. 5, num. 15, 93 – 99. TSASA Jean – Paul, 2012a, « Faisceau des Moindres Carrés », One Pager Laréq (mai), vol. 2, num. 001, 1 – 11. TSASA Jean – Paul, 2012b, « Dérivation de la Règle d’or d’Estimation : un regard plus attentif sur les points focaux de la méthode des moindres carrés linéaires », One Pager Laréq (mai), vol. 2, num. 004, 22 – 28. TSASA Jean – Paul, 2013a, « Produit Scalaire, Métrique et Orthogonalité : Préalables à la Résolution du Problème des Moindres Carrés », One Pager Laréq (mars), vol. 5, num. 017, 112 – 117. TSASA Jean – Paul, 2013b, « Projection Orthogonale : Décomposition Orthogonale et Meilleure Approximation », One Pager Laréq (mars), vol. 5, num. 018, 118 – 125. VINZI V. Esposito, CHIN Wynne W., HENSElER Jörg and WANG Huiwen (editors), 2010, Handbook of Pratical Least Squares. Concepts, Methods and Applications, Springer Handbooks of Computational Statistics, New York, 798p. WOLBERG John R., 2006, Data Analysis Using the Method of Least Squares. Extracting the Most Information from Experiments (With 58 Figures and 68 Tables), Springer – Verlag, Berlin, 250p. 132 J–Paul Kimbambu, Tsasa Vangu Laboratoire d’Analyse – Recherche en Economie Quantitative