Méthode des moindres carrés - webwww03 - poseidon.heig

Méthode des moindres
carrés
1
Méthodes des moindres carrés
Chapitre 6 du polycopié

La méthode des moindres carrés permet de comparer des données expérimentales,
généralement entachées d’erreurs de mesure à un modèle mathématique censé
décrire ces données.

Ce modèle peut prendre diverses formes. Il s’agira en général de lois de
conservation que les quantités mesurées doivent respecter. La méthode des
moindres carrés permet alors de minimiser l’impact des erreurs expérimentales et
évaluer les valeurs plus probables des paramètres de la loi recherchée, ainsi
«ajoutant de l’information» dans le processus de mesure.
2




Les données suivent la courbe
figurée en pointillés et sont
affectées par une erreur
aléatoire.
Elles sont représentées
graphiquement sous la forme de
points de mesures, munis de
barres d'erreur.
Le meilleur ajustement déterminé
par la méthode des moindres
carrés est représenté en rouge.
Il s'agit de la fonction qui
minimise la somme
quadratique des écarts
(appelés résidus) entre les
données et le modèle.
3

Dans le cas le plus courant, le
modèle théorique est une famille de
fonctions ƒ(x,θ) d’une ou plusieurs
variables x, indexées par un ou
plusieurs paramètres θ inconnus.

La méthode des moindres carrés
permet de sélectionner parmi ces
fonctions, celle qui reproduit le
mieux les données
expérimentales. On parle dans ce
cas d’ajustement par la méthode des
moindres carrés.

Si les paramètres θ ont un sens
physique la procédure d’ajustement
donne également une estimation
indirecte de la valeur de ces
paramètres.
4

La méthode consiste en une prescription (initialement empirique) qui est que
la fonction ƒ (x;θ) qui décrit « le mieux » les données est celle qui minimise la
somme quadratique des déviations des mesures aux prédictions de ƒ (x;θ) .

Si par exemple, nous disposons de N mesures, (yi) avec i = 1, N,
les paramètres θ «optimaux» au sens de la méthode des moindres carrés sont
ceux qui minimisent la quantité :

où les ri(θ) sont les résidus au modèle, i.e. les écarts entre les points de
mesure yi et le modèle f (x;θ).

S(θ) peut être considéré comme une mesure de la distance quadratique
entre les données expérimentales et le modèle théorique qui prédit ces
données.

La prescription des moindres carrés commande que cette distance soit
minimale.
5

Sa grande simplicité fait que cette méthode est très couramment utilisée de
nos jours en sciences expérimentales.

Une application courante est le lissage des données expérimentales par une
fonction empirique (fonction linéaire, polynomes ou splines).

Cependant son usage le plus important est probablement la mesure de
quantités physiques à partir de données expérimentales.

Dans de nombreux cas, la quantité que l’on cherche à mesurer n’est pas
observable et n’apparaît qu’indirectement comme paramètre θ d’un modèle
théorique f (x, θ).

Dans ce dernier cas de figure, il est possible de montrer que la méthode des
moindres carrés permet de construire un estimateur de θ, qui vérifie certaines
conditions d’optimalité.

Par ailleurs, dans tous les cas, les estimateurs obtenus sont extrêmement
sensibles aux points aberrants: on traduit ce fait en disant qu’ils sont non
robustes. Plusieurs techniques permettent cependant de «robustifier» la
méthode.
6
Régression linéaire

Une régression linéaire est l'ajustement d'une loi linéaire du type
y=αx+β
sur des mesures indépendantes, fonction d'un paramètre connu x.

Ce type de situation se rencontre par exemple lorsque l'on veut calibrer un
appareil de mesure simple (ampèremètre, thermomètre) dont le
fonctionnement est linéaire.

y est alors la mesure instrumentale (déviation d'une aiguille, nombre de pas
d'un ADC, ...) et x la grandeur physique qu'est censé mesurer l'appareil,
généralement mieux connue, si l'on utilise une source de calibration fiable.

La méthode des moindres carrés permet alors de mesurer la loi de
calibration de l'appareil, d'estimer l'adéquation de cette loi aux mesures de
calibration (i.e. dans le cas présent, la linéarité de l'appareil) et de propager
les erreurs de calibration aux futures mesures effectuées avec l'appareil
calibré.
7
Ajustement d'un modèle de type
y=a·x+b
par la méthode des moindres carrés
Les données suivent la loi figurée en
pointillés et sont affectées d'erreurs
gaussiennes.
L'ajustement déterminé (courbe rouge) est le
meilleur estimateur de la pente et de
l'ordonnée à l'origine compte tenu de la
quantité d'information contenu dans les
points de mesure.
8
Régression linéaire: calcul des coefficients

La prescription des moindres carrés s'écrit pour ce type de modèle:
N
N
S    yi  f xi ;    yi   xi   
2
i 1

2
i 1
Le minimum de cette expression est trouvé quand les deux dérivées
partielles ∂S/∂α et ∂S/∂β sont égales à zéro:
N
S
  2  yi   xi    xi   0
 i 1
N
S
  2  yi   xi    1  0
 i 1

Ce qui donne le système d’équations suivantes:
N
N
  x    xi 
i 1
N
2
i
  xi  
i 1
i 1

N
x
i
i 1
yi
N
y
i 1
i
9

Ce système d’équations:
N
N
  x    xi 
i 1
2
i
i 1
N
  xi  

i 1

x
i
i 1
yi
N
y
i 1
i
peut être écrit en forme matricielle:
 N 2
  xi
 i N1

xi

 i 1

N
ce qui donne la solution:

N

x
x
y

i 
i i
  
i 1
i 1
    N


1      yi 

 i 1

N
 N 2
xi
   
i 1
    N
  
xi

 i 1

x

i 
i 1

1 

N
1
N

x
y
 i i 
  i 1N


yi 

 i 1

10
Régression linéaire: un algorithme de calcul pratique

Si on défini les sommes suivantes:
S X  x1  x2  ...  x N
SY  y1  y2  ...  y N
S XX  x12  x22  ...  x N2
S XY  x1 y1  x2 y2  ...  x N y N

les coefficients α et β sont ensuite calculés par:

N S XY  S X SY
N S XX  S X S X
SY   S X

N
11
Régression linéaire – cas particulier: calcul de la pente si on suppose (ou
impose) le passage de la droite par zéro
y=·x.

La droite cherchée est du type

La prescription des moindres carrés s'écrit pour ce type de modèle:
N
N
S    yi  f xi ;    yi   xi 
2
i 1

2
i 1
Le minimum de cette expression est trouvé quand la dérivée partielle ∂S/∂α
est égale à zéro:
N
S
  2  yi   xi  xi   0
 i 1

Ce qui donne:
N
N
 x 
i 1
2
i
N
x
i 1
i
yi
et donc

x
i 1
N

i 1
i
yi
xi2
S XY

S XX
12
Evaluation de l’écart-type par rapport à la régression
Diagramme avec barres d’erreurs
régression linéaire
y = 0.6364x + 0.5455
12
10
8
y
4
Linéaire (y)
Y
6
2
0
-2
0
5
10
15
X
13
Problème
On souhaite tester différentes formes de régressions linéaires sur l'ensemble des
points donnés dans le tableau suivant:

x=
1
3
4
6
8
9
11
14
y=
1
2
4
4
5
7
8
9
1.
par minimisation de la somme des carrés des écarts sur les ordonnées.
2.
par minimisation de la somme des carrés des écarts sur les ordonnées et en
forçant la droite à passer par l'origine

Faire l’exercice avec Excel mais sans utiliser l’option « courbe de tendance »

Déterminer les coefficients des droites de régression correspondantes aux
différents critères mentionnés et les représenter sur un graphe avec également
les points figurant dans le tableau.

Evaluer ensuite l’écart-type des écarts résiduels et tracer le diagramme avec les
barres d’erreur.

Vérifier qu’on obtient les mêmes résultats avec l’option « courbe de tendance »
14
Régressions curvilinéaires

Dans de nombreux problèmes, une relation nette apparaît entre les variables
étudiées, mais cette relation n’est pas linéaire.

Il peut alors être utile de procéder à l'ajustement d'une courbe de régression
au nuage de points observés.

Deux problèmes distincts se posent alors:

1.
le choix de l'équation de la courbe (donc choix d'un certain type de
fonction),
2.
la détermination des paramètres intervenant dans cette équation.
Il existe des régressions polynomiales, exponentielles, logarithmiques,….
15
Régressions curvilinéaires avec Excel
16
17
Le coefficient de détermination R

Le coefficient de détermination évalue la comparaison des valeurs
estimées par la régression aux valeurs réelles et varie entre 0 et 1.

Un coefficient de détermination égal à 1 indique une corrélation
parfaite de l'échantillon (aucune différence entre les valeurs y
estimées et réelles).

A l'inverse, un coefficient de détermination égal à 0 (zéro) indique
que l'équation de régression ne peut servir à prévoir une valeur y.
18
Problème
Déterminer avec Excel les coefficients A et B de la loi
y = AxB
pour l’ensemble des points suivants:
19
20
Ajustement d'un modèle linéaire


Un modèle f(x;θ) est linéaire, si sa dépendance en θ est linéaire.
Un tel modèle
où les φk sont n fonctions quelconques de la variable x.

Un tel cas est très courant en pratique: tous les types de régressions
proposés par Excel son linéaires sauf la «puissance».

Plus généralement tout modèle polynomial est linéaire, avec
φk(x) = xk.

Aussi, de très nombreux modèles utilisés en sciences expérimentales
sont des développement polynomiaux sur des bases fonctionnelles
classiques (splines, bases de Fourier, bases d'ondelettes, etc.).
21

Dans le cas le plus général on trouve que les  min qui minimisent les écarts
entre une fonction linéaire
et une série de données yi(xi), sont trouvés par l’expression matricielle

avec les définitions suivantes:

La matrice J est appelée matrice jacobienne du problème. C'est une matrice
rectangulaire, de dimension N x n, avec généralement N >> n.
Elle contient les valeurs des fonctions de base φk pour chaque point de mesure.

La matrice diagonale W est appelée matrice des poids: elle prends en compte
le fait que chaque valeur de yi peut être affecté d’un écart type différent.
Si ce n’est pas le cas, W peut être remplacé par la matrice unité.
22
Ajustement d'un polynôme linéaire


Le cas d'ajustement d’un polynôme d'ordre k à un ensemble de n points de
mesures donnés par les couples (xi, yi) admet des méthodes de solution
assez simples à mettre en œuvre.
Définissons le polynôme recherché comme:
a0 x 0  a1 x1  a 2 x 2  a3 x 3  .............  a k x k  y

Les inconnues sont les valeurs des ak.
Il faut donc disposer de k+1 équations.

Multiplions successivement la relation précédente par x1, x2, … xk, on
obtient le système d’équations suivantes:
a0 x 0  a1 x1  a2 x 2  a3 x 3  .............  ak x k  y
a0 x1  a1 x 2  a2 x 3  a3 x 4  .............  ak x k 1  y x1
a0 x 2  a1 x 3  a2 x 4  a3 x 5  .............  ak x k  2  y x 2
............
a0 x k  a1 x k 1  a2 x k  2  a3 x k 3  .............  ak x k  k  y x k
23
On écrit ces k+1 relations pour tous les n points Pi, de coordonnées xi, yi,
puis l'on somme toutes les équations par catégorie.
On obtient ainsi:

 n
 n
 x1
i

i 1
 .....

 n.....

k
x

i

 i 1
n
n
x
x
.....
2
x
 i
3
x
 i
.....
.....
.....
.....
.....
.....
i 1
n
i 1
i 1
n
i 1
.....
n
x
i 1
k 1
i
n
x
i 1
k 2
i

 n

x 
yi 



i 1
  a0   in1

n


k 1 
a1   y  x 
x


i
i
i



i 1
i

1




....
.....     .... 
 .... 



..... 
 n ..... 
n


a

2k   k 
k
x
y

x

i 
 i i 
i 1

 i 1

n
2
i
1
i
.....
k
i
24
Enfin les valeurs ao-k s’obtiennent par la solution de l’équation
matricielle suivante:

n

 a0  
a   n 1
 1    xi
....   i 1
   .....
....  .....
ak   n
k
x
 i
 i 1
n
n
x
2
i
x
.....
2
x
 i
3
x
 i
.....
.....
.....
.....
.....
.....
i 1
n
1
i
i 1
i 1
n
i 1
.....
n
k 1
x
 i
i 1
n
k 2
x
 i .....
i 1
k 
xi 

i 1

n
k 1 
x

i

i 1
..... 

..... 
n
2k 
x

i 
i 1

n
1
 n

  yi 
 in1

 y x 
i
i


  i 1
.... 


 ..... 
 n
k
y

x
 i i 
 i 1

25
Problème
Ajuster une parabole (polynôme d’ordre 2) par les points suivants:
x
-4.1
-3.2
-1.8
-1
0
0.95
2.1
2.9
4.0
y
26
15.2
8.1
3.9
1.8
3.7
7.7
16
24.5
Faire l’exercice avec
1. Excel
2. Matlab, par la fonction polyfit
26
Ajustement d'un cercle
Soit un cercle de rayon R dont l'équation est donnée par:
2
2
2
( x  a )  ( y  b)  R
Cette équation peut s'écrire aussi:
2ax  2by  ( R 2  a 2  b2 )  x 2  y 2
ou:
avec:
2ax  2by  c  x  y
2
2
c  R 2  a 2  b2
27
Les inconnues sont
• a, b, les coordonnées x,y du centre
• c qui donnera R, rayon du cercle recherché
Il faut donc disposer de 3 équations.
En multipliant une fois par x et une fois par y la relation:
2ax  2by  c  x 2  y 2
on obtient:
2ax 2  2bxy  c x  x 3  xy2
et
2axy  2by 2  c y  x 2 y  y 3
28
Ajustement d'un cercle par la méthode des moindres carrés
On a donc élaboré les trois relations suivantes:
2a x  2b y  c  x 2  y 2
2a x 2  2b xy  c x  x 3  xy2
2axy  2b y 2  c y  x 2 y  y 3
On écrit ces trois relations pour tous les N points Pi, de coordonnées xi,
yi, puis l'on somme toutes les équations par catégorie.
On obtient ainsi:
2a  xi  2b  yi
i
i
i
i
cN

x y
2
i
2
i
i
i
2a  xi2  2b xi yi  c xi   xi3   xi yi2
i
i
i
i
i
2a  xi yi  2b yi2  c yi   xi2 yi   yi3
i
i
i
29
Le système d’équations:
2a  xi  2b  yi
i
i
i
i
cN

x y
2
i
2
i
i
i
2a  xi2  2b xi yi  c xi   xi3   xi yi2
i
i
i
i
i
2a  xi yi  2b yi2  c yi   xi2 yi   yi3
i
i
i
S’écrit sous forme matricielle:

  xi
 i 2
  xi
 i
 xi yi
 i
y
x y
y
i
i
i
i
2
i
i
i


2
2 
N 
xi   yi 
 2a   
i
    i 3
2
i xi    2b   i xi  i xi yi 
 c 

2
3


 xi yi   yi 
i yi 
i
 i

30
Ajustement d'un cercle par la méthode des moindres carrés
Enfin les valeurs de 2a, 2b,
matricielle:

xi
 2a   
   i 2
 2b     xi
c  i
   xi yi
 i
c
s’obtiennent par la solution de l’équation
y
x y
y
i
i
i
i
2
i
i
i

n 

i xi 

i yi 
1

2
2 
  xi   yi 
i
 i 3
2
   xi   xi yi 
 i 2 i

3
 xi yi   yi 
i
 i

31
Problème

Déterminer (avec Matlab) le rayon R et les coordonnées du centre C
du cercle des moindres carrés passant parmi les points dont les
coordonnées polaires sont les suivantes:
R (mm)
83
64
50
54
70
88
93
91
 (°)
0
45
90
135
180
225
270
315
32
Plus de 2 variables:
Ajustement d'un plan à un ensemble de points de
coordonnées x1 y1 z1, x2 y2 z2 , ... xn yn zn
Dans le cas des problèmes comportant plus de deux variables, le
processus de résolution est le même que pour deux variables.
Si par exemple, il existe une relation entre les variables x, y et z, celle-ci
peut être exprimée à l'aide de l'équation suivante:
z  f ( x, y )  ax  by  c
Cette équation représente un plan dans un système de coordonnées à trois
dimensions.
33
34
Ajustement d'un plan par la méthode des moindres carrés
35
Enfin les valeurs de a, b, c pour le plan
z  f ( x, y )  ax  by  c
s’obtiennent par:

2
x
i
a  
   i
 b    xi yi
c  i
    xi
 i
x y
y
y
i
i
2
i
i
i
i
i

i xi 

i yi 

n 

1


  xi zi 
 i

   yi z i 
 i

  zi 
 i

36