horsepower

Transcription

horsepower

Prédiction d’une variable continue
Ricco RAKOTOMALALA
Ricco Rakotomalala
Tutoriels Tanagra - http://tutoriels-data-mining.blogspot.fr/
1
Principes de la régression
Prédiction d’une variable continue à partir d’une
série de variables de type quelconque
Y = f ( X 1 ,K, X J )
Variable à prédire, endogène
Forcément continue
Variable prédictives, enxogènes, descripteurs
Continues et/ou discrètes
A définir :
(1) La forme de la fonction f
(2) L’estimation de ses paramètres à partir de l’échantillon d’apprentissage
(3) Le critère d’évaluation de la qualité de l’estimation
Solution : ARBRE DE REGRESSION
(1) Un arbre logique
(2) Segmentation de manière à obtenir des groupes « purs » sur Y
(3) Critère des moindres carrés
Ricco Rakotomalala
2
Arbres de régression
Structure générale et éléments clés
Positionnement du groupe
FUEL
={diesel}
moyenne : 30.40
ec-type : 6.99
9%
Taille relative du groupe
moyenne : 26.27
ec-type : 6.17
100%
Homogénéité du groupe
FUEL
={gas}
moyenne : 25.85
ec-type : 5.93
91%
CURBWEIGHT
<=2399.50
moyenne : 38.00
ec-type : 3.37
4%
Comment définir la « bonne »
taille de l’arbre ?
CURBWEIGHT
> 2399.50
moyenne : 25.33
ec-type : 3.13
5%
HORSEPOWER
<=79.00
moyenne : 31.94
ec-type : 4.32
32%
HORSEPOWER
> 79.00
moyenne : 22.59
ec-type : 3.67
59%
Comment choisir la
Variable de segmentation ?
Comment choisir la
borne de discrétisation ?
Ricco Rakotomalala
3
Critère pour la segmentation – L’équation d’ANOVA
ENGINETYPE
={dohc}
moyenne : 20.50
ec-type : 3.50
5%
Choisir la segmentation de manière à ce que
(1) Les moyennes soient le plus disparates
possibles entre les groupes
ENGINETYPE
={l,ohcf,ohc}
moyenne : 27.33
ec-type : 5.76
88%
moyenne : 26.27
ec-type : 6.17
100%
ou (de manière équivalente)
ENGINETYPE
={ohcv,rotor}
moyenne : 17.42
ec-type : 1.04
7%
(2)
Les valeurs soient le plus proches
possibles dans les groupes
Équation d’analyse de variance : TSS = BSS + WSS
2
n
∑ (y
i =1
i
− y
)
=
L
∑
l =1
n l (y l − y
2
)
+
L
∑ ∑ (y
l =1
2
nl
i =1
il
− yl
)
Choix de la variable de segmentation
X j* = arg max BSS (X j )
j
n x V.Totale
n x V. Inter-classes
n x V. Intra-classes
Ricco Rakotomalala
4
Traitement des variables continues
60
50
moyenne : 26.27
ec-type : 6.17
100%
HORSEPOWER
> 79.00
moyenne : 22.75
ec-type : 3.66
64%
40
City-MPG
HORSEPOWER
<=79.00
moyenne : 32.53
ec-type : 4.59
36%
30
20
10
0
0
20
40
60
80
100
120
140
160
180
200
220
Horsepower
Trouver le point de coupure (discrétisation)
sur X tel que BSS est maximum
Ou, de manière équivalente
Ricco Rakotomalala
BSS ( X ) = n1 × ( y1 − y ) + n2 × ( y2 − y )
2
BSS ( X ) =
2
n1 × n2
2
× ( y1 − y2 )
n1 + n2
5
Règles d’arrêt – Pre-pruning
Critères empiriques pour contrôler la taille de l’arbre
•
Effectif minimum pour segmenter
•
Nombre de niveaux de l’arbre
Critère statistique (AID) : probabilité critique pour la segmentation
Si p-value de l’ANOVA est inférieure au seuil, on segmente
Ricco Rakotomalala
6
Post-pruning avec CR-T
Apprentissage en deux phases
(1) Expansion [growing]
maximiser l’homogénéité des groupes
(2) Elagage [pruning]
minimiser l’erreur de prédiction au sens des moindres carrés
E =
n
∑ ( yˆ
i =1
− yi )
2
i
0.8
0.7
0.6
0.5
Apprentissage
Vraie erreur
0.4
0.3
0.2
0.1
0
0
50
100
150
200
250
La stratégie de l’élagage est la même que pour la discrimination :
•
Définir une séquence d’arbres de coût-complexité équivalents
•
Choisir dans la séquence, celle qui minimise l’erreur sur un fichier d’élagage
•
Éventuellement, donner une préférence à la simplicité en introduisant la règle de l’écart-type
Ricco Rakotomalala
7
Regroupement des feuilles issues d’une segmentation
2 approches différentes selon C-RT et AID
(1)
C-RT : arbre toujours binaire
trouver le regroupement qui maximise BSS
(2) AID : arbre m-aire
regrouper les feuilles très proches au sens de Y
•
On fusionne les 2 feuilles les plus proches (comparaison de moyennes – test de Student)
•
On réitère l’opération tant que la p-value est supérieure à la probabilité critique pour
la fusion
Remarque : il est tout à fait possible que toutes les feuilles soient regroupées en une feuille unique
ENGINETYPE
={dohc}
moyenne : 20.50
ec-type : 3.50
5%
moyenne : 26.27
ec-type : 6.17
100%
ENGINETYPE
={l,ohcf,ohc}
moyenne : 27.33
ec-type : 5.76
88%
ENGINETYPE
={ohcv,rotor}
moyenne : 17.42
ec-type : 1.04
7%
Ricco Rakotomalala
Pas de fusion
Fusion de 3 feuilles
Fusion de 2 feuilles
8
Régression linéaire multiple
Une technique alternative
Solution : REGRESSION LINEAIRE MULTIPLE
(1) Une combinaison linéaire des variables exogènes
(2) Méthodes des moindres carrés
(3) Critère des moindres carrés
Y = a0 + a1 X 1 + L + aJ X J + ε
Coefficients
Évaluation des coefficients
Évaluation globale de la régression
Ricco Rakotomalala
9
Comparaison Linéaire vs. Non-linéaire
Modèle linéaire vs. Modèle non-linéaire
12
10
9.28
y = 3.2325x + 2.4267
8
7.19
6
6.08
4.21
4
4.23
2
0.82
0
0
0.5
1
Ricco Rakotomalala
1.5
2
2.5
10
Conclusion
En termes de performances
Dans la pratique, les arbres de régression ne se démarquent pas de la régression linéaire
En matière d’exploration
Les arbres sont à privilégier, ils permettent d’identifier des « zones » où les observations
sont homogènes, et procéder alors une estimation locale des paramètres de distribution de Y
Bibliographie
Breiman, Friedman, Olshen and Stone – « Classification and Regression Trees », Chapman &
Hall, 1984.
Ricco Rakotomalala
11

horsepower

Transcription

Documents pareils

du Nord D`une assistance généralisée aux interventions ciblées. Paris

Apprentissage supervisé

Estimation de l`erreur de prédiction

Courbe ROC

tuning a lyon

Ma mère s`appelle Suzy. Elle est rousse aux yeux verts, pas très

Régression logistique polytomique

Grille de score

TANAGRA : un logiciel gratuit pour l`enseignement et la recherche 1