Arbres de décision

Arbres de décision
Arbres de décision n 
Exemple:
¨ 
¨ 
¨ 
n 
Arbre de décision
Classification de la
grandeur d’une personne
T= grand, t=moyen à grand,
M= moyen, m= petit à
grand, S= petit
But: prédire la grandeur
d’une personne à partir
d’une série de questions.
CART: Classification &
Regression Trees
2
3
1
Exemple: Arbre de décision
Instance
Arbre de décision
n 
a)ribut
Jour
Ciel
Température
Humidité
Vent
Jouer
J1
Soleil
Chaud
Élevé
Faible
Non
J2
Soleil
Chaud
Élevé
Fort
Non
J3
Couvert
Chaud
Élevé
Faible
Oui
J4
Pluie
Moyen
Élevé
Faible
Oui
J5
Pluie
Frais
Normal
Faible
Oui
J6
Pluie
Frais
Normal
Fort
Non
J7
Couvert
Frais
Normal
Fort
Oui
J8
Soleil
Moyen
Élevé
Faible
Non
J9
Soleil
Frais
Normal
Faible
Oui
J10
Pluie
Moyen
Normal
Faible
Oui
J11
Soleil
Moyen
Normal
Fort
Oui
J12
Couvert
Moyen
Élevé
Fort
Oui
J13
Couvert
Chaud
Normal
Faible
Oui
J14
Pluie
Moyen
Élevé
Fort
Non
Arbre de décision
Exemple : Est-ce que les conditions sont favorables pour
jouer au tennis?
n 
Un arbre de décision est représenté par une
séquence de conditions.
n 
JouerTennis =
Ciel
Ensoleillé
Pluie
Couvert
Humidité
Élevée
Non
4
Basse
Oui
Vent
Oui
Fort
Non
Faible
(Ciel = ensoleillé et Humidité = normal)
ou
(Ciel = couvert)
ou
(Ciel = pluie et Vent = faible)
Oui
Classifier l’instance suivante:
<Ciel = Ensoleillé,Température = chaud, Humidité = élevé,Vent = fort>
5
6
2
Arbre de décision: Apprentissage
n 
Première possibilité: produire un chemin pour chaque
donnée d’entraînement
n 
A2
A3
Sortie
+
+
+
1
+
-
+
0
+
-
-
0
Principe:
¨ 
A1
A1
¨ 
¨ 
¨ 
A1
¨ 
A1
0
¨ 
A1
0
Comment choisir le meilleur
discriminant?
Arbre de décision: Apprentissage
[39+, 31-­‐‑]
Étant donné un ensemble d’instances I
Trouver l’attribut qui est le meilleur discriminant sur
l’ensemble d’entraînement.
Cet attribut sera utilisé comme test pour le nœud.
Un nœud enfant est créé pour chacune des valeurs possibles
de l’attribut.
Les exemples d’entraînement sont ensuite assignés à leurs
nœuds correspondants
On reprend le processus pour chacun des nœuds.
[39+, 31-­‐‑]
Genre
[20+, 15-­‐‑]
[19+, 16-­‐‑]
Fumeur
[39+, 0-­‐‑]
[0+, 31-­‐‑]
Lequel des deux attributs devrions nous choisir?
1
7
8
9
3
Algorithme d’entraînement
Arbre de décision: Entropie
Exemple: Arbre de décision
ID3( Exemples, AttributCible, Attributs )
Créer un nouveau nœud
n 
n 
Quel attribut est le meilleur discriminant?
Calcul de l’entropie:
n 
Gain(S,Ciel) = 0.246
Gain(S,Humidité) = 0.151
Gain(S,Vent) = 0.048
Gain(S,Température) = 0.029
Sinon
A <- l’attribut classifie le mieux l’ensemble d’entraînement
Calcul du gain d’information
question[noeud]
∑
v∈Valeurs ( A )
n 
n 
Si attribut est vide, le nœud prend la valeur la plus commune des exemples
i =1
Gain( S , A) = Entropie( S ) −
n 
Si tous les exemples sont négatifs, le nœud est une feuille négative
Entropie ( S ) = ∑ − pi log 2 pi
n 
n 
Si tous les exemples sont positifs, le nœud est une feuille positive
c
Sv
S
pour chaque v
Entropie( S v )
Où Valeurs(A) est l’ensemble des valeurs v possibles pour l’attribut
A et Sv = {s ∈S | A(s) = v}
<- A
{J1,J2,…,J14}
∈A Ciel
Ajouter une branche à nœud pour la valeur v
Exemplesv = {e
∈ exemples | A[e] = v}
Ensoleillé
Si Exemplesv est vide
Pluie
Couvert
{J1,J2,J8,J9,J11}
nœud devient une feuille avec la valeur la plus commune de AttributCible dans Exemples.
?
sinon
{J3,J7,J12,J13}
Oui
{J4,J5,J6,J10,J14}
?
ID3(Exemplesv,AttributCible,Attributs – {A}
10
retourner noeud
11
12
4
Exemple: Arbre de décision
n 
n 
n 
Gain(Ssoleil,Humidité) = 0.970
Gain(Ssoleil,Vent) = .019
Gain(Ssoleil,Température) = 0.570
{J1,J2,…,J14}
{J1,J2,…,J14}
Ciel
Ciel
Ensoleillé
Humidité
{J3,J7,J12,J13}
Oui
Pluie
Humidité
?
{J3,J7,J12,J13}
Élevée
Basse
Fort
{J1,J2,J8}
{J9,J11}
{J1,J2,J8}
{J9,J11}
{J6,J14}
Non
13
Oui
Un exemple pratique:
Reconnaissance de la parole: classification des triphones
Vent
Oui
Basse
Oui
n 
{J4,J5,J6,J10,J14}
Élevée
Non
Un autre exemple:
¨ 
Couvert
{J1,J2,J8,J9,J11}
{J4,J5,J6,J10,J14}
n 
Decision Tree Learning Applet
Ensoleillé
Pluie
Couvert
{J1,J2,J8,J9,J11}
Arbre de décision
Exemple: Arbre de décision
Non
Faible
{J4,J5,J10}
Oui
14
15
5
Élagage
n 
n 
n 
n 
Technique d’élagage
Contrôler la complexité du nombre des branches et
des feuilles pour réaliser un arbre de décision.
Minimiser la taille de l’arbre.
Trouver le nombre optimale k0 de nœuds.
Une méthode régularisation ou de sélection des
modèles
n 
Pré-élagage
Deux techniques d’élagage
¨ 
¨ 
n 
Pré-élagage.
Post-élagage.
n 
n 
n 
Arrêter de diviser un nœud quand la pureté des
points qui domine est non parfaite mais suffisante.
Arrêter quand il y a une classe majoritaire dans le
nœud.
Utiliser un seuil pour détecter une classe
dominantes.
Inconvénients:
¨ 
16
17
Arrêter la construction de l’arbre peut donner un arbre
sous optimal.
18
6
Post élagage
n 
n 
n 
n 
Finir la construction de l’arbre.
Simplifier l’arbre en remontant des feuilles vers la
racine pour trouver ou élaguer.
Utiliser des critères de qualité qui mesure un
compromis l’erreur obtenue et la complexité de
l’arbre.
Utiliser un ensemble de validation pour mesurer
l’erreur à chaque neouds.
19
7