4on1 - GRAppA

Les biais
Langage et erreur
Bilans
Bibliographie
Les biais
Langage et erreur
Bilans
Bibliographie
Langages de représentation
Représentation des exemples à l'aide de X ;
Learning as search
représentation des hypothèses à l'aide de H ;
astuce de représentation [Feigenbaum, 1977] : X ⊂ H ;
Fabien Torre
relation de subsomption : H × H et test de subsomption ;
correction ∀e ∈ A/− : h 6 e et complétude ∀e ∈ A/+ : h e
GRAppA & Mostrare
structuration de H par ;
Mercredi 23 et 30 septembre 2009
E , espace des versions [Mitchell, 1982] : les hypothèses de H
correctes et complètes (hypothèses consistantes avec A) ;
algorithmes descendants ou ascendants.
Learning as search
Les biais
Langage et erreur
Bilans
Fabien Torre
Bibliographie
Learning as search
Les biais
Langage et erreur
Bilans
Fabien Torre
Bibliographie
Dénitions
Se passer des biais
Diérents biais
Construction d'un système non biaisé [Mitchell, 1980] (1)
Dénition : Biais
Tout moyen de préférer une hypothèse à une autre, alors qu'elles
sont équivalentes pour le problème d'apprentissage.
biais de langage : xe la forme de la solution, essentiellement
le choix de H ;
biais de recherche : toute stratégie pour parcourir l'espace des
hypothèses ;
Choix d'un H sans biais :
doit pouvoir caractériser n'importe quel étiquetage des
exemples (H doit pulvériser X ) ;
sans contraindre la forme des hypothèses ;
une hypothèse est un sous-ensemble de X/+ .
biais de validation : le critère d'arrêt de la recherche.
... connotation négative d'un
passer des biais ?
Learning as search
apprentissage biaisé, comment se
Fabien Torre
Learning as search
Fabien Torre
Les biais
Langage et erreur
Bilans
Bibliographie
Les biais
Langage et erreur
Bilans
Bibliographie
Se passer des biais
Se passer des biais
Construction d'un système non biaisé [Mitchell, 1980] (2)
Construction d'un système non biaisé [Mitchell, 1980] (3)
Classication sans biais :
Trouver une procédure de recherche sans biais :
refus de choisir une des hypothèses de E ;
construire tout l'espace des versions E ;
un exemple est prédit positif que s'il est couvert par
hypothèses de l'espace des versions ;
h ∈ E ⇔ (A/+ ⊆ h) ∧ (A/− ∩ h = ∅)
les hypothèses de l'espace des versions se distinguent les unes
des autres par les exemples étrangers à l'ensemble
d'apprentissage qu'elles contiennent ou non ;
une autre caractérisation de E est donc :
E = h | h = A/+ ∪ E où E ⊆ X − A
un exemple est prédit négatif s'il n'est couvert par
hypothèses de l'espace des versions ;
toutes les
aucune des
si un exemple est classé par le système, c'est qu'il a été vu en
apprentissage ! En eet :
\
[
h = A/+ et X − h = A/−
h∈E
h∈E
sinon il n'y a pas unanimité au sein de E et l'exemple reste de
classe inconnue.
Learning as search
Les biais
Langage et erreur
Bilans
Fabien Torre
Bibliographie
Learning as search
Les biais
Langage et erreur
Justier les biais
Biais et variance
Justication des biais
Compromis biais / variance
Fabien Torre
Bibliographie
Bilans
Un concept cible c , pas nécessairement dans H ;
Les biais sont donc nécessaires pour éviter le par c÷ur : ils
permettent la généralisation, la compression, le saut inductif...
h∗ la meilleure approximation dans H (en terme d'erreur en
Justication des biais
Connaissances liées à un problème, à un domaine particulier, et
rassemblées sous le nom théorie du domaine ;
privilégier la simplicité de la solution (rasoir d'Occam) ;
généralisation) ;
h l'hypothèse de H qui est eectivement apprise.
Décomposition de erreur(h)
Entre c et h∗ , on commet une erreur du au
au choix de H ;
indication sur les utilisations de la prédiction ;
entre h∗ et h, c'est l'erreur du à la
l'algorithme et à l'échantillon.
connaissance de la source des exemples ;
analogie avec des cas déjà traités.
biais, c'est-à-dire
variance c'est-à-dire à
Un apprenant avec une variance importante est dit
Learning as search
Fabien Torre
Learning as search
instable.
Fabien Torre
Les biais
Langage et erreur
Bilans
Bibliographie
Les biais
Langage et erreur
Vapnik-Chervonenkis
Vapnik-Chervonenkis
Vapnik-Chervonenkis (1)
Vapnik-Chervonenkis (2)
Dénition : Pulvérisation
Un ensemble A ⊆ X est dit pulvérisé par H ssi pour chaque
étiquetage possible des exemples de A, H contient une hypothèse
qui sépare parfaitement les classes.
Dénition : VC dimension
La VC dimension d'un ensemble d'hypothèses H est la taille n du
plus grand ensemble d'exemples A que H parvient à pulvériser.
... il existe un
Learning as search
Les biais
Bibliographie
Exercices pratiques :
Dans R2 : une droite ? parallèle aux axes ? rectangles ? cercles ?
hyperplans dans Rn ?
trois droites qui votent ?
dimension VC du H sans biais de Tom Mitchell ?
VCdim d'une combinaison de classieurs dont la VCdim est
nie ?
A de taille n tel que pour tout étiquetage...
Langage et erreur
Bilans
Fabien Torre
Bibliographie
Learning as search
Les biais
Langage et erreur
Vapnik-Chervonenkis
Fiche signalétique
Vapnik-Chervonenkis (3)
Fiche signalétique
Borne sur l'erreur [Burges, 1998] : avec une probabilité 1 − λ,
s
n ) + 1] − log ( λ )
VC (H).[log ( VC2(H)
4
e (h ∈ H) ≤ eA (h) +
n
avec plus d'exemples pour apprendre, on fait moins d'erreurs
en prédiction ;
attention, c'est une
Bilans
Fabien Torre
Bibliographie
Préciser la nature de E ;
indiquer le choix de H ;
évaluer la VCdim de H ;
expliciter le test de subsomption ;
on retrouve le compromis biais/variance ;
Learning as search
Bilans
borne...
Fabien Torre
méthode ascendante ou descendante ?
dire les biais de la méthode (de langage, de recherche et de
validation).
Learning as search
Fabien Torre
Les biais
Langage et erreur
Bilans
Bibliographie
Les biais
Langage et erreur
Citations
Citations
Un bilan en citations I
Un bilan en citations II
Apprendre à partir d'exemples
The power of a generalization system follows directly from its
biases. Tom Mitchell.
Langage H et erreur de biais
Trouver des biais
L'imagination est plus importante que le savoir.
Si je les ai mangées, qui m'a donné une bouche ?
Il n'y a pas de réponse dans ton vocabulaire.
William Golding, Chris Martin.
horoscope du 25 mai 1998, RFM.
Learning as search
Les biais
Langage et erreur
Fonder les biais
L'imagination, ce n'est pas le mensonge.
les enfants.
Françoise Hardy,
Bilans
Bibliographie
L'importance des biais
Dans l'enseignement des sciences, l'exemple vaut mieux que la
théorie. Isaac Newton, d'après 60 gags de Boule et Bill .
De la nécessité des biais
Avoir tous les avis, c'est n'en avoir aucun.
Bilans
Fabien Torre
Bibliographie
Learning as search
Les biais
Langage et erreur
Albert Einstein.
Daniel Pennac, Messieurs
Bilans
Fabien Torre
Bibliographie
Citations
Un bilan en citations III
Bibliographie I
Burges, C. J. (1998).
A tutorial on support vector machines for pattern recognition.
Data Mining and Knowledge Discovery, 2 :121167.
No Free Lunch Theorem
Y a pas d'cheval qu'on peut pas monter,
mais y a pas d'homme qu'il peut pas jeter.
Alors quand tu voudras monter un mustang,
oublie pas qu' c'est p't-être pas toi qui tiendras d'ssus.
Feigenbaum, E. A. (1977).
The art of articial intelligence : Themes and case studies of
knowledge engineering.
In Reddy, R., editor, Proceedings of the 5th International Joint
Conference on Articial Intelligence, pages 10141029. Morgan
Kaufmann.
Marion Zimmer Bradley, Redécouverte.
Learning as search
Fabien Torre
Learning as search
Fabien Torre
Les biais
Langage et erreur
Bilans
Bibliographie
Bibliographie II
Mitchell, T. M. (1980).
The need for biases in learning generalizations.
In Readings in Machine Learning, pages 184191. Morgan
Kaufmann.
Published in 1991.
Mitchell, T. M. (1982).
Generalization as search.
Articial Intelligence, 18(2) :203226.
Learning as search
Fabien Torre