Apprentissage par transfert - LIPN

Stage d’initiation à la recherche Master 2
Apprentissage par transfert
Contexte de l'étude :
L’apprentissage par transfert, consiste à utiliser un jeu de tâches pour influencer
l'apprentissage et améliorer les performances sur une autre tâche. Cependant,
l’apprentissage par transfert peut en réalité gêner les performances si les tâches sont trop
dissemblables. Un défi pour l’apprentissage par transfert est donc de développer des
approches qui détectent et évitent le transfert négatif des connaissances utilisant très peu
d’informations sur la tâche cible.
L’apprentissage par transfert implique deux problèmes corrélés, ayant comme but
l'utilisation de la connaissance acquise sur un jeu de tâches et améliorer les performances
pour une autre tâche liée. Particulièrement, l’apprentissage par transfert d’une certaine
tâche cible - la tâche sur laquelle les performances sont mesurées - est très dépendant de
l’apprentissage d'un ou des tâches auxiliaires. Par exemple, les athlètes se servent de
l’apprentissage par transfert quand ils pratiquent des activités auxiliaires afin de s'améliorer
dans leur activité principale plus compétitive.
Le transfert peut être réalisé de plusieurs manières différentes. Par exemple, Caruana a
conçu un réseau de neurones artificiels sur plusieurs tâches simultanément comme une
façon d'inciter des représentations internes efficaces pour la tâche cible. Le défi clé de
l’apprentissage par transfert est d'identifier quelle connaissance doit être transférée et
comment ?
L’objectif de ce stage d’initiation à la recherche, est d’étudier des systèmes d’apprentissage
par transfert et d’exhiber les avantages et les inconvénients de ce paradigme d’apprentissage
automatique avec des illustrations sur des données réelles.
Objectif :
−
Étudier l'état de l'art sur les méthodes d'apprentissage par transfert.
−
Proposer et développer une méthode permettant d’étudier les propriétés de ce type
d’apprentissage.
−
Valider la méthode sur différents jeux de données réelles.
Références :
[1] J. Baxter. A model of inductive bias learning. Journal of Artificial Intelligence Research,
12:149–198, 2000.
[2] R. Caruana. Multitask learning. Machine Learning, 28(1):41–70, 1997.
[3] P. Domingos and M. Pazzani. On the optimality of the simple bayesian classifier under
zero-one loss. Machine Learning, 29(2–3):103–130, 1997.
[4] A. Gelman, J. B. Carlin, H. S. Stern, and D. B. Rubin. Bayesian Data Analysis, Second
Edition. Chapman and Hall/CRC, Boca Raton, FL, 2004.
[5] Z. Marx, M. T. Rosenstein, L. P. Kaelbling, and T. G. Dietterich. Transfer learning with an
ensemble of background tasks. Submitted to this workshop.
[6] R. Neal. Slice sampling. Annals of Statistics, 31(3):705–767, 2003.
[7] C. Sutton and A. McCallum. Composition of conditional random fields for transfer
learning. In Proceedings of the Human Language Technologies / Emprical Methods in
Natural Language Processing Conference (HLT/EMNLP), 2005.
[8] S. Thrun and J. O’Sullivan. Discovering structure in multiple learning tasks: the TC
algorithm. In L. Saitta, editor, Proceedings of the Thirteenth International Conference on
Machine Learning, pages 489–497. Morgan Kaufmann, 1996.
[9] P. Wu and T. G. Dietterich. Improving SVM accuracy by training on auxiliary data
sources. In Proceedings of the Twenty-First International Conference on Machine Learning,
pages 871–878. Morgan Kaufmann, 2004.
Conditions :
Compétences souhaitées :
·
Apprentissage Numérique
·
Développement en Matlab et/ou C/C++
Durée du stage : 4 à 6 mois
Financement : CDD sur contrat
Lieu du stage : LIPN, UMR 7030, Université Paris 13, Villetaneuse
Contact :
- Younès Bennani (Professeur des Universités) :
mel : [email protected]
web : http://www-lipn.univ-paris13.fr/~bennani/
- Nistor Grozavu (Maître de conférences) :
mel : [email protected]
web : http://www-lipn.univ-paris13.fr/~grozavu/