Apprentissage par transfert - LIPN
Transcription
Apprentissage par transfert - LIPN
Stage d’initiation à la recherche Master 2 Apprentissage par transfert Contexte de l'étude : L’apprentissage par transfert, consiste à utiliser un jeu de tâches pour influencer l'apprentissage et améliorer les performances sur une autre tâche. Cependant, l’apprentissage par transfert peut en réalité gêner les performances si les tâches sont trop dissemblables. Un défi pour l’apprentissage par transfert est donc de développer des approches qui détectent et évitent le transfert négatif des connaissances utilisant très peu d’informations sur la tâche cible. L’apprentissage par transfert implique deux problèmes corrélés, ayant comme but l'utilisation de la connaissance acquise sur un jeu de tâches et améliorer les performances pour une autre tâche liée. Particulièrement, l’apprentissage par transfert d’une certaine tâche cible - la tâche sur laquelle les performances sont mesurées - est très dépendant de l’apprentissage d'un ou des tâches auxiliaires. Par exemple, les athlètes se servent de l’apprentissage par transfert quand ils pratiquent des activités auxiliaires afin de s'améliorer dans leur activité principale plus compétitive. Le transfert peut être réalisé de plusieurs manières différentes. Par exemple, Caruana a conçu un réseau de neurones artificiels sur plusieurs tâches simultanément comme une façon d'inciter des représentations internes efficaces pour la tâche cible. Le défi clé de l’apprentissage par transfert est d'identifier quelle connaissance doit être transférée et comment ? L’objectif de ce stage d’initiation à la recherche, est d’étudier des systèmes d’apprentissage par transfert et d’exhiber les avantages et les inconvénients de ce paradigme d’apprentissage automatique avec des illustrations sur des données réelles. Objectif : − Étudier l'état de l'art sur les méthodes d'apprentissage par transfert. − Proposer et développer une méthode permettant d’étudier les propriétés de ce type d’apprentissage. − Valider la méthode sur différents jeux de données réelles. Références : [1] J. Baxter. A model of inductive bias learning. Journal of Artificial Intelligence Research, 12:149–198, 2000. [2] R. Caruana. Multitask learning. Machine Learning, 28(1):41–70, 1997. [3] P. Domingos and M. Pazzani. On the optimality of the simple bayesian classifier under zero-one loss. Machine Learning, 29(2–3):103–130, 1997. [4] A. Gelman, J. B. Carlin, H. S. Stern, and D. B. Rubin. Bayesian Data Analysis, Second Edition. Chapman and Hall/CRC, Boca Raton, FL, 2004. [5] Z. Marx, M. T. Rosenstein, L. P. Kaelbling, and T. G. Dietterich. Transfer learning with an ensemble of background tasks. Submitted to this workshop. [6] R. Neal. Slice sampling. Annals of Statistics, 31(3):705–767, 2003. [7] C. Sutton and A. McCallum. Composition of conditional random fields for transfer learning. In Proceedings of the Human Language Technologies / Emprical Methods in Natural Language Processing Conference (HLT/EMNLP), 2005. [8] S. Thrun and J. O’Sullivan. Discovering structure in multiple learning tasks: the TC algorithm. In L. Saitta, editor, Proceedings of the Thirteenth International Conference on Machine Learning, pages 489–497. Morgan Kaufmann, 1996. [9] P. Wu and T. G. Dietterich. Improving SVM accuracy by training on auxiliary data sources. In Proceedings of the Twenty-First International Conference on Machine Learning, pages 871–878. Morgan Kaufmann, 2004. Conditions : Compétences souhaitées : · Apprentissage Numérique · Développement en Matlab et/ou C/C++ Durée du stage : 4 à 6 mois Financement : CDD sur contrat Lieu du stage : LIPN, UMR 7030, Université Paris 13, Villetaneuse Contact : - Younès Bennani (Professeur des Universités) : mel : [email protected] web : http://www-lipn.univ-paris13.fr/~bennani/ - Nistor Grozavu (Maître de conférences) : mel : [email protected] web : http://www-lipn.univ-paris13.fr/~grozavu/