Apprentissage par transfert pour l`analyse des

Apprentissage par transfert pour l’analyse des expressions faciales
en environnement non contraint
Contexte
L’analyse des expressions faciales vise à extraire de manière automatique ces indices dans une
image ou un flux vidéo. Il s’agit d’un domaine de recherche très actif à l’interface de la vision par
ordinateur et de l’apprentissage artificiel. L’objectif de ce stage est de concevoir des méthodes
de reconnaissance d’expressions faciales en environnement non contraint avec pour premier
domaine d’application visé, l’Interaction Homme/Machine (robot, dispositif interactif, agent
virtuel).
Depuis une quinzaine d’années, les recherches sur l’analyse automatique des visages ont
connu des avancées formidables et les technologies actuelles sont suffisamment matures pour
être exploitées dans des applications et des services commerciaux tels que la capture de
mouvements faciaux sans marqueurs (Dynamixyz, Face shift), l’analyse de l’engagement
émotionnel des consommateurs pour le marketing (Affectiva, Realeyes, Emotient) ou l’analyse
des expressions faciales dans le cadre d’études comportementales (Noldus Facereader).
Toutefois, les méthodes actuelles de reconnaissance des expressions faciales ont une capacité́
de généralisation limitée lorsque les données de test diffèrent sensiblement de celles
d’apprentissage. Les expressions faciales sont très variables dans leur dynamique et leur
intensité́ , et l’apparence d’un visage est influencée par de nombreux facteurs indépendants de
l’expression tels que la pose, l’identité́ du sujet, son âge, son ethnie ou encore les conditions
d’illumination et le type de camera utilisé. Les méthodes proposées dans la littérature sont
optimisées sur un nombre relativement restreint de données acquises en laboratoire (domaine
source), limitant ainsi leur capacité́ à s’adapter à de nouvelles conditions de test (c’est à dire à
un nouveau domaine cible).
Sujet du stage
Afin de répondre au problème crucial de la généralisation aux données inconnues, l’objectif
scientifique de ce stage est de concevoir des méthodes qui s’appuient sur l’apprentissage par
transfert (cf. figure 1). L’apprentissage par transfert fournit un cadre théorique et méthodologique
intéressant permettant d’adapter un modèle appris à partir d’un domaine et d’une tâche source
vers un nouveau domaine et/ou une nouvelle tâche cible. Le domaine fait référence à l’espace
de représentation des données ainsi qu’à la répartition de ces données dans cet espace ; la
tâche désigne à la fois l’espace des labels et la fonction de prédiction qui associe un label à un
exemple de test. Par exemple, pour une tâche de classification d’expressions faciales, les
exemples labélisés peuvent être des images de visage auxquelles on associe une catégorie
d’émotion (joie, colère, tristesse…). Si ces images ont été capturées dans des conditions
spécifiques (en intérieur avec une caméra haute résolution par exemple), le système appris sur
le domaine source ne pourra certainement pas être appliqué directement sur une image de
visage prise en extérieur par une webcam. Pour autant il serait intéressant de transférer le
domaine source vers le domaine cible car il est couteux et parfois impossible d’annoter les
données cibles.
Figure 1: Principe général de (a) l’apprentissage automatique traditionnel et (b) l’apprentissage par transfert
Tâches à réaliser
La première partie de stage sera consacrée à l’état de l’art sur des méthodes d’apprentissage
par transfert pour l’analyse des expressions faciales. La seconde partie du stage portera sur la
conception et la mise en œuvre d’une méthode d’apprentissage par transfert appliquée à un
scénario concret d’analyse faciale. Cette seconde partie pourra s’appuyer sur les outils et les
bases de données dont dispose le laboratoire.
Profil du candidat
Etudiant en dernière année d'un master recherche ou d’une Grande École.
Compétences recherchées :
• Apprentissage statistique / reconnaissance des formes
• Traitement du signal et des images
• Programmation Matlab et/ou C/C++
Encadrement
Kévin Bailly ([email protected])
Lieu du stage
Institut des Systèmes Intelligents et de Robotique (ISIR)
Université Pierre et Marie Curie-Paris 6
4, place Jussieu, 75005 Paris
Pour candidater
Merci d’envoyer par mail ([email protected] ) les informations suivantes :
• CV
• Lettre de motivation
• Résultats académiques
Quelques références
S. J. Pan and Q. Yang. A Survey on Transfer Learning. In IEEE Trans. on Knowledge and
data engineering. 2010.
T. Almaev, B. Martinez, and M. Valstar. Learning to transfer : transferring latent task
structures and its application to person-specific facial action unit detection. In ICCV 2015,
W.-S. Chu, F. De la Torre, and J. F. Cohn. Selective transfer machine for personalized facial
action unit detection. In CVPR 2013
J Nicolle, K Bailly, M Chetouani. Facial Action Unit Intensity Prediction via Hard Multi-Task
Metric Learning for Kernel Regression. In FERA 2015
A Dapogny, K Bailly, S Dubuisson. Pairwise Conditional Random Forests for facial
expression recognition. In ICCV 2015