IMMEMO : Immersion 3D basée sur l`interaction émotionnelle

DES STIC ET DES HOMMES
IMMEMO
IMMersion 3D basée sur l'interaction EMOtionnelle
CONTINT 2013
OBJECTIFS DU PROJET
Contexte
Serious Game.
Objectif
Conception d’un module d’extension
permettant à une plateforme de capturer et reconnaître
les expressions du visage d'une personne afin de
faciliter son interaction avec un agent conversationnel
autonome dont le comportement s’adapte de façon
semi-automatique.
Moteur de dialogue multimodal
• Proposition de modèles d’apprentissage pour définir
la corrélation entre les paramètres prosodiques de la
voix et les expressions faciales.
• Implémentation et évaluation de ces modèles
appliqués sur des corpus vidéo où des humains
prononcent des phrases avec différentes émotions.
Démonstrateur
• Analyse temps réel de l'expression du visage d'une
personne connue.
• Transfert
technologique
vers
une
start-up
(Dynamixyz) qui commercialise des outils d'analyse et
de synthèse de visage pour les marchés du cinéma et
du jeu vidéo AAA.
CONCLUSION ET PERSPECTIVES
Vainqueurs dans deux challenges internationaux
• Facial Expression Recognition and Analysis
Challenge (FERA2011)
IMMEMO
0,7
0,6
0,5
MÉTHODOLOGIE ET RESULTATS
0,4
0,3
0,2
0,1
0
Immemo
Analyse de visage
• Identification des micro-expressions (Action-Units)
par SVM Multi-Kernel pour la fusion de :
- LGBP (Local Gabbor Binary Pattern).
- Modèles Actifs d'Apparence 2.5D yeux/bouche.
• Reconnaissance des émotions à partir du son, de la
gestuelle de la tête et de l’ apparence du visage suivant
deux approches :
- Régression par noyaux (approche supervisée).
- Système expert flou, prise en compte de
l‘empathie de la personne analysée avec l'avatar utilisé.
San Diego
KIT
QUT
MIT
• Audio/Visual Emotion Challenge (AVEC2012)
IMMEMO
Le travail réalisé dans ce projet va être valorisé par
Artefacto sous la forme d’un serious-game à destination
des populations présentant une certaine déficience
communicative. Sortie prévue en 2014.
COORDINATEUR : SUPELEC
PARTENAIRES : ISIR, Télécom ParisTech, Artefacto, Université des Antilles et de la Guyane
[email protected]