En savoir plus

PropositiondethèsededoctoratenInformatique
Modélisationdelacoarticulationmultimodale:Versl’animationd’unetête
parlanteintelligible
Encadrement:SlimOuni([email protected])
Lieu:Nancy(UniversitédeLorraine–laboratoire:LORIA)
Nousproposonsdanscetravailderechercheledéveloppementd’unetêteparlante3Dqui
est animée à partir de la parole enregistrée. Le principe d’animation est de générer les
gestes articulatoires (les mouvements des lèvres, de la langue, et de la mâchoire). Ces
gestes doivent être réalistes, corrects et intelligibles. Il faut savoir que les gestes
articulatoires ne peuvent pas être vus comme une simple concaténation d’articulation de
sons avec une simple transition d’un son à l’autre. Dans le domaine de recherche en
traitementdelaparole,ilestbienétabliquelatransitionentresonsdoittenircomptedela
coarticulation, c’est-à-dire de l’influence d’un phonème sur ses voisins. Par exemple, pour
prononcer le mot clou composé des sons (phonèmes) /k/, /l/ et /u/, il faut préparer
l’articulation du /u/ dès le début de l’articulation du /k/ en arrondissant les lèvres. Dans ce
travail, nous parlons de coarticulation multimodale, parce que nous prenons en compte
simultanément,lesaspectsarticulatoires,visuelsetacoustiques.
L’objectif de cette thèse est la modélisation de la coarticulation multimodale. Il s’agit de
développer des techniques qui permettent de générer les trajectoires articulatoires qui
animentlevisage,leslèvresetlalangueentenantcomptedusignaldeparole.Lesgestes
articulatoiresgénérésdoiventêtrecohérents,c’est-à-dire,lesmouvementsduvisage,des
lèvresetdelalanguenedoiventpasêtrecontradictoires.
La modélisation de la coarticulation multimodale se basera sur un corpus multimodal qui
correspond à des données de capture de mouvement pour le visage, des données
articulatoires,principalementmouvementdelalangueetlesignalacoustique.Cesdonnées
serontannotéesettraitées.Parlasuite,ellesserontutiliséespourdévelopperunmodèlede
coarticulation. Nous étudions la modélisation par technique d’apprentissage automatique
ouparlacombinaisondeméthodesd’apprentissageetuneméthodeàbasederègle.
Nousavonsdéveloppédestechniquesquipermettentd’acquérirdesdonnéesarticulatoires
correspondantes aux mouvements du visage, de la langue et de la mâchoire grâce à la
plateforme d’acquisition articulatoire existante au LORIA. Nous avons également
développédesoutilsetméthodesquipermettentd’animerunvisagevirtuel.