Vers un monde virtuel plus souriant 1 Introduction

Vers un monde virtuel plus souriant
Magalie Ochs et Catherine Pelachaud
CNRS-LTCI Télécom ParisTech, Paris France
{magalie.ochs,catherine.pelachaud}@telecom-paristech.fr
Résumé. Afin de concevoir des personnages virtuels capables d’exprimer différents types de sourire, nous avons construit un répertoire d’expressions faciales
de sourire à partir d’une méthode de classification par arbre de décision. L’arbre
de décision a été construit à partir d’un corpus de sourires de personnage virtuel
directement créé par des utilisateurs.
1
Introduction
Plusieurs recherches ont montré que les utilisateurs tendent à interagir avec les ordinateurs
comme s’ils étaient de véritables personnes, lorsque ces machines possèdent des capacités
communicatives similaires à celles des humains (Reeves et Nass (1996)). Les agents conversationnels animés (ACAs) sont des personnages virtuels créés par l’ordinateur qui peuvent
converser avec les utilisateurs d’une façon naturelle, similaire à celle appliquée par les humains
(Cassell (2000)). Un des signaux sociaux jouant un rôle prépondérant dans les interactions interpersonnelles, est le sourire. Dans cet article, nous présentons un travail de recherche visant
à créer des ACAs capables d’exprimer des sourires durant une interaction humain-machine.
Un sourire peut traduire différents significations suivant les muscles du visage activés. Le sourire le plus commun est le sourire d’amusement (appelé aussi sourire de Duchenne). Le sourire
d’amusement est souvent opposé au sourire de politesse (appelé aussi faux sourire)(Frank et al.
(1993)). Des sourires peuvent être aussi exprimés dans des situations négatives. Par exemple,
un sourire peut apparaître pour l’expression d’embarras (Keltner (1995)).
Dans cet article, nous focalisons sur ces trois sourires : le sourire d’amusement, de politesse et d’embarras. Ces trois sourires ont des caractéristiques morphologiques et dynamiques
différentes qui permettent de les distinguer. Par exemple, le sourire d’amusement est souvent
caractérisé par des pommettes surélevées (Frank et al. (1993)), contrairement au sourire de
politesse. Cependant, il n’existe pas aujourd’hui de consensus dans la littérature sur les caractéristiques spécifiques de ces trois sourires.
Notre objectif est de déterminer les expressions faciales d’un ACA correspondant aux sourires d’amusement, de politesse et d’embarras. Pour ce faire, nous avons collecté des expressions faciales de sourire directement créées par des utilisateurs (Section 2). Afin d’analyser ce
corpus de sourire, nous avons utilisé une méthode de classification par arbre de décision (Section 3). A partir de cette classification, nous proposons un algorithme permettant de déterminer
le sourire que devrait exprimer un ACA suivant le message qu’il veut transmettre (Section 3).
Vers un monde virtuel plus souriant
2
Corpus de sourires d’ACA
Afin d’identifier les caractéristiques morphologiques et dynamiques des sourires d’amusement, de politesse et d’embarras d’un ACA, nous avons proposé une approche centrée sur
la perception de l’utilisateur. Nous avons développé une application web qui permettait à un
utilisateur de créer facilement différents types de sourire sur le visage d’un ACA (Figure 1).
F IG . 1 – Capture d’écran de l’application web pour collecter des sourires d’un personnage
virtuel
A partir de boutons radio sur l’interface (Figure 1, partie 3), l’utilisateur peut générer des
multitudes de sourires en choisissant des combinaisons de 7 paramètres (l’amplitude du sourire, sa durée, l’ouverture de la bouche, la symétrie du sourire, la tension des lèvres, et la
dynamique du début et de la fin du sourire). Ces paramètres, et les variables discrètes choisies,
ont été sélectionnés à partir des travaux théoriques et empiriques sur les sourires des individus
(par exemple Frank et al. (1993); Keltner (1995)). Lorsque l’utilisateur change un de ces paramètres sur l’interface, la vidéo correspondant à un ACA souriant change automatiquement
(Figure 1, partie 2). En considérant toutes les combinaisons des paramètres, nous avons créé
192 différentes vidéos. L’utilisateur avait comme instruction de créer un sourire pour chaque
type (amusement, politesse et embarras) (Figure 1, partie 1). Après la création de chaque sourire, il lui été demandé s’il était satisfait par le sourire créé (satisfaction indiquée sur une échelle
de Likert de 7 points). Trois cents quarante huit participants (dont 195 femmes) avec un âge
moyen de 30 ans, ont créé des sourires. Nous avons ainsi collecté un corpus de 348 descriptions pour chaque type de sourire. En moyenne, les participants étaient satisfaits des sourires
créés (5.28 sur une échelle de Likert de 7 points). La méthode de collecte de corpus ainsi que
les données collectées sont décrites plus en détails dans (Ochs et al. (2011)).
M. Ochs et al.
3
Classification et décision sur les sourires
Arbre de décision de sourires. Une méthode de classification par arbre de décision a été
utilisée pour identifier les caractéristiques des sourires d’amusement, de politesse et d’embarras du corpus présenté ci-dessus. Les variables d’entrées (variables prédicatives) sont les
caractéristiques morphologiques et dynamiques et les variables cibles sont les types de sourire
(amusement, politesse et embarras). Par conséquent, les noeuds de l’arbre correspondent aux
caractéristiques des sourires et les feuilles aux types de sourire. Chaque branche de l’arbre
est appelée motif d’un sourire. Nous avons choisi la classification par arbre de décision car
cette méthode a l’avantage d’être bien adaptée à des variables qualitatives et produit des résultats qui peuvent être facilement interprétés et implémentés dans un ACA. Pour créer l’arbre
de décision, nous avons considéré le niveau de satisfaction indiqué par l’utilisateur lorsqu’il
avait créé un sourire. Plus précisément, de manière à donner plus de poids aux sourires avec
un grand niveau de satisfaction, nous avons effectué un sur-échantillonnage : chaque sourire
créé a été dupliqué n fois, n étant le niveau de satisfaction associé au sourire. L’ensemble de
données résultant est composé de 5517 descriptions de sourires : 2057 sourires d’amusement,
1675 sourire de politesse et 1785 sourire d’embarras. Pour construire l’arbre de décision, nous
avons utilisé le logiciel TANAGRA (Rakotomalala (2005)) et la méthode CART (Classification
And Regression Tree) (Breiman et al. (1984)). L’arbre de décision résultant est composé de 39
noeuds et 20 feuilles. Toutes les variables d’entrées (les caractéristiques des sourires) ont été
utilisées. Avec un intervalle de confiance à 95% de 1,2%, l’erreur globale est dans l’intervale
[26.55%, 28.95%]. Une analyse du taux d’erreur pour chaque sourire montre que le sourire
d’amusement est mieux classifié (18% d’erreur) que le sourire de politesse (34% d’erreur) et
que le sourire d’embarras (31% d’erreur).
Sélection des sourires. L’arbre de décision contient 20 différents motifs de sourire, correspondant aux 20 feuilles de l’arbre (10 motifs de sourire de politesse, 7 d’amusement, et 3
d’embarras). La plupart des branches ne contiennent pas toutes les valeurs pour chaque caractéristique morphologique et dynamique. Par conséquent, plus de 20 sourires peuvent être créés
à partir de l’arbre de décision. Par exemple, le premier motif de sourire de politesse ne contient
pas d’information sur la taille du sourire, sa durée et la dynamique du début et fin du sourire.
Ce motif de sourire peut donc être exprimé par l’ACA de 12 manières différentes. Pour sélectionner le sourire à exprimer, nous proposons un algorithme considérant l’importance que ce
sourire soit reconnu correctement par l’utilisateur, appelée niveau de confiance. Le niveau de
confiance, correspondant à un pourcentage, définie aussi la variabilité des sourires que l’ACA
peut exprimer. Plus ce pourcentage est proche de 100 (resp. 0), plus il est important (resp.
pas important) que le sourire soit reconnu par l’utilisateur comme amusé, polie, ou embarrassé. En même temps, un pourcentage élevé entraîne une variabilité dans les expressions de
sourire faible. En effet, plus le pourcentage est élevé plus de le nombre de motifs de sourire
sélectionné est faible, et donc plus le nombre de sourires que l’ACA peut exprimer est petit. L’algorithme pour sélectionner les motifs de sourire que l’ACA peut exprimer considère
le taux de classification et le nombre d’exemples de chaque motif de manière à ce qu’il soit
cohérent avec le niveau de confiance en entrée 1 . Ainsi, pour un niveau de confiance de 80%
pour un sourire de politesse, d’après l’arbre obtenu, 3 motifs de sourire de politesse sont sé1. Le niveau de confiance est une valeur en entrée du modèle. Dans une première étape, on considère que cette
valeur est déterminée par le designer de l’ACA en fonction de la variabilité des sourires de l’agent souhaitée.
Vers un monde virtuel plus souriant
léctionnés. Un niveau de confiance de 50% retourne 10 motifs de sourire de politesse. L’ACA
peut alors séléctionner, aléatoirement, parmi cet ensemble de motifs, celui qu’il va exprimer.
Pour déterminer les valeurs des caractéristiques du motif de sourire qui ne sont pas décrites
dans l’arbre, nous considérons le tableau de fréquences 2 . Celui-ci représente la fréquence des
types de sourire pour chaque caractéristique. Par exemple, le tableau résultant de notre corpus
indique que 16.4% des sourires d’amusement, 73.1% des sourires d’embarras, et 67.7% des
sourires de politesse ont une petite taille. Ainsi, si pour le motif de sourire séléctionné, la taille
n’est pas définie dans l’arbre, et si il s’agit d’un motif de sourire de politesse, nous considerons
une petite taille de sourire, étant donné que la majorité des sourires de politesse ont une petite
taille d’après le tableau de fréquences.
En conclusion, l’algorithme proposé permet de déterminer les caractéristiques des sourires
qu’un ACA devrait exprimer étant donné le type de sourire et l’importance que celui-ci soit
reconnu par l’utilisateur. L’avantage d’une telle méthode est qu’elle considère non pas un seul
sourire d’amusement, de politesse ou d’embarras, mais plusieurs expressions, permettant ainsi
de diminuer la monotonie expressive des ACAs.
Remerciements. Cette recherche est financée par le réseau d’excellence européen de recherche
sur les signaux sociaux (SSPNet - FP7).
Références
Breiman, L., J. Friedman, R. Olsen, et C. Stone (1984). Classification and Regression Trees.
Chapman and Hall.
Cassell, J. (2000). More than just another pretty face : Embodied conversational interface
agents. Communications of the ACM 43, 70–78.
Frank, M. G., P. Ekman, et W. V. Friesen (1993). Behavioral markers and recognizability of
the smile of enjoyment. Journal of Personality and Social Psychology 64, 83–93.
Keltner, D. (1995). Signs of appeasement : Evidence for the distinct displays of embarrassment,
amusement, and shame. Journal of Personality and Social Psychology 68(3), 441–454.
Ochs, M., R. Niewiadomski, P. Brunet, et C. Pelachaud (2011). Smiling virtual agent in social
context. Cognitive Processing, Special Issue on“Social Agents”.
Rakotomalala, R. (2005). TANAGRA : un logiciel gratuit pour l’enseignement et la recherche.
In EGC, pp. 697–702.
Reeves, B. et C. Nass (1996). The media equation : how people treat computers, television,
and new media like real people and places. Cambridge University Press.
Summary
In order to create smiling virtual characters, we have constructed a lexicon of smile expressions considering different types of smile (amused, polite, and embarrassed). The lexicon has
been constructed based on a corpus of virtual character’s smiles directly created by users and
based on a decision tree learning algorithm.
2. Cette méthode pourrait être renforcée par l’analyse des différences signicatives afin d’identifier les paramètres
pertinents pour chaque type de sourire.