Architecture d`animation pour personnages sociaux et

Architecture d’animation pour personnages
sociaux et émotionnels
María Lucila Morales Rodriguez -Nico Pallamin -Bernard Pavard
IRIT-GRIC
118, route de Narbonne
31062 Toulouse Cedex 4
(morales, pallamin, pavard)@irit.fr
RÉSUMÉ.
Cet article propose une architecture comportementale l’animation de personnages
virtuels ayant des comportements sociaux et émotionnels. L’architecture proposée produit
des actes de communication verbaux, paraverbaux et gestuels en prenant en compte les
dimensions sociales et émotionnelles. L’objectif applicatif de cette approche est d’aboutir à
un outil de simulation destiné à la rééducation de personnes cérébro-lésées en suivant un
protocole dit des ‘neurones miroirs’. Dans la séance de rééducation virtuelle, le patient
visualise une représentation virtuelle de son corps tout en étant guidé par un thérapeute
virtuel qui le guide, le corrige et l’encourage. Notre objectif est d’aboutir à une sensation
d’immersion chez le patient dans l’environnement virtuel via la reproduction des interactions
sociales et émotionnelles entre patient et thérapeute.
ABSTRACT. This article proposes a behavioural architecture for virtual characters who express
social and emotional behaviours. The architecture proposed produces communication acts
for virtual characters (verbal, paraverbal and non-verbal activity) under the influence of a
model of social and emotional interactions. The application of our work is a tool for the
simulation of a therapy for the rehabilitation of people with brain injuries caused by CVA
(cerebral vascular accidents). In the virtual therapy the patient is represented by an avatar
and an embodied conversational agent represents the therapist, who guides, corrects and
encourages the patient. Our aim is to produce a feeling of immersion at the patient in the
virtual environment through the reproduction of social and emotional interactions between
patient and therapist.
: Personnage social-émotionnel, actes de communication, interaction sociale,
modèle comportemental, immersion.
MOTS-CLÉS
KEYWORDS:
immersion.
Social-emotional character, speech acts, social interaction, behavioural model,
1. Introduction
L’interaction sociale en univers virtuel ouvre de nouveaux horizons dans le
domaine des nouvelles technologies de l’information. En introduisant la dimension
émotionnelle, cette approche permet d’envisager des applications qui jusqu’alors ne
pouvaient être que du domaine de l’interaction homme homme. Cet article aborde le
sujet de l’usage de la réalité virtuelle pour des situations de rééducation de patients
cérébro-lésés. Notre objectif est de créer un environnement ou le patient peut
interagir avec un thérapeute virtuel. La nature du dialogue dépend à la fois de la
performance du patient que des intentions pédagogiques du thérapeutes (dialogue
neutre, empathique, correctif, etc .). l’objectif thérapeutique de l’exercice est la
récupération des capacités cognitives et motrices du patient ainsi que la réduction du
coût de réadaptation (Keshner 2004; Sveistrup 2004; Marque 2005).
L’usage de la réalité virtuelle à des vues thérapeutiques est un sujet controversé.
D’un côté, elle fournit des outils permettant au patient d’exercer de façon répétitive
dans un cadre rappelant la réalité (Holden 2005), d’un autre côté, le décalage par
rapport à la réalité peut induire dans certains des effets secondaires pendant et après
l'exposition aux dispositifs de réalité virtuelle (Lewis and Griffin 1997; Riva 1997).
L’ajout de la dimension sociale et émotionnelle dans ce type de situation peut
profondément modifier la nature de l’immersion entre le participant et son
environnement (Van der Straaten 2000; Riva 2003; Riva, Mantovani et al. 2004).
Notre objectif à moyen terme est d’explorer ces possibilités thérapeutiques. Dans le
cadre de cet article, nous présenterons l’architecture que nous avons développée
pour l’animation de ces personnages virtuels. Elle prend en compte l’expression des
comportements sociaux et émotionnels entre acteurs et plus particulièrement les
notions de couplage réflexif lorsqu’ils mettent en jeu l’activité gestuelle, verbale et
paraverbale.
Le cadre théorique de cette approche est celui de l’interaction sociale située
(Garfinkel 1967; Amiel 2004). Selon cette approche, c’est la ‘force’ et la dynamique
des couplages (verbaux, gestuels, etc.) entre inter actants qui déterminent le réalisme
de l’interaction sociale et donc de l’immersion. Nous ferons également référence au
cadre théorique des actes de langage pour qualifier le intentions du thérapeute virtuel
ainsi que ses actions.
2. Contexte applicatif
Ce travail s’insère dans le cadre d’un projet de l’Inserm (PHRC) qui a pour
vocation le développement de nouveaux paradigmes thérapeutiques1. L’objectif de
1 Projet : Evaluation par IRM fonctionnelle d’une séance de rééducation de
l’extension du poignet par technique de Réalité Virtuelle chez des sujets cérébrolésés
ce projet est d’évaluer l’usage de la réalité virtuelle pour rééducation de patients
cérébro-lésés. Le paradigme expérimental proposé réfère au concept de neurone
‘miroir’ développé par Gallese (Gallese, Fadiga et al. 1996; Rizzolatti and Craighero
2004). Pour résumer brièvement cette découverte (Iacoboni, Molnar-Szakacs et al.
2005), ont pu montrer que chez le singe la perception passive du mouvement d’un
autre singe entraîne systématiquement une activation de la partie motrice
correspondante du cortex. D’où l’idée d’utiliser cette constatation pour la
rééducation des patients cérébrolésés : en leur montrant visuellement et virtuellement
le geste qu’ils ne peuvent réaliser, il est possible d’espérer que la partie motrice du
cortex moteur du patient soit stimulée avec des conséquences pour le rétablissement
des circuits cérébraux.
L’originalité du projet repose sur deux points 1) la possibilité qu’offre la réalité
virtuelle de créer une situation virtuelle « améliorée » qui permet au patient de
visualiser le geste qu’il ne peut réaliser et 2) introduire la dimension émotionnelle
dans l’interaction entre patient et thérapeute virtuel. Le contrôle par le modèle
d’interaction sociale de la nature et de l’intensité de l’expression émotionnelle
permet en outre d’introduire de matière quantitative l’expression émotionnelle dans
le protocole expérimental.
3. Session de rééducation virtuelle
Notre approche expérimentale s’applique à la rééducation de personnes cérébrolésées. Le patient visualise ses mains et bras virtuels et le thérapeute qui est un agent
conversationnel animé.
L'environnement de simulation met donc en présence trois ‘acteurs’ (Figure 1) :
le patient, la représentation virtuelle de ses mains et bras (clone virtuel) et le
thérapeute virtuel. Le patient porte un capteur de mouvement du poignet mesurant
l’angle d’extension qui permet d’instruire au moteur d’animation de l’état de
mobilité de la main du patient. En fonction du protocole, les informations sont soit
directement reproduites en réalité virtuelle (le patient voit sa main bouger comme
dans la réalité) soit modifiées pour être amplifiées.
L'activité du thérapeute virtuel consiste à guider le patient dans ses exercices et
éventuellement l'encourager ou corriger. Le thérapeute est animé en fonction du
protocole expérimental ainsi qu’en fonction du comportement du patient.
L’animation du thérapeute s’effectue en fonction d’un modèle émotionnel et
intentionnel de la relation patient – thérapeute. Par exemple, en fonction du
déroulement de la séance, le thérapeute peut être, neutre, empathique ou directif.
Thérapeute
Virtuel
Patient
Clone Patient
Figure 1 Le patient voit en même temps son clone (ses deux avant bras virtuels)
et son thérapeute virtuel. Le mouvement du poignet du clone est produit par le
patient, qui obtient ses instructions du thérapeute virtuel.
Notre objectif est d’aboutir à une sensation ‘d’immersion sociale’ chez le patient
dans sa relation avec le thérapeute.
4. La notion d’immersion sociale
Le plus souvent, la notion d’immersion est liée à la recherche d’environnements
physiques réalistes. Récemment le concept d’immersion a été élargi à d’autres
dimensions prenant en compte les dimensions phénoménologique, écologique ou
culturelle de l’interaction (Van der Straaten 2000; Ijsselsteijn and Riva 2003).
Plusieurs types d’immersion ont été définis (Adams 2004): l’immersion tactique
produite quand le joueur est à l’affût d’information et prêt à répondre
instinctivement, l’immersion stratégique lorsque le joueur investit intellectuellement
dans la situation et essaye de résoudre un problème comme dans une partie d’échec
et enfin l’immersion narrative comparable à celle d’un lecteur lorsqu’il est ‘absorbé’
par la lecture d’un roman.
A ces trois formes d’immersion s’ajoute l’immersion sociale, celle qui engage
l’acteur dans une interaction avec un autre acteur dans laquelle la dimension
émotionnelle intervient fortement. Pour pouvoir produire ce type d’immersion, le
personnage virtuel doit pouvoir idéalement répondre à plusieurs exigences : la
crédibilité des expressions émotionnelles (leur adéquation par rapport à la situation,
au contexte), la réflexivité de l’interaction (les personnages doivent, en temps réel,
pouvoir ajuster mutuellement leurs expressions émotionnelles faciales et corporelles)
et dans certains cas, l’indexicalité de l’expression gestuelle (les expressions
gestuelles et l’interprétation des actes de langage doivent dépendre étroitement des
références faites au monde extérieur).
5. Modèle du comportement des interactions sociales et émotionnelles
Notre objectif est de produire une immersion via la reproduction des interactions
sociales et émotionnelles entre patient et thérapeute. Pour ce faire nous proposons un
modèle de comportement qui produise des actes de communication (activité verbale,
para verbale et gestuelle) fortement liés au contexte.
Trois éléments influencent le module comportemental : 1) les caractéristiques
propres du personnage virtuel : son profil (traits de la personnalité, culture, statut et
genre) et son état interne (état cognitif, état émotionnel, humeur, niveau d’empathie
et stress), 2) ses intentions d’action et 3) les règles de production de ses actes de
communication qui dépendent du comportement de l’interlocuteur
L’architecture du modèle liant l’état émotionnel à la personnalité du sujet et à ses
actions a été développé sur la base de travaux antérieurs (Morales Rodriguez and
Pavard 2006 to appear).
Le modèle comportemental s’appuie sur une approche liée aux théories de
l'interaction sociale, de l'expression des émotions et de la personnalité (Salovey and
Mayer 1990; Scherer, Schorr et al. 2001; Palmero 2003; Russell 2003; Cosnier
2004) et la personnalité (McCrae and John 1992; Pervin and John 1999) et sur une
approche représentationnelle pour générer les actes de communication (Burkhardt
1990; Geis 1995).
Pour améliorer le comportement du modèle en terme de dépendance au contexte
nous utilisons certains concepts issus de l’ethnométhodologique (Garfinkel 1967;
Amiel 2004). Cet approche non-représentationnelle permet de mieux comprendre la
dépendance des interactions par rapport au contexte via le mécanismes indexicaux et
réflexives.
6. Architecture d’animation
L’architecture d’animation (figure. 2) est composée par quatre modules qui
produisent le comportement du personnage virtuel.
- Un module de perception et interprétation du contexte.
- Un module d’interactions socioculturelles.
- Un module comportemental constitué de deux modèles :
- Un modèle de gestion du dialogue.
- Un modèle d’interaction sociale et émotionnelle.
- Un module de kinésique.
Etat interne
Perception et interprétation
Emotion, Niveau d’empathie, Humeur,
Niveau de stress et
Etat cognitif
Actions et attitude de l’interlocuteur
Modèle de gestion du dialogue
Evaluation
Action
Attendue
Echange des
objectifs
Sélection de
l’intention
Intention
Modèle d’interaction sociale et émotionnelle
Modèle Empathie
Modèle Emotionnel
(Dialogue, Proxémique)
(Emotion, Humeur, Stress)
Modèle Cognitif
(Activité Mental)
Actes de communication + état émotionnel
Module Kinésique
Expression
Faciale et
Regard
Expression
Corporelle et
Posture
Expression
Gestuelle
Niveau de respect et de tolérance
Attitude
Profil du personnage
Acte de
communication
Personnalité, genre, culture et statut
Tour
de
Parole
Module d’interactions socioculturelles
Module Comportemental
Expression émotionnel et de l’interaction
Exécution des animations
Figure 2. Architecture d’animation du comportement
Le module perception et interprétation évalue la situation et en particulier les
actions et attitudes de l’interlocuteur. Ce module s’inspire de la théorie multi-niveau
de Scherer (Scherer, Schorr et al. 2001) pour la modélisation du processus
‘d’appraisal’ pour l’expression moteur et réactions physiologiques.
Le module de gestion des interactions socio-culturelles évalue un niveau de
respect et de tolérance dont il transmet la valeur au module comportemental. Cette
évaluation est réalisée sur la base du profil du personnage.
Le module comportemental est composé de deux modèles:
- Un modèle de gestion du dialogue, qui réalise le choix des actes de
communication. Il applique le concept de l'intelligence émotionnelle (Salovey and
Mayer 1990), des théories des actes de langage (Burkhardt 1990; Geis 1995)afin
d'adapter les actes de communication aux intentions du personnage. Ce modèle a
cinq fonctions : 1) la gestion de la dynamique des tours de parole et des phases du
dialogue (debout, changement et fin), 2) la sélection des actes de communication, 3)
l’évaluation des actions en fonction de l’attitude, 4) la mise à jour des objectifs (ex :
guider, corriger ou encourager) et 5) la mise à jour des intentions (ex : informer ou
ordonner pour guider).
- Un modèle de l'interaction sociale qui définit l'expression du comportement. Ce
modèle génère l'attitude du personnage. L’attitude de l’agent se caractérise par
quatre facteurs : 1) la personnalité du sujet 2) son niveau d'empathie, 3) son niveau
de stress et 4) son humeur.
Le module kinésique prend en charge la production des gestes, des expressions
faciales et des expressions du corps associées aux actes de langage ainsi que l’état
émotionnel pour produire l'expression de l'attitude choisie par le modèle
comportemental.
On pourra voir sur la figure 3 la dynamique des états possibles pour une
conversation entre le thérapeute et le patient. Par exemple, si l’objectif du thérapeute
est de donner une instruction au patient (état ‘Guider’), il peut, en fonction de la
réponse motrice du patient soit l’encourager, soit le corriger, soit lui donner des
informations complémentaires (état ‘feedback’). La transition qui sera choisie
dépendra de l’état émotionnel du thérapeute mais aussi de sa personnalité (par
exemple son niveau d’empathie) ou encore de l’historique des actions du patient.
Interaction
Guider
Politesse
Bienvenu
Au revoir
Informer
Donner ordres
Corriger
Blâmer
Donner ordres
r
Feedback
Interroger
Informer (réponse)
Encourager
Rassurer
Donner ordres
Figure 3. Schéma des états possibles pour le thérapeute.
7. Conclusion
Dans cet article, nous présentons la structure d’une plate-forme d’animation de
personnages en univers virtuel. Cette plate-forme est architecturée dans la
perspective de permettre une interaction sociale et émotionnelle dans le cadre d’une
application thérapeutique particulière: la rééducation de patients cérébrolésés. Dans
cette perspective, nous avons développé le concept d’immersion sociale qui s’appuie
sur la modélisation de la dynamique des états émotionnels ainsi que sur les notions
d’interaction située (interactions avec des couplages forts entre le comportement des
différents acteurs et de leur environnement).
L’état actuel du dispositif nous permet de générer des séquences d’interaction
entre patient et thérapeute virtuel qui prennent en compte la personnalité du
thérapeute, le déroulement de la séance ainsi que les actions du patient selon qu’elle
sont ou non réalisées.
Selon le protocole développé par nos collaborateurs de l’INSERM, la pratique de
séances de rééducation avec ‘amplification’ virtuelle du geste du patient devait
aboutir à une meilleure récupération de la motricité chez les patients cérébrolésés.
L’évaluation de cette hypothèse sera l’objet de la seconde étape de ce projet.
Bibliographie
Adams, E. (2004). The Designer's Notebook: Postmodernism and the Three Types of
Immersion. Gamasutra.com.
Amiel, P. (2004). Ethnométhodologie appliquée- Eléments de sociologie
praxéologique. Paris, Presses du Lema.
Burkhardt, A., Ed. (1990). Speech Acts, Meaning and Intentions:Critical Approaches
to the Philosophy of John R. Searle. New York, Walter de Gruyter.
Cosnier, J. (2004). Les emotions et les sentiments. Beyrouth-Liban: 74.
Gallese, V., L. Fadiga, et al. (1996). "Action recognition in the premotor cortex."
Brian 119: 593-609.
Garfinkel, H. (1967). Studies in Ethnomethodology. NJ, Prentice-Hall.
Geis, M. L. (1995). Speech Acts and Conversational Interaction. New York,
Cambridge University Press.
Holden, M. K. (2005). "Virtual Environments for Motor Rehabilitation: Review."
CyberPsychology & Behavior 8(3): 187-211.
Iacoboni, M., I. Molnar-Szakacs, et al. (2005). "Grasping the Intentions of Others
with One’s Own Mirror Neuron System." PLoS Biol 3(3): 529-535.
Ijsselsteijn, W. and G. Riva (2003). Being There: The experience of presence in
mediated environments. Being There: Concepts, effects and measurements
of user presence in synthetic environments. G. Riva, F. Davide and W.
Ijsselsteijn. Amsterdam, Ios Press: 14.
Keshner, E. A. (2004). "Virtual reality and physical rehabilitation: a new toy or a
new research and rehabilitation tool?" Journal of NeuroEngineering and
Rehabilitation 1(8).
Lewis, C. H. and M. J. Griffin (1997). Human Factors Consideration in Clinical
Applications of Virtual Reality. VIRTUAL REALITY IN NEUROPSYCHO-PHYSIOLOGY Cognitive, clinical and methodological issues in
assessment and rehabilitation. G. Riva, IOS Press. 44.
Marque, P. (2005). PROTOCOLE DE RECHERCHE CLINIQUE:Evaluation par
IRM fonctionnelle d'une séance de rééducation de l'extension du poignet
par technique de réalité virtuelle chez des sujets cérébro-lésés. Toulouse,
HOPITAUX de TOULOUSE: 31.
McCrae, R. R. and O. P. John (1992). "An introduction ti the Five-Factor Model and
Its Applications." Journal of Personality 60: 175-215.
Morales Rodriguez, M. L. and B. Pavard (2006 to appear). "Design of an emotional
and social interaction paradigm for the animation of 3D characters: The
case of a therapy for brain injured people (the mirror neuron paradigm)."
Virtual Reality.
Palmero, F. (2003). "La emocion desde el modelo cognitivista." Revista Electrónica
de Motivación y Emoción VI(14-15).
Pervin, L. A. and O. P. John, Eds. (1999). Handbook of Personality- Theory and
Research. New York, The Guilford Press.
Riva, G., Ed. (1997). Virtual Reality in Neuro-psycho-physiology Cognitive,
clinical and methodological issues in assessment and treatment. Studies in
Health Technology and Informatics, IOS Press.
Riva, G. (2003). Virtual Reality as communication tool: a socio-cognitive analysis.
Communications Through Virtual Technology: Identity Community and
Technology in the Internet Age. G. R. a. F. Davide. Amsterdam, IOS
Press:: 48-55.
Riva, G., F. Mantovani, et al. (2004). "Presence and rehabilitation: toward secondgeneration virtual reality applications in neuropsychology." Journal of
NeuroEngineering and Rehabilitation 1(9): 3-13.
Rizzolatti, G. and L. Craighero (2004). "The Mirror-Neuron System." Annual
Review of Neuroscience 27: 169-192.
Russell, J. A. (2003). "Core Affect and the Psychological Construction of Emotion."
Psychological Review 110(1): 145-172.
Salovey, P. and J. D. Mayer (1990). "Emotional Intelligence." Imagination,
Cognition and Personality 9(3): 185-211.
Scherer, K. R., A. Schorr, et al., Eds. (2001). Appraisal Processes in Emotion
Theory, Methods, Research. Series in Affective Sciences. New York and
Oxford, Oxford University Press.
Sveistrup, H. (2004). "Motor rehabilitation using virtual reality." Journal of
NeuroEngineering and Rehabilitation 1(10): 1-2.
Van der Straaten, P. (2000). Interaction Affecting the sense of presence in virtual
reality, Delft University of Technology, Faculty of Information Technology
and System: 67.