Sujet de master 2016-2017 Gestionnaire de dialogue

Sujetdemaster2016-2017
Gestionnairededialogueadaptatifpourlacommunicationenlangue
naturelleparléeavecunhumainvirtuel.Applicationàlaformation
desInfirmiersdeBlocOpératoireDiplômésd’Etat
Mots-clés:Intelligenceartificielle,réalitévirtuelle,dialogueenlanguenaturelle,coopération
Encadrants:
PierreChevaillier,Lab-STICC,équipeIHSEV,Brest–encadrantprincipal
PierreJannin,LTSI,MediCIS,Inserm,UniversitéRennes1,Rennes
Lieudustage:CentreEuropéendeRéalitéVirtuelle(CERV),Brest
Contexte
Les compétences des personnels de bloc opératoire (chirurgiens, infirmiers) sont à la fois
techniques (capacité à réaliser le geste chirurgical) et non techniques. Ces dernières sont
mobilisées dans la gestion du stress et les relations interpersonnelles. Les techniques de réalité
virtuelle, ou du jeu vidéo, offrent la possibilité de confronter les élèves (les apprenants) à des
situations proches du réel mais parfaitement contrôlées. Cela présente l’intérêt de la
reproductibilitéetd’êtremoinsfortementengageantequelessituationsoùlesapprenantsdoivent
interagiravecdespersonnesréelles.Cetteapprocheestaussipotentiellementmoinscouteuse.
Plusieurs centres de formation hospitalière travaillent, en collaboration avec des laboratoires
d’informatique,àlaconceptiond’environnementsvirtuelspourlaformationdespersonnelsdebloc
opératoire, notamment pour la formation des personnels Infirmiers de bloc Opératoire Diplômés
d’État (IBODE); c’est le cas de l’équipe MediCIS du LTSI au CHU de Rennes. Un des enjeux du
développement de tels environnements est d’offrir la possibilité à l’utilisateur d’interagir
naturellementavecuneautrepersonne(uncollègue,unchirurgien…)cequisupposededisposer
d’humainsvirtuelscrédiblescapablesd’interagirdemanièrenaturelleavecl’utilisateur-apprenant.
Pour cela, il est nécessaire de doter ces agents artificiels de capacités de dialogue en langue
naturelleparléequisoientcapablesderéaliserunetâcheencollaborationavecl’utilisateur.L’objet
de cette étude est de contribuer au développement de tels agents artificiels, ce qui est un des
domainesderecherchedel’équipeIHSEVduLab-STICC.Lesdomainesd’applicationdecetypede
solutionsontmultiples:environnementsderéalitévirtuellepourlaformation(EVF),jeuxvidéos,
robotiquecollaborative(co-botique),domotique,prochainegénérationd’assistantspersonnels…
Ilexisteactuellementdifférentsenvironnementsderéalitévirtuellespécifiquementconçuspourla
formation à la réalisation coopérative de tâches procédurales. De plus, certains EVF sont plus
spécifiquement dédiés à la formation aux compétences dites non techniques des personnels des
équipesmédicales.Danscesenvironnementsderéalitévirtuelle,lesutilisateursinteragissentavec
des partenaires virtuels dont le comportement est aujourd’hui très scripté et les solutions
n’exploitentpastouteslesinformationsproduitesparl’utilisateurlorsdel’interaction.Decefait,le
dialogue est très rigide, répétitif, pas adaptatif et de ce fait l’interaction est perçue comme peu
naturelle et peu ou pas engageante. Des travaux récents apportent des solutions partielles à ces
problèmes. L’équipe MediCIS a notamment développé pour cela, en collaboration avec l’INSA et
l’Inria de Rennes, une approche où les scénarios sont appris à partir d’observations de cas réels.
Cetteapprochepermetnotammentdeprendreencomptelavariabilitéprocédurale.
Sujetdestage
L’objectifdustageestdedoterl’humainvirtuelaveclequell’apprenantseraconfrontédecapacité
de dialogue proactif et adaptatif. Dit simplement, il s’agit d’obtenir un agent qui, lors de la
réalisation d’une tâche avec un utilisateur, parle «au bon moment» et que si cela est nécessaire.
L’agentdoitêtreattentifàcequeditetfaitparl’utilisateuretêtrecoopératif.Ladécisiondedire
quelquechose,oudesetaire,estpriseenfonctiondesbutsdel’agent(latacheàeffectuer),dece
quefaitl’utilisateur,del’intentionquel’agentperçoitchezl’utilisateuretdumodèlepédagogique
suivi. Ce contexte est hautement dynamique et l’enjeu est de proposer un modèle qui génère les
productionsverbales(cequel’agentdit)etnonverbales(sesgestes,ladirectiondesonregard…)
en temps réel en tenant compte des engagements de l’agent, de ce que fait l’utilisateur et de
l’intentionquel’agentperçoitchezcedernier.
L’enjeu est que le comportement de l’agent soit adaptatif (et non systématiquement déclenché et
réalisé) et que l’utilisateur le perçoive comme coopératif. Le modèle développé devra s’intégrer
dansunearchitectured’agentconformeaustandardSAIBA.Ildevras’interfaceraveclemodulede
gestiondutourdeparoledeJégouetal.(2015)ets’intégreràl’architectureC2BDI(Barangeetal.
2014). Le module développé contrôlera la production verbale et non verbale de l’agent. Il sera
développé comme un module logiciel indépendant pouvant être testé dans l’environnement de
simulationdéveloppéparl’équipeMediCISetsescollaborateurs.
Déroulementdustage:
-
-
Étude bibliographique sur les gestionnaires de dialogue en langue naturelle parlée
«orientéstâche».Identificationdel’étatdel’artetdesverrousrelatifsàl’utilisationdela
communicationverbaleetnonverbalecommeoutilpourlacoordination;
Conception et implémentation d’un module de gestion dynamique de l’intention
communicativedel’agent;
Intégrationdansl’architectured’agentpourlecontrôledel’humainvirtuel;
Conception et réalisation d’un scénario démonstratif des capacités de l’agent en vue de la
validationdumodèle(scénariodéfiniavecl’équipeMediCISsurlaformationdesIBODE).
Bibliographiqueindicative
Barange,M.;Kabil,A.;DeKeukelaere,C.&Chevaillier,P.(2014)CollaborativeBehaviourModelling
ofVirtualAgentsusingCommunicationinaMixedHuman-AgentTeamwork,Vol.7,(3&4):423–
438.
ClaudeG,GourantonV,CaillaudB,GibaudB,ArnaldiB,JanninP.SynthesisandSimulationof
SurgicalProcessModels.StudHealthTechnolInform.2016;220:63-70.
Fowler,C.A.;Richardson,M.;Marsh,K.&Shockley,K.(2008),LanguageUse,Coordination,andthe
EmergenceofCooperativeAction,Coordination:Neural,BehavioralandSocialDynamics,261-279.
Jégou,M.;Lefebvre,L.;&Chevaillier,P.(2015).Acontinuousmodelforthemanagementofturntakinginuser-agentspokeninteractionsbasedonthevariationsofprosodicsignals.InIntelligent
VirtualAgents,volume9238ofLectureNotesinComputerScience,pages389–398.
Kopp,S.,vanWelbergen,H.,Yaghoubzadeh,R.,andBuschmeier,H.(2014).Anarchitectureforfluid
real-timeconversationalagents:Integratingincrementaloutputgenerationandinputprocessing.
JournalonMultimodalUserInterfaces,8:97–108.
Tomasello,M.(2014)Theultra-socialanimal,EuropeanJournalofSocialPsychology,Vol.44:187–
194
Vinciarellietal.(2015),OpenChallengesinModelling,AnalysisandSynthesisofHumanBehaviour
inHuman–HumanandHuman–MachineInteractions,CognitiveComputation,Vol.7(4):397–413.
Wagner,P.,Malisz,Z.,andKopp,S.(2014).Gestureandspeechininteraction:Anoverview.Speech
Communication,57:209–232.