Dossier de candidature à la qualification en
Transcription
Dossier de candidature à la qualification en
Cette candidature a été approuvée par la section 07 lors de la campagne 2015 Dossier de candidature à la qualification en Section 07 – Sciences du langage : linguistique et phonétique générales Corps Maître de Conférences Agnes DELABORDE A. Delaborde – Qualification Maître de Conférences Section 07 2 Parcours universitaire et professionnel Activités d’enseignement et de recherche I. État civil et identité ...................................................................................................................................... 3 II. Introduction et motivations ....................................................................................................................... 3 III. Curriculum Vitae .......................................................................................................................................... 4 A. Parcours professionnel ....................................................................................................................... 4 B. Cursus universitaire............................................................................................................................. 4 C. Domaines de recherche et compétences......................................................................................... 5 D. Enseignements (ATER Paris-Sorbonne IV) .................................................................................. 5 E. Communications scientifiques depuis 2009 ................................................................................... 5 F. Responsabilités collectives et autres activités liées à la recherche .............................................. 5 G. Références du Curriculum Vitae....................................................................................................... 5 IV. Enseignements ............................................................................................................................................. 6 A. Enseignements en Traitement Automatique des Langues ........................................................... 6 B. Autres enseignements......................................................................................................................... 6 C. Volume horaire d’enseignement ....................................................................................................... 7 D. Autres activités pédagogiques ........................................................................................................... 7 V. Recherche ...................................................................................................................................................... 7 A. Objectif de recherche ......................................................................................................................... 7 B. Activités de recherche ........................................................................................................................ 7 C. Participation projets de recherche .................................................................................................... 9 D. Communications scientifiques .......................................................................................................... 9 E. Relectures ............................................................................................................................................. 9 VI. Administration et responsabilités collectives .......................................................................................... 9 Annexes : Diplôme de doctorat Rapport de soutenance Pré-rapports de thèse Recommandation : Pr. L. Devillers Attestations LIMSI et Paris-Sorbonne IV A. Delaborde – Qualification Maître de Conférences Section 07 I. 3 ÉTAT CIVIL ET IDENTITÉ Agnes Delaborde Date et lieu de naissance : xxxxxxxxxxxxxxxxxxxxxxxxxxx Situation professionnelle : A.T.E.R temps plein UFR Sociologie et Informatique Université Paris-Sorbonne IV Adresse professionnelle : Diplômée : Situation personnelle : Adresse personnelle : Tél. personnel : Courriel : II. Institut des Sciences Humaines Appliquées Maison de la Recherche 28, rue Serpente 75006 Paris Docteur en Informatique (Paris-Sud) Master Sciences du Langage (Grenoble) Licence Lettres anglais (Dijon) xxxxxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxxxxxxxxxxx xxxxxxxxxxxx xxxxxxxxxxxxx [email protected] INTRODUCTION ET MOTIVATIONS Mon parcours d’études pluridisciplinaires informatique, linguistique et sciences humaines a mené en 2013 à la réussite d’un doctorat portant sur la modélisation des émotions de l’utilisateur dans un système d’interaction automatique. Mes travaux à ce jour se situent ainsi dans le domaine du Traitement Automatique des Langues, et plus particulièrement dans le traitement de la paralinguistique et du signal social en Interaction Humain-Machine (IHM) et en Interaction Humain-Robot (IHR). J’effectue mes recherches depuis 2009 au sein de l’équipe « Dimensions affectives et sociales dans les interactions parlées » (groupe Traitement du Langage Parlé) au Laboratoire d’Informatique pour la Mécanique et les Sciences de l’Ingénieur (LIMSI, unité propre CNRS) sous la direction de Madame Devillers, Professeur en informatique de l’Université Paris-Sorbonne IV. Ces cinq années de recherche ont donné lieu à de nombreuses participations aux avancées de la communauté scientifique (publications, démonstrations, présentations) et m’ont permis de collaborer sur de nombreux projets de recherche et développement ayant trait aux interfaces sociales personne-système. J’enseigne actuellement le Traitement Automatique des Langues (TAL) et l’informatique, pour la seconde année, en tant qu’ATER temps plein à l’Institut des Sciences Humaines Appliquées (ISHA) de l’UFR Sociologie et Informatique à Paris-Sorbonne IV. Je présente ma candidature pour la qualification en section 07 afin de pouvoir intégrer une équipe de recherche au sein de laquelle je pourrai m’investir dans de nouveaux projets d’interfaces socialement intelligentes, et afin de poursuivre la promotion du TAL et de la constitution de systèmes d’IHM auprès des étudiants. A. Delaborde – Qualification Maître de Conférences Section 07 III. 4 CURRICULUM VITAE A. Parcours professionnel 2014 (actuel) 2014 (5 mois) 2012 (1 an) 2009 (9 mois) 2004 (1 an) B. A.T.E.R temps complet Enseignement à l’UFR Sociologie et Informatique ; Recherche au LIMSI-CNRS : modélisation de l’utilisateur en IHR Ingénieur de recherche Formalisation et implémentation de dimensions émotionnelles et interactionnelles dans l’Interaction Humain-Robot A.T.E.R temps complet Enseignement à l’UFR Sociologie et Informatique ; Poursuite de doctorat LIMSI-CNRS/Université Paris-Sud Ingénieur d’étude Annotation, analyse statistique d’annotations et mise en place de protocoles de collecte de données audio émotionnelles en IHM Encadrant Informatique Assistance aux étudiants pour la réalisation de documents électroniques et l’utilisation d’outils web ISHA Sorbonne, Paris LIMSI-CNRS, Orsay ISHA Sorbonne, Paris LIMSI-CNRS, Orsay Université de Bourgogne Cursus universitaire 2013 Doctorat en informatique (Très Honorable) Université Paris-Sud « Modélisation du profil émotionnel de l’utilisateur dans les interactions parlées Humain-Machine » École doctorale d’informatique Paris-Sud / LIMSI-CNRS Projet Cap Digital ROMEO Sous la direction du Pr. Laurence Devillers (LIMSI-CNRS/ParisIV) Rapporteurs : Pr. Sylvie Pesty (U. Grenoble) ; Pr. Daniel Luzzati (U. Maine) Examinateurs : Pr. Anne Vilnat (U. Paris-Sud) ; Pr. Bernadette Dorizzi (Telecom Sud Paris) ; Dr. Axel Buendia (SpirOps AI) 2007 Master recherche Sciences du Langage (Bien) Université Grenoble-3 Spécialité Industries de la Langue, Traitement Automatique de la Langue Ecrite et de la Parole Mémoire recherche : « Modélisation syntaxique et sémantique de l’adjectif dans le lexique transdisciplinaire des écrits scientifiques ». Laboratoire LIDILEM, projet ANR Scientext. Sous la direction d’Agnes Tutin (Maître de conférences Université Grenoble3-Stendhal) 2005 Licence Lettres, Langue et Civilisation anglaises Université de Bourgogne Analyse linguistique et littéraire, méthodes de traductions spécialisées Diplôme Universitaire d’Informatique 2005 appliquée à l’exploitation et à la diffusion des documents (DIADOC) Création et gestion de bases de données informatiques ; applications web. Diplôme anciennement sur 3 ans, 10h/semaine (Niveau – stage non validé) Université de Bourgogne A. Delaborde – Qualification Maître de Conférences Section 07 C. 5 Domaines de recherche et compétences Informatique affective Modélisation affective de l’utilisateur Ergonomie de l’interaction Constitution et analyse de corpus émotionnels Traitement du signal social Interaction Humain-Machine Interaction émotionnelle Humain-Robot Systèmes d’interaction et évaluation Robotique sociale Expressivité robotique Programmation et outils pour le TAL Scripts : PHP, Lua, Python (dont librairie NLTK), PERL Web/structures de données : HTML, Javascript, CSS, XML (XSL-XSLT, XQuery), SQL Autres : Visual Basic (VBA, VBS), notions de C++ et Java (J2ME), Prolog Statistiques et TAL : Weka, Praat, XeLDA, ConcQuest, Transcriber, Anvil, Nooj D. Enseignements (ATER Paris-Sorbonne IV) Enseignement Méthodologie de la recherche en langue et informatique Épistémologie des sciences humaines et de l’informatique Logique élémentaire et introduction à l’informatique Préparation au Certificat Informatique et Internet niveau 1 Thématique Linguistiqueinformatique Public Volume Master 1 IIGI 2012-13/2014 36h (TD) Informatique Master 1 IIGI 2012-13/2014 36h (TD) Linguistiqueinformatique Licence 1 LFTI 2012-13 26h (TD) Informatique Licences 2012-13/2014 189h (TD) 8h (CM) TOTAL E. Années 287h (TD) – 8h (CM) Communications scientifiques depuis 2009 Type Conférences et workshops internationaux (comité de lecture et actes) Conférences nationales (comité de lecture et actes) Présentations scientifiques (sans comité de lecture) Contexte ACII, LREC, Interspeech, AFFINE@ACII, ICMI-MLMI # WACAI, JEP 2 GT-ACAI, Journées doctorants 3 Total 8 13 La liste des références de ces communications est disponible dans le document annexe à ce dossier. F. Responsabilités collectives et autres activités liées à la recherche Organisation d’événements Forums Démonstrations G. Session spéciale @Interspeech2011, Italy. « Speech and Audio Processing for HumanRobot Interaction ». L. Devillers, A. Delaborde, A. Rudnicky Journées d’Étude et de Formation sur la Parole 2012, Paris. Posters Forums Digiteo 2012 et STIC-Digiteo 2014. Equipe L. Devillers NaoTechDay 2012, Paris. « Détection des émotions dans la voix, identification du locuteur et adaptation du comportement social du robot » Equipe L. Devillers Démonstration du profil émotionnel et interactionnel pour le film documentaire « Vivre avec les robots » (E. Fertil, Gedeon Programmes) Références du Curriculum Vitae Recherche et doctorat : Mme Laurence Devillers Professeur Informatique Université Paris-Sorbonne ; Chercheur LIMSI-CNRS Tél. : 01.69.85.80.92 – Courriel. : [email protected] Enseignement : M. Claude Montacié Professeur Informatique Université Paris-Sorbonne ; Directeur Adjoint de l’UFR Sociologie et Informatique pour les Sciences Humaines Courriel : [email protected] Cursus universitaire : M. Georges Antoniadis Professeur Sciences du Langage Université Stendhal ; Responsable du master Industries de la Langue Tél. : 04.76.82.77.61 – Courriel : [email protected] A. Delaborde – Qualification Maître de Conférences Section 07 IV. 6 ENSEIGNEMENTS Mon poste d’ATER (2012-2013) à l’Université Paris-Sorbonne a constitué ma première expérience d’enseignement. J’ai renouvelé mon contrat pour cette année universitaire 2014-2015, suite à l’obtention de mon doctorat et à la naissance de mon enfant fin 2013. A. Enseignements en Traitement Automatique des Langues Public : Master Informatique et Ingénierie de la langue pour la Gestion de l’Information (IIGI) première année Cours : Méthodologie de la recherche en langue et informatique UE : « Enseignements méthodologiques » Je m’appuie sur les cours magistraux délivrés par le Pr. Laurence Devillers (Université Sorbonne-Paris IV) afin de concevoir mes TD. Ce cours vise à constituer automatiquement, en Python, des fichiers de données en format .arff (Attribute-Relation File Format) par l’analyse de corpus de textes via la librairie NLTK (Natural Language ToolKit). Ces fichiers de données sont utilisés comme point d’appui pour une analyse statistique de classification automatique des genres littéraires sur la plateforme Weka (www.cs.waikato.ac.nz/ml/weka). Encadrement de projet : « Reconnaissance automatique du genre littéraire » Cours : Épistémologie des sciences humaines et de l’informatique UE : « Enseignements Fondamentaux : Informatique fondamentale pour les sciences humaines » Ces TD visent à stimuler une réflexion sur différents champs applicatifs des disciplines informatiques en TAL et en IHM par le biais de lectures, de manipulations et d’analyses critiques. Parmi les thèmes abordés, nous pouvons citer : annotation de corpus, évaluation et performances, algorithmique et complexité algorithmique, codage et encodage, cryptographie/cryptanalyse, test de Turing, éthique. J’élabore chaque TD à partir d’une thématique proposée par Mme Devillers, professeur en charge du CM. Public : Licence Langue Française et Techniques Informatiques (LFTI) première année Cours : Logique élémentaire et introduction à l’informatique UE : « Informatique et Logique » Les TD visitent en détail les bases de l’algorithmique et de la programmation Python (types de variables, portée, structures, librairies), en vue de la réalisation d’un projet d’analyse automatique de phénomènes linguistiques dans des textes. Je m’appuie sur les supports de M. Vincent (PRAG, UFR Sociologie et Informatique), sous la supervision de Mme Devillers. Second semestre 2014-2015 : enseignements à venir Théorie des Graphes (Licence 3 LFTI) – TD du cours de Mme Eyharabide (MdC Informatique et Linguistique) : plateforme GATE pour la création d’ontologies sur corpus. B. Autres enseignements Public : Licences Cours : Certificat Informatique et Internet niveau 1 Quatre domaines : la conception d’un document informatique, l’utilisation responsable des ressources Internet, la recherche d’information, et la communication via Internet. Les séances de CM et TD et la préparation des supports sont répartis parmi l’équipe d’enseignement. A. Delaborde – Qualification Maître de Conférences Section 07 7 Second semestre 2014-2015 : enseignements à venir Ateliers professionnels (Licence 1 LFTI) – Constitution du projet personnel et professionnel des étudiants (sous la supervision de Mme Devillers). C. Volume horaire d’enseignement 2012-2013 TD CM 2014-2015 TD CM 10 18h - 18h - Master 1 IIGI 10 18h - 18h - Licence 1 LFTI 20 26h - 26h* - Enseignement Public Effectifs moyens Méthodologie de la recherche en langue et informatique Épistémologie des sciences humaines et de l’informatique Logique élémentaire et introduction à l’informatique Certificat Informatique et Internet Théorie des graphes (GATE) Ateliers professionnels Master 1 IIGI * D. Licences Licence 3 LFTI Licence 1 LFTI 25 20 20 Cours prévus au semestre 2 de l’année 2014-2015 123h ** 4h - ** 66h 19h30* 15h* 4h** - S’ajoutera mon service C2i du second semestre Autres activités pédagogiques Janvier 2013 : présentation témoignage alumnus « Du Master IDL Traitement Automatique des Langues vers une thèse en robotique sociale » pour les journées « OSE : 3 jours pour l’orientation, les stages et l’emploi » (Université Stendhal Grenoble 3). Juin 2012 : Participation à l’organisation des Journées d'Étude et de Formation sur la Parole, 5ème session, thème « Perception de la parole et traitement automatique » (Institut de Linguistique et Phonétique Générales et Appliquées, Paris). V. RECHERCHE A. Objectif de recherche Ma thématique de prédilection consiste en l’étude des expressions paralinguistiques chez l’utilisateur : quelles informations pouvons-nous fournir au système, et sous quelle forme les synthétiser, afin de permettre une adaptation sociale automatique du système riche et pertinente. Mes études théoriques mènent ainsi à la constitution et à l’implémentation de systèmes d’interaction parlée automatiques, fondés sur une analyse de l’expressivité du locuteur (paralinguistique), et de l’expressivité du système robotique (lexicale, gestuelle). J’ai le désir d’intégrer une équipe de recherche pluri- et transdisciplinaire, et de contribuer à l’élaboration de projets de recherche ayant trait à l’interaction sociale parlée Humain-Système. B. Activités de recherche Systèmes d’Interaction Humain-Robot Dans un système d’interaction avec un robot social, la compréhension des émotions exprimées par l’utilisateur est reconnue comme primordiale pour la fluidité de l’interaction. Mon objectif de thèse était de modéliser les expressions émotionnelles de l’utilisateur lors de son interaction avec le robot Nao (projet ROMEO). Les collectes de données associées à cette recherche s’appuyaient sur des systèmes d’interaction à différents degrés d’autonomie : j’ai constitué des systèmes en Magicien d’Oz en m’appuyant sur l’interface Choregraphe du robot Nao (automates sur interface graphique), un Magicien d’Oz simulant un module de détection des émotions (interface web), et un système semi-automatique qui, à partir d’inputs émotionnels saisis manuellement, met à jour en temps réel et automatiquement le profil émotionnel de l’utilisateur et sélectionne un comportement social à exprimer par le robot (moteur de décision avec interface graphique SpirOps AI). Cette décomposition du système d’interaction en briques technologiques (détection inputs, mise à jour profil, sélection comportement) gérées soit de façon experte par l’expérimentateur, soit de façon automatique par le système lui-même, nous a permis d’évaluer certains aspects du système de façon modulaire et quantitative (cf. manuscrit de thèse). Je poursuis ces travaux actuellement au A. Delaborde – Qualification Maître de Conférences Section 07 8 LIMSI-CNRS dans le cadre de systèmes d’interactions entièrement autonomes (projets JOKER et ROMEO2). Modélisation et profil utilisateur Afin d’aménager un espace de communication sociale efficace, il est essentiel que le système dispose d’une capacité à raisonner sur les expressions émotionnelles de l’utilisateur et à les synthétiser efficacement. Cette étude, débutée lors de ma thèse et actuellement poursuivie dans le cadre du projet Joker (voir section suivante), vise à déterminer les indices sociaux pertinents dans l’expression orale du locuteur, dans le but de constituer un profil de l’utilisateur représentant ses tendances émotionnelles et interactionnelles. La mise à jour du profil est effectuée automatiquement par un moteur de décision régi par des règles de logique floue et booléennes, prenant comme entrées 1) les expressions émotionnelles et paralinguistiques étiquetées d’après une détection acoustique sur le signal audio (travaux de l’équipe du Pr. Devillers, CNRS-LIMSI), 2) le profil du robot (à l’heure actuelle, je m’appuie sur son comportement social en cours, mais cela pourra s’étendre à ses buts, sa personnalité, son humeur, etc.), 3) le contexte d’interaction (données contextuelles réduites à ce qui est à disposition du système ; dans mon étude sur ROMEO, l’état du jeu en cours lors d’interaction ludique). Dans le cadre de ROMEO, j’utilisais le moteur de décision avec interface graphique développé par notre partenaire de projet SpirOps AI (Scientific Research Lab in Artificial Intelligence, www.spirops.com) ; pour JOKER, j’implémente mon propre module de prise de décision en Lua. Collectes et exploitation de données interactionnelles Humain-Robot J’ai participé à la constitution et à la collecte de quatre corpus (de 17 min. à 4h de voix) mettant en scène des adultes déficients visuels en contexte d’interaction d’assistance (volontaires recrutés avec l’assistance de l’Institut de la Vision, Paris), et des enfants jouant avec le robot (notamment centre aéré). J’ai co-encadré le travail d’annotation (émotions et interaction) des corpus et j’ai réalisé le traitement des données (extraction XML, évaluation statistique des accords sur l’annotation). Le temps investi dans ces travaux est, à mon sens, essentiel pour améliorer la qualité de mes recherches en IHR : la prise de contact avec des utilisateurs finaux potentiels et la réflexion menée pour l’élaboration de protocoles d’interactions permettent de ne pas limiter l’approche à une réflexion technocentrée. Le traitement des données et l’investissement dans le processus d’annotation permettent d’acquérir une compréhension poussée des données sur lesquelles s’appuient les modèles. Comportement social et expressivité robotiques S’il nous est encore à l’heure actuelle impossible de nous projeter entièrement dans ce que sera l’interaction à domicile, au quotidien, entre un utilisateur et son robot autonome, il est cependant envisageable de déterminer et de typer les comportements sociaux pouvant potentiellement être acceptables par l’utilisateur. Mes travaux de thèse ont consisté à déterminer deux éléments : quel est le comportement social souhaitable pour le robot, et comment l’exprimer. Pour le premier élément, je me suis appuyée sur le circomplexe des comportements interpersonnels, représentation très largement étudiée en sociologie et en intelligence artificielle (je m’appuie notamment sur la nomenclature proposée par K. Isbister dans son ouvrage Better Game Characters by Design). En m’appuyant sur les corpus collectés lors de ma thèse, j’ai pu déterminer les portions du circomplexe susceptibles de correspondre à des comportements robotiques socialement souhaitables par l’utilisateur. Concernant la façon d’exprimer ces comportements – ce qui constitue le second point de mon étude sur l’expressivité robotique – j’ai travaillé en collaboration avec les architectes du comportement d’Aldebaran Robotics (C. Boudier et A. Mazel) afin de spécifier les expressions posturales nécessaires à mon étude. Les locutions du robot ont été très contrôlées, afin qu’elles concordent entièrement avec le comportement social en cours du robot : les théories onomasiologiques de P. Charaudeau (dont l’applicabilité au TAL a été largement démontrée, e.g. en détection de l’opinion ou de la subjectivité) mettant en exergue l’impact du locuteur et de l’interlocuteur au sein même de l’énoncé ont été mon point d’appui dans la constitution des énonciations du robot. A. Delaborde – Qualification Maître de Conférences Section 07 C. Participation projets de recherche Projet ANR Affective Avatars (2007-2009) Animation comportementale d’avatars Cap Digital ROMEO (2009-2012) Robot humanoïde social d’assistance ANR COMPARSE (2011-2014) Remédiation cognitive Chist-era JOKER (2014-2017) Dialogue social pour robot/ECA D. 9 Mes activités de recherche Réf. Annotations perceptives, analyse statistique des annotations, mise en place de tests perceptifs [10] Protocoles et systèmes de collectes de données émotionnelles en IHR, conception et implémentation du profil émotionnel et interactionnel utilisateur, expressivité robot Protocole de collecte de données émotionnelles en Interaction Humain-Humain Protocole d’annotation, analyse des annotations Conception et implémentation (Lua) du module de prise de décision pour le profil utilisateur en IHR [4] [5] [6] [7] [8] [9] [3] - Communications scientifiques Vous trouverez dans le dossier annexe intitulé « Communications scientifiques » la liste de mes publications, une sélection d’articles, ainsi qu’un bref résumé de chacune des communications. Dans le cadre du Traitement Automatique des Langues (et de la paralangue dans mon cas), j’ai soumis et présenté des travaux aux conférences et workshops de l’European Language Resources Association : Language Resources and Evaluation Conference (LREC), ainsi qu’à Interspeech (International Speech Communication Association) et aux Journées d’Étude sur la Parole (JEP). Mes travaux s’adressent également aux communautés traitant de l’affective computing et de l’interaction humain-machine : International Conference on Affective Computing and Intelligent Interaction (ACII), International Workshop on AFFective Interaction in Natural Environments (AFFINE @ACII et @ACM). J’ai également participé au groupe de travail Affects, Compagnons Artificiels et Interactions (ACAI) et présenté mes travaux lors du workshop associé. J’ai publié 8 articles de conférences internationales (comité de lecture et actes), 2 articles de conférences nationales (comité de lecture et actes), et réalisé 3 présentations scientifiques (sans comité de lecture). Deux articles de journal ont récemment été soumis, adressés à la revue TAL (seconde révision en cours), et à la revue International Journal of Social Robotics. Je co-rédige actuellement un article avec Mme Devillers à l’adresse du Journal of Multimodal User Interface, traitant de la constitution automatique du profil utilisateur et des méthodes pour sélectionner des dimensions pertinentes et fiables. Les travaux de recherche associés à cet article sont en cours. J’ai participé en 2012 et 2014 aux présentations poster de l’équipe « Dimensions affectives et sociales dans les interactions parlées » (LIMSI-CNRS) dans le cadre des forums Digiteo et STICDigiteo. Mes travaux de thèse ont été présentés lors de démonstrations dans le cadre des journées NaoTechDay 2012, Paris, et dans le film documentaire « Vivre avec les robots » (52’, réalisé par Elodie Fertil pour Gedeon Programmes, visionnable en ligne). E. Relectures Depuis l’obtention de mon doctorat fin 2013, j’ai effectué une relecture pour le journal Perceptual & Motor Skills édité par Ammons Scientific, ainsi que trois relectures pour la conférence 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems. VI. ADMINISTRATION ET RESPONSABILITÉS COLLECTIVES Comme mentionné précédemment, j’ai participé à l’organisation des Journées d’Étude et de Formation sur la Parole de 2012 à Paris, en tant que représentante des doctorants du LIMSI-CNRS. J’ai contribué pendant mon doctorat à l’organisation d’une session spéciale pour la conférence Interspeech 2011 à Florence (Italie), avec Mme Laurence Devillers et M. Alex Rudnicky, intitulée « Speech and Audio Processing for Human-Robot Interaction ». (http://emotionresearch.net/sigs/speech-sig/is11-ss-sap4hri)