PhD Thesis

PhD Thesis
Title:
Joint analysis of eye-movements and EEGs using coupled hidden Markov and topic models
Doctoral School:
Mathematics, Information Sciences and Technologies, and Computer Science, University of Grenoble (MSTII).
Supervisors:
Anne Guérin-Dugué(1), Marianne Clausel(2a) and Jean-Baptiste Durand(2b)
E-mail: [email protected], [Marianne.Clausel|Jean-Baptiste.Durand]@imag.fr
Location of PhD: GIPSA-lab or Laboratoire Jean Kuntzmann
(1) GIPSA-lab / Dépt. DIS, 11 rue des Mathématiques, Saint Martin d’Hères. +33 (0)4 76 57 43 73
(2) Laboratoire Jean Kuntzmann, Saint Martin d’Hères. (a) +33(0)4 76 63 56 93 / (b) +33(0)4 76 63 57 09
Scientific background:
Recently, GIPSA-lab has developed computational models of information search in web-like materials, using data
from both eye-tracking to get eye movements during the search and electroencephalograms (EEGs) to analyze the
related neural activities. These joint datasets were obtained from experiments, in which subjects had to make
some kinds of press reviews (Frey et al., 2013). In such information seeking tasks, reading process and decision
making are closely related. Two kinds of decision are expected: A positive decision if the meaning of the text
matches with the goal of information search, and a negative decision otherwise. Statistical analysis of such data
aims at: deciphering underlying cognitive phases in the cognitive process, characterize these phases with eye
movements and EEG properties, explain the phase changes by the local text properties and quantify the individual
variability of the phase properties, as well as the variability due to different texts. Hidden Markov models
(HMMs) have been used on eye movement series to infer phases in the reading process that can be interpreted as
steps in the cognitive processes leading to decision – see for example Simola et al. (2008). In HMMs, each phase
is associated with a state of the Markov chain. The states are observed indirectly through eye-movements.
However, the characteristics of eye movements within each phase tend to be poorly discriminated. As a result,
high uncertainty in the phase changes arises, and it can be difficult to relate phases to known patterns in EEGs.
HMMs were also used for the analysis of EEGs (Obermaier et al., 2001) but coupling eye movements, EEGs and
text properties in a coherent model is an unaddressed challenge.
Tasks:
The aim of the PhD is to develop an integrated model coupling EEG and eye movements within one single HMM
for better identification of the phases. Coupled HMMs are based on several dependent Markov chains such that at
each time t, observations only depend on the states at time t (Zhong & Ghosh, 2001). Here, the coupling should
incorporate some delay between the transitions in both chains, since EEG patterns associated to cognitive
processes may occur with some delay with respect to eye-movement phases.
To better relate the human reading process to some intrinsic characteristics of the reviewed text, we propose an
interpretation of our two experimental models based on a well-known hierarchical generative model, called LDA,
used in the data mining context (Blei et al., 2003) and thereafter extending to the image setting (Fei-Fei & Perona,
2005). We want to model “human data mining” for text or image as a variant of LDA, modifying in a convenient
way the generative process and involving a random choice of the cognitive phase. The main goal is to take into
account the fact that, in a text, a given word can be either read or not. The same question can also be raised in the
image setting since a region of interest corresponding to a specific visual word can be explored or not. For this, a
joint database with eye movements and EEG signals has been also recording during a visual search task according
to a similar design as the information seeking task.
Prerequisites:
A master or engineer degree is required, and an applicant with a strong background in probability and statistics or
machine learning, as well a strong interest in cognitive science.
Skills in Matlab, C++ or python would be appreciated.
Funding:
This PhD is supported by a 3-year Persyval Fellowship, (http://persyval-lab.org/research/action/adm), according
to French standards (about 1400 euros net/month), starting 01.10.2015 at the earliest.
Context:
The research will be undertaken in the context of an interdisciplinary project involving three research laboratories
(GIPSA-lab, LJK, and LPNC) from the University of Grenoble Alpes. The consortium has scientific expertise on
statistics, information processing, and cognitive sciences, providing a stimulating scientific environment for this
thesis. Last but not least, Grenoble is a very pleasant place to study and work. Grenoble is rated each year as the
best place in France for studying.
References:
D. Blei, A. Ng, and M. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, 3, 993–1022
(January 2003).
L. Fei-Fei and P. Perona. A Bayesian hierarchical model for learning natural scene categories. IEEE Computer
vision and Pattern Recognition (2005)
A. Frey, G. Ionescu, B. Lemaire, F. Lopez Orozco, T. Baccino and A. Guérin-Dugué. Decision-making in
information seeking on texts: an Eye-Fixation-Related Potentials investigation. Frontiers in Systems
Neuroscience, 7, pp.Article 39 (2013).
B. Obermaier, C. Guger, C. Neuper and G. Pfurtscheller. Hidden Markov models for online classification of
single trial EEG data. Pattern Recognition Letters, 22, 1299-1309 (2001).
J. Simola, J. Salojärvi and I. Kojo. Using hidden Markov model to uncover processing states from eye movements
in information search tasks. Cognitive Systems Research 9(4), 237-251 (October 2008)
S. Zhong and J. Ghosh. A New Formulation of Coupled Hidden Markov Models, Technical report, Dept. of
Electrical and Computer Eng., Univ. of Texas at Austin (2001)
Sujet de thèse
Titre :
Analyse conjointe de traces oculométriques et d’EEG à l’aide de modèles de Markov cachés couplés et de
modèles de sujets
École doctorale :
Mathématiques, Sciences et Technologies de l’Information et Informatique, Université de Grenoble (MSTII).
Encadrants :
Anne Guérin-Dugué(1), Marianne Clausel(2a) et Jean-Baptiste Durand(2b)
E-mail: [email protected], [Marianne.Clausel|Jean-Baptiste.Durand]@imag.fr
Lieu de la thèse : GIPSA-lab ou Laboratoire Jean-Kuntzmann
(1) GIPSA-lab / Dépt. DIS, 11 rue des Mathématiques, Saint Martin d’Hères. +33 (0)4 76 57 43 73
(2) Laboratoire Jean Kuntzmann, Saint Martin d’Hères. (a) +33(0)4 76 63 56 93 / (b) +33(0)4 76 63 57 09
Contexte Scientifique :
Récemment, le GIPSA-lab a développé des modèles computationnels de recherche d’information dans des
documents de type web, à l’aide de données provenant à la fois de mesures oculométriques (acquisition du
mouvement des yeux pendant la recherche) et d’électroencéphalogrammes (EEG) pour analyser l’activité
cérébrale associée. Ces jeux de données bimodaux ont été obtenus à partir d’expériences dans lesquelles les
individus avaient à accomplir une sorte de revue de presse (Frey et al., 2013). Dans de telles tâches de recherche
d’information, les processus de lecture et de décision sont intimement liés. Deux types de décision sont attendus :
une décision positive si le sens du texte correspond à la cible de la recherche d’information, une décision négative
sinon. L’analyse statistique de ces données vise à :
• Mettre en évidence des étapes dans le processus cognitif.
• Caractériser ces phases en termes de mouvements des yeux et de propriétés d’EEG.
• Expliquer les changements d’étape à l’aide des propriétés locales du texte.
• Quantifier la variabilité individuelle des propriétés des phases, ainsi que la variabilité due aux différents
textes.
Des modèles de Markov cachés (MMC) ont été utilisés sur des séquences oculométriques afin d’identifier des
phases dans le processus de lecture, qui puissent être interprétées comme des étapes dans les processus cognitifs
menant à la décision - voir par exemple Simola et al. (2008). Dans les MMC, chaque phase est associée à un état
de la chaîne de Markov. Les états sont observés indirectement par l'intermédiaire des mouvements oculaires.
Cependant, les caractéristiques des mouvements oculaires ont tendance à être mal séparées d’un état à l’autre.
Une grande incertitude dans les changements d’état en résulte, et il est difficile de relier ces états à des motifs
dans les EEG répertoriés dans la littérature. Des MMC ont également déjà été utilisés dans d’autres études pour
l'analyse d’EEG (Obermaier et al., 2001), mais le couplage de l’analyse de mouvements oculaires, d’EEG et de
propriétés des textes dans un modèle cohérent reste aujourd’hui encore un défi.
Tâches :
L'objectif de cette thèse est de développer un modèle intégré couplant les EEG et les séquences de mouvements
oculaires dans un seul MMC pour une meilleure identification des phases. Les MMC couplés sont basés sur
plusieurs chaînes de Markov dépendantes telles qu’à chaque instant t, les observations ne dépendent que des états
à l'instant t (Zhong et Ghosh, 2001). Ici, le couplage doit intégrer un certain décalage dans les transitions d’une
chaîne à l’autre, étant donné que dans les EEG, les motifs associés à des processus cognitifs peuvent se produire
avec un certain retard par rapport aux changements de phase des mouvements oculaires.
Afin de mieux relier le processus de lecture à certaines caractéristiques intrinsèques du texte considéré, nous
proposons une interprétation de nos deux modèles expérimentaux basés sur un modèle génératif hiérarchique bien
connu, appelé LDA, utilisé dans le contexte de la fouille de données (Blei et al., 2003) et étendu par la suite au
cadre des images (Fei-Fei et Perona, 2005). Nous voulons modéliser « la fouille de données par des personnes »
dans des textes ou des images, comme une variante de la LDA, en modifiant de manière appropriée le processus
génératif et en faisant intervenir un choix aléatoire dans la phase cognitive. L'objectif principal est de prendre en
compte le fait que, dans un texte, un mot donné peut être lu ou non. La même problématique survient également
dans le cadre d'images, puisqu’une région d'intérêt correspondant à un mot visuel spécifique peut être explorée ou
non. Pour cela, une base de données couplant mouvements oculaires et signaux EEG a été également acquise au
cours d’une tâche de recherche visuelle, selon un protocole similaire à celui de la tâche de recherche
d'information textuelle.
Pré-requis:
Un diplôme de master ou d’ingénieur est requis. Nous cherchons un(e) candidat(e) avec des compétences solides
en probabilités et statistiques ou apprentissage machine, ainsi qu’un intérêt marqué pour les sciences cognitives.
Des compétences en Matlab, C++ ou python sont un plus.
Financement :
Cette thèse est financée par une bourse Persyval de 3 ans, (http://persyval-lab.org/research/action/adm), d’un
montant correspondant aux standards français (environ1 400 euros nets/mois), pour commencer le 01/10/2015 au
plus tôt.
Contexte :
Cette recherche sera conduite dans le contexte d’un projet interdisciplinaire impliquant trois laboratoires de
recherche (GIPSA-lab, LJK et LPNC) de l’Université de Grenoble Alpes. Ce consortium a une expertise
scientifique en statistique, traitement du signal et sciences cognitives, ce qui fournit un environnement
scientifique stimulant pour cette thèse. Par ailleurs, Grenoble est une ville où il fait vraiment bon travailler et
étudier, la ville étant classée chaque année en tête du classement des meilleures villes en France pour les études.
Bibliographie :
D. Blei, A. Ng, and M. Jordan. Latent Dirichlet allocation. Journal of Machine Learning Research, 3, 993–1022
(January 2003).
L. Fei-Fei and P. Perona. A Bayesian hierarchical model for learning natural scene categories. IEEE Computer
vision and Pattern Recognition (2005)
A. Frey, G. Ionescu, B. Lemaire, F. Lopez Orozco, T. Baccino and A. Guérin-Dugué. Decision-making in
information seeking on texts: an Eye-Fixation-Related Potentials investigation. Frontiers in Systems
Neuroscience, 7, pp.Article 39 (2013).
B. Obermaier, C. Guger, C. Neuper and G. Pfurtscheller. Hidden Markov models for online classification of
single trial EEG data. Pattern Recognition Letters, 22, 1299-1309 (2001).
J. Simola, J. Salojärvi and I. Kojo. Using hidden Markov model to uncover processing states from eye movements
in information search tasks. Cognitive Systems Research 9(4), 237-251 (October 2008)
S. Zhong and J. Ghosh. A New Formulation of Coupled Hidden Markov Models, Technical report, Dept. of
Electrical and Computer Eng., Univ. of Texas at Austin (2001)