Fusion de données

Transcription

Fusion de données

Fusion de données
Fusion de données
Denis Schwartz
Centre MEG/EEG – Pitié Salpêtrière
http://www.ccr.jussieu.fr/meg-center
Centre MEG/EEG – Pitié-Salpêtrière
1
Fusion de données
Sommaire
SOMMAIRE ........................................................................................................................................................2
INTRODUCTION...............................................................................................................................................3
RECALAGE MEEG/IRM .................................................................................................................................4
CONTRAINTES ...............................................................................................................................................10
DÉFINITION D’UNE CONTRAINTE .....................................................................................................................10
CONTRAINTES ANATOMIQUES..........................................................................................................................10
COMBINAISON MEG/EEG................................................................................................................................13
CONTRAINTES MÉTABOLIQUES........................................................................................................................14
ENREGISTREMENTS EEG/IRMF ..............................................................................................................16
INTRODUCTION ..................................................................................................................................................16
SPATIOTEMPORAL BRAIN IMAGING OF VISUAL STIMULATION USING SIMULTANEOUS EEG AND
FMRI RECORDINGS...........................................................................................................................................16
ABSTRACT ...........................................................................................................................................................17
INTRODUCTION ....................................................................................................................................................17
MATERIALS AND METHODS................................................................................................................................18
RESULTS ..............................................................................................................................................................22
DISCUSSION .........................................................................................................................................................26
ACKNOWLEDGMENTS .........................................................................................................................................27
REPRÉSENTATION DES RÉSULTATS .....................................................................................................28
INTRODUCTION ..................................................................................................................................................28
MÉTHODES DE VISUALISATION CLASSIQUES ..................................................................................................28
POST TRAITEMENTS DE L’IRM – VISUALISATION AVANCÉE .......................................................................30
VISUALISATION « SILLONS »..............................................................................................................................30
Segmentation automatiques des sillons..............................................................................................................30
Représentation des localisations.........................................................................................................................30
VISUALISATION CERVEAU « GONFLÉ »..............................................................................................................31
Gonflement du cerveau .......................................................................................................................................31
VISUALISATION 4D .............................................................................................................................................31
SYNTHÈSE ...........................................................................................................................................................33
CONCLUSION..................................................................................................................................................34
RÉFÉRENCES ..................................................................................................................................................35
2
Fusion de données
Introduction
Le processus conduisant à la localisation des générateurs des signaux MEEG n’est pas
uniquement composé de l’enregistrement des signaux fonctionnels et de la résolution des
problèmes directs et inverses. La nécessité de représenter les générateurs dans leur contexte
anatomique implique un recours à l’imagerie anatomique de type IRM. Ces informations devront
être mis en correspondance, c’est à dire « recalées» avec les données MEEG. La localisation des
générateurs est donc un processus multimodalités faisant intervenir des notions de fusion de
données. Au travers de l’étape recalage, la fusion de données pourra aller beaucoup plus loin que
la simple représentation des résultats puisque l’on pourra introduire dans les algorithmes inverses
des informations a priori, des contraintes, de nature anatomique et/ou métabolique. Ces
contraintes judicieusement mises en œuvre permettront d’améliorer la précision spatio-temporelle
des localisations.
Dans ce cours, nous décrirons, dans une première partie, l’étape cruciale de recalage MEEG/IRM
et l’évaluation de sa précision. Ensuite nous aborderons la définition et l’utilisation des
contraintes dans les algorithmes de localisations, sous forme anatomique, métabolique et nous
aborderons également la combinaison, dans un même formalisme, des données MEG et EEG.
Dans une troisième partie, nous présenterons l’acquisition de données EEG/IRMf simultanées
sous forme d’un outil permettant d’explorer les relations entre les données électromagnétiques et
métaboliques et la possible construction de contraintes à partir de ces dernières. Enfin nous
conclurons sur les méthodes avancées de représentations des générateurs localisés en MEEG.
Contrainte
S-EEG
IRMf
PET
SPEC
T
TMS
IO
Recalage
Localisation
Où
3
Fusion de données
Recalage MEEG/IRM
Aux vues des problèmes posés par les techniques de localisation des sources de l’activité
cérébrale sur le plan théorique et sur le plan pratique, le problème de la fusion des générateurs
localisés avec leur substrat anatomique semble a priori secondaire. Pourtant cette étape du
processus de localisation consistant à mettre en correspondance les données fonctionnelles et
anatomiques et à visualiser le résultat est indispensable, d’une part pour vérifier la qualité des
résultats fournis par les algorithmes de localisations en les confrontant au contexte anatomique, et
d’autre part, pour interpréter sur le plan spatial et temporel les phénomènes étudiés. De plus
certains algorithmes de localisation nécessitent l’apport de contraintes issues des données
anatomiques. Dans ce contexte, la précision de la méthode de recalage revêt une importance
cruciale puisqu’elle conditionne directement la précision des résultats.
La principale source d’incertitude dans la fusion est le recalage des données MEG/EEG avec
l’IRM. Étant donné une méthode de recalage, il est donc nécessaire d’évaluer l’incertitude
introduite dans le processus de localisation lors de cette étape et les conséquences prévisibles sur
l’interprétation des résultats obtenus. Les erreurs de recalage se traduisent dans le cas le plus
simple, par un déplacement homogène de toutes les localisations sur les données anatomiques.
Par contre si des contraintes anatomiques sont utilisées, l'effet sur la précision des résultats de
localisation est difficile à prévoir a priori et dépend d'une part de la nature de la contrainte et
d'autre part de l'algorithme de localisation lui-même. Par exemple des informations de direction
du bandeau cortical sont beaucoup plus sensibles à des erreurs de recalage que des informations
de positions.
L’opération consistant à « recaler » deux référentiels peut être définie comme la recherche d’une
transformation bijective entre les coordonnées de deux référentiels. Cette transformation doit être
tel que les points qui se correspondent dans les deux référentiels représentent le même point
anatomique (Maurer and Fitzpatrick 1993). Le recalage entre des données électrophysiologiques
issues de signaux MEG/EEG et des images anatomiques de types IRM consiste à déterminer une
transformation géométrique qui permet de passer du référentiel utilisé pour l’acquisition des
données MEG/EEG au référentiel utilisé pour l’acquisition des images anatomiques. Il s’agit
donc d’un recalage intra-patient multimodalité. La nature de la transformation géométrique
utilisée est déterminée par les caractéristiques physiques de la tête et du type d’amer utilisé pour
la mise correspondance. Dans notre cas, il s’agira d’une transformation globale puisque la tête et
les différents éléments internes la composant ne se déforment pas ou très peu entre les deux
modalités. D’autre part comme on ne connaît pas le facteur d’échelle 1 existant entre les deux
référentiels la transformation n'est pas forcément rigide mais affine. On recherche donc une
transformation composée de 3 rotations, 3 translations et éventuellement d’un facteur d’échelle
isotrope ou anisotrope. Dans ce contexte, les méthodes utilisables se décomposent en deux
groupes
Les méthodes manuelles : elles consistent à localiser manuellement lors de l’examen
électrophysiologique et sur l’examen anatomique des points homologues intrinsèques ou
extrinsèques qui seront utilisés pour la mise en correspondance.
1
Aussi bien lÕIRM que les instruments de repŽrage 3D utilisŽs en MEG/EEG peuvent induire des effets dÕŽchelle
isotropiques ou anisotropiques.
4
Fusion de données
Les points intrinsèques dérivent des propriétés spécifiques des images du patient (par exemple
points anatomiques). Les points extrinsèques sont des marqueurs artificiels visibles dans la
modalité considérée (par exemple. produits de contraste).
Points homologues repérés sur l’IRM
Les méthodes automatiques : Ces méthodes font appel à une mise en correspondance non
supervisée soit de points soit de formes homologues détectées sur les deux modalités.
Généralement on détecte la surface de la peau lors de l’examen MEEG grâce à un numériseur 3D
et sur l’examen IRM par segmentation de la peau. Les deux surfaces sont ensuite mises en
correspondance.
5
Fusion de données
Recalage automatique du headshape sur le crane d’un fantome
Les méthodes manuelles sont les plus utilisées car fournies en standard avec les systèmes de
magnétoencéphalogaphie.
La littérature concernant spécifiquement le recalage entre la MEG ou l’EEG et des données
anatomiques est assez pauvre. De plus, l’évaluation de la précision de ces méthodes est presque
inexistante alors qu’elle conditionne fortement l’objectivité de l’interprétation des résultats des
localisations. Une méthode de recalage doit bien sûr avoir une bonne précision spatiale (de
l’ordre de 2 ou 3 mm en moyenne). Elle doit être stable, c’est-à-dire que sa précision ne doit pas
être affectée par les artefacts détériorant les acquisitions à mettre en correspondance, et sa
précision ne doit pas dépendre de l’utilisateur. D’autre part, elle doit être d’une utilisation
clinique aisée minimisant le stress du patient et les interactions humaines. Sur le plan
anatomique, elle doit pouvoir se satisfaire des acquisitions IRM standards actuelles de type 3D
coupes fines.
Nous présentons ici les approches employées par 3 auteurs qui outre la description de leur
méthode, en ont évalué la précision :
Gevins (Gevins 1989, Gevins et coll. 1990) propose une approche semi-automatique visant à
minimiser la distance entre un ensemble d’électrodes EEG et la surface de la peau détectée sur
des images IRM. Les électrodes sont localisées grâce à un numériseur 3D. L’ensemble
d’électrodes et la surface de la tête sont mises en correspondance manuellement. Un algorithme
de minimisation optimise alors le recalage. La distance moyenne entre les électrodes et la peau en
fin de recalage est de l’ordre de 2 mm. Cette valeur est assez subjective car la relative symétrie de
la tête et le nombre limité d’électrodes peuvent générer une bonne convergence sur le plan
numérique alors que le recalage n’est pas optimal du point de vue anatomique. L’auteur n’a pas
6
Fusion de données
évalué les effets d’une mauvaise numérisation des électrodes ou d’une mauvaise détection de la
surface de l’IRM sur la précision de la méthode.
Van den Elsen (Van den Elsen et coll. 1991) propose une méthode semi-automatique basée sur la
détection de marqueurs extrinsèques sur des examens scanner ou IRM. Ces marqueurs permettent
de recalculer la position de points anatomiques intrinsèques utilisés pour la définition du
référentiel MEG/EEG. La précision de cette méthode est intimement liée à la bonne position des
marqueurs IRM ou scanner et donc à une intervention humaine. Si les marqueurs sont
parfaitement placés, on obtiendra une précision de l’ordre de la taille du voxel de l’examen IRM.
Singh (Singh et coll. 1997) propose une méthode semi-automatique basée sur l’emploi d’un mors
dentaire sur lequel sont placés 4 marqueurs que l’on numérise lors de l’examen MEG et que l’on
peut détecter sur un examen IRM. La précision de la méthode a été évaluée grâce à une analyse
de Monte-Carlo portant sur les incertitudes de numérisation des marqueurs sur le mors. La
précision varie entre 0.8 mm et 5.7 mm suivant le point du cerveau considéré. On note que les
erreurs de détection des points du mors sur l’IRM n’ont pas été introduites dans la simulation de
Monte-Carlo. D’autre part l’utilisation d’un tel mors est envisageable chez des volontaires, mais
plus difficile en routine clinique, chez des patients de part notre expérience.
Si les travaux concernant spécifiquement le recalage MEG/EEG sur IRM sont assez rares il existe
par contre de nombreux domaines où des méthodes utilisables dans notre contexte ont été
développées et validées sur le plan clinique. On peut citer, les méthodes de recalage TEP-IRM à
l'aide de points anatomiques (Evans et coll. 1989), les méthodes basées sur des marqueurs (Hill et
coll. 1991) et les méthodes basées sur la mise en correspondance de surface (Pellizari et coll.
1993, Lemoine et coll. 1994, West et coll. 1997). La précision de ces méthodes a été évaluée dans
de nombreuses études. Maurer présente une revue complète des méthodes de recalage avec une
estimation des meilleures précisions pouvant être atteintes dans chaque cas (Maurer and
Fitspatrick 1993). De cette étude on peut retirer que la précision des approches utilisant des
points intrinsèques ou extrinsèques est fortement liée à la nature de ces points, aux méthodes de
détection de ces points ainsi bien sur qu’au nombre de points. Dans des conditions favorables la
précision est de 1 à 2 voxels pour des points intrinsèques et de 1 voxel au maximum pour des
points extrinsèques. Pour le recalage de surface, les études montrent que la précision moyenne
évolue autour de la taille du voxel. Ces valeurs donnent un ordre de grandeur théorique pour
chaque type de méthodes, mais d’un point de vue pratique les erreurs constatées peuvent être
beaucoup plus importantes suite aux différents aléas rencontrées lors de recalage en routine
clinique (qualité d’acquisition, respect des hypothèses faites par les méthodes). Ce problème est
mis en évidence dans l’article (West et coll. 1997) où plusieurs méthodes ont été comparées en
aveugle grâce à un recalage stéréotaxique considéré comme idéal. Les variations d’erreurs
moyennes constatées pour une même méthode entre chaque contexte d’évaluation (par exemple
différents type d’acquisition) met en évidence la nécessité d’estimer la précision d’une méthode
dans son environnement clinique particulier.
Précision des méthodes manuelles (Schwartz et al 1996)
Les méthodes de recalage manuelles n’ont pas une bonne précision. L’erreur maximum atteint
voire dépasse 1.5 cm sur la partie externe du cerveau d’où proviennent la majeure partie des
activités détectables par la MEG ou l’EEG. La précision du recalage n'est pas “symétrique” sur
l’ensemble du cerveau et est donc dépendante de la zone étudiée. La méthode est donc très
7
Fusion de données
sensible aux multiples interventions humaines et elle ne fournit aucun indice de qualité
permettant d’apprécier la précision d’un recalage donné.
Erreur de recalage manuel sur la diagonale du volume IRM
Précision des méthodes automatiques (Schwartz et al 1996)
Les méthodes automatiques présentent une erreur de recalage moyenne très faible (3 mm)
inférieure aux incertitudes de localisations généralement rapportées. La réduction des
interventions manuelles apporte un surcroît de précision important par rapport aux méthodes
manuelles. La précision et la reproductibilité des résultats obtenues autorisent une fusion de
données anatomo-fonctionnelle très précise. Cette fusion permet une représentation optimum des
propriétés spatio-temporelles des résultats de localisation et donc une interprétation plus efficace.
Enfin la précision obtenue autorise l'emploi de contraintes anatomiques complexes dans les
algorithmes de localisation sans pour autant introduire des erreurs importantes.
8
Fusion de données
Validation de recalages automatiques
Figure du haut : Décalages résisuels – Figure du bas : Bon recalage
9
Fusion de données
Contraintes
Définition d’une contrainte
Dans le cadre de l’analyse des signaux MEG/EEG une contrainte peut être définie comme un
ensemble d’informations a priori qui est injecté dans le processus de localisation. La contrainte
peut être une information complémentaire réduisant l’espace de recherche des sources sur un plan
spatial et/ou temporel. Elle peut-être également directement intégrée dans le formalisme de
l’algorithme (par exemple dans le problème direct pour une contrainte anatomique) et donc
indispensable au fonctionnement de l’algorithme.
Les contraintes peuvent se présenter sous plusieurs formes :
Des contraintes anatomiques : un ensemble de sources potentielles est déterminé à partir d’un
examen IRM. L’algorithme de localisation déterminera alors pour chaque source à un instant
donné soit une intensité d’activation soit une probabilité d’activation.
Des contraintes métaboliques : Ces contraintes contiennent deux parties, une partie anatomique
semblable à la précédente sur laquelle se rajoute des informations supplémentaires indiquant
l’activation « probable » (PET, IRMf, …) d’une ou plusieurs sous-populations de la contrainte
anatomique. L’algorithme de localisation déterminera essentiellement les décours temporels
d’activation pour chaque source.
Attention : L’utilisation de contraintes dans le contexte de la localisation MEEG est sujette à
caution. En effet, le problème inverse étant sous-déterminé, il est très facile de surcontraindre
l’algorithme tout en gardant des résidus très bons.
Contraintes anatomiques
Les contraintes anatomiques sont définies à partir d’une IRM dont la taille du voxel doit
approcher le millimètre cube. Le but est de positionner les sources perpendiculairement à
l’interface matière grise / matière blanche en reproduisant l’organisation des cellules pyramidales
en macro-colonnes. On pourra alors utiliser dans la contrainte la position de ces sources
potentielles en y ajoutant éventuellement leur orientation. L’échantillonnage nécessaire dépend
de l’algorithme inverse utilisé et de la prise ou non en compte de contrainte de direction. Il faut
vérifier que l’échantillonnage est homogène sur la surface (et non dans le volume) et donc que la
description de la morphologie est respectée.
10
Fusion de données
Construction d’une contrainte anatomique
De nombreux logiciels sont disponibles pour générer des contraintes. Les points à vérifier sont les
suivants :
• Bonne segmentation de l’interface gris/blanc
• Possibilité de sous échantillonner le maillage résultant
11
Fusion de données
Segmentation matière grise / interface matière grise / matière blanche
L’adjonction d’une contrainte anatomique à des approches de type scanning (Mosher et al
1992, Schwartz et al 1999) conduit à la réduction de l’espace de recherche des sources avec la
possibilité d’utiliser en sus l’orientation. On aboutit donc à une diminution du temps de calcul,
mais le comportement de l’algorithme n’est pas modifié par la contrainte.
Les algorithmes de scanning cherchent une source de type précis (dipôle, multipôle etc) il se peut
que le modèle recherché ne soit pas exactement localisé dans la contrainte.
Pour les approches linéaires de type norme minimum la contrainte anatomique est indispensable
au fonctionnement de l’algorithme puisqu’elle est directement intégrée dans la résolution du
problème directe. En effet, la matrice de gain A est calculée à partir de la contrainte. Elle décrit
l’influence des sources potentiellement actives sur chacun des capteurs. L’opérateur inverse W en
dépend donc directement.
−1
W =RAT ( ARAT +C) (Dale et Sereno 1993)
Les approches non-linéaires utilisent également une contrainte anatomique dans la résolution de
leur problème inverse sous la forme d’une matrice de gain G identique à la précédente.
Cependant l’utilisation de potentiels additionnels (Us ici) dans la minimisation permet d’imposer
des contraintes plus fines, plus physiologiques. On peut par exemple regrouper des sources par
rapport à des a priori de localisation ou au contraire autoriser des discontinuités d’activation. Ces
contraintes dépassent alors le stade de l’anatomie pure pour rentrer dans des considérations plus
fonctionnelles.
2
U(jn)= Mn −GJn + λ(Us (jn)+Ut (jn)) (Baillet et al 1997)
Les erreurs de recalage sur une contrainte anatomique peuvent avoir des effets variés en fonction
de l’algorithme inverse utilisé et de la nature de la contrainte elle-même. Si on utilise une
contrainte en position uniquement avec un algorithme type norme minimum on observera un
déplacement de l’activité en cas de mauvais recalage. Par contre si on utilise en sus une
information d’orientation l’activité peut disparaître si elle a été déplacée sur une zone à
composante radiale en MEG.
12
Fusion de données
Combinaison MEG/EEG
La MEG et l’EEG donnent des images différentes d’un même phénomène (Wood et al 1985) . Il
est donc logique d’essayer de les utiliser de façon conjointe pour la résolution du problème
inverse (Cohen and Cuffin 1983). On essaiera de tirer parti des avantages en termes de sensibilité
et de simplicité de la MEG en incluant les informations supplémentaires fournies par l’EEG sur
les sources profondes et les sources radiales.
En théorie il suffit de construire une matrice de gain puis un opérateur inverse contenant à la fois
les informations des capteurs magnétiques et des capteurs électriques. En pratique un problème
de mise à l’échelle se pose car les signaux MEG et EEG ne sont pas exprimés dans les mêmes
unités. Cette mise à l’échelle dépend des propriétés de conductivité du milieu pour lesquelles des
erreurs importantes sont possibles.
Trois types d’approches ont été proposées :
1- Approches dipolaires : Dans un premier temps on peut localiser les générateurs MEG et EEG
séparément pour les comparer et éventuellement en déduire des positions « moyennes »
(Sutherling et al 1998). De façon plus élaborée, on peut combiner les opérateurs inverses MEG et
EEG (Stok et al 1987) afin de localiser directement à la fois sur les données MEG et EEG. Il faut
bien sur avoir résolu le problème de mise à l’échelle entre les deux modalités (Voir (Greenblat
1995), (Fuchs et al 1998) et (Diekman et al 1998) ). La plupart du temps les localisations
combinées ont été considérée de meilleure qualité.
2- Combinaison des opérateurs directs électriques et magnétiques dans l’approche norme
minimum (Dale et Sereno 1993, Liu et al 1998) : Dans ce cadre la matrice A contenant
l’opérateur direct contient à la fois les données concernant les capteurs MEG et les capteurs EEG.
Une fois de plus la mise à l’échelle doit être réalisée, cependant Liu et collaborateurs ont montré
que la précision de cette mise à l’échelle peut être assez réduite sans qu’elle influence de manière
considérable les résultats. Les localisations combinées MEG/EEG sont toujours meilleures.
3- Combinaison directe des opérateurs directs électriques et magnétiques associée à une
minimisation de l’information mutuelle contenue dans la matrice résultante (Baillet et Garnero
1999). Le problème inverse est ensuite résolu par la méthode ST-MAP (Baillet et al 1997). Cette
approche permet de minimiser la redondance de l’information dans l’opérateur direct qui
contribue à la sous-détermination du problème inverse. On montre alors que la combinaison
MEG/EEG est super additive.
13
Fusion de données
Distribution
de sources
EEG
143
MEG
143
Fusion
71 EEG, 72 MEG
Super additivité de la combinaison MEG/EEG.
Les sources simulées sont représentées à gauche et les résultats, EEG, MEG puis de la combinaison MEG/EEG
sont représentés de gauche à droite.
Contraintes métaboliques
Les contraintes métaboliques permettent d’introduire dans les algorithmes de localisation des a
priori fonctionnels. Ces données seront généralement des informations spatiales sous forme de
localisations d’activités retrouvées en IRMf, PET etc … La tâche des enregistrements
électromagnétiques sera de révéler la dynamique précise d’activation et d’autre part de mettre en
évidence des générateurs ayant échappés aux méthodes métaboliques. En effet, les techniques
électromagnétiques sont des mesures directes de l’activité cérébrale alors que les méthodes
métaboliques mesurent cette activité de façon indirecte soit en utilisant des traceurs soit en
analysant des effets secondaires (comme les variations d’oxygénation du sang). Il existe donc
potentiellement un biais spatial entre les méthodes. D’autre part toutes les activités électriques
n’ont pas forcément des répercussions métaboliques détectables par les techniques actuelles.
Enfin les stimuli idéaux pour l’acquisition MEEG ne sont souvent pas optimums pour l’imagerie
métabolique en termes de durée, de succession et de répétition. La mise au point de stimuli
commun, indispensable en cas de contraintes est donc difficile et peut conduire à utiliser des
stimuli non optimaux dans les deux modalités. Les articles suivants traitent en détail des relations
électromagnétisme/ métabolisme : Grinvald et al 1986, Masino et al 1993, Grinvald et al 1991,
Cohen et al 1973, Chance et al 1992, Villringer et Chance 1997, Frostig et al 1990, Malonek et
Grinvald 1996, Malonek et al 1997, Grinvald et al 2000.
Les approches de type dipolaire peuvent bénéficier de contraintes de type métaboliques. Il est
possible de placer des dipôles équivalents aux centres de gravités respectifs de chaque zone
activée retrouvée en imagerie métabolique. On calculera ensuite les décours temporels
d’activation de chacun des dipôles par exemple en utilisant une pseudo-inversion.
Les approches non-linéaires de type norme minimum (Liu et al 1998) peuvent intégrer facilement
des données métaboliques dans leur formalisme au travers de la matrices R de covariance des
14
Fusion de données
capteurs. On pourra utiliser la diagonale de cette matrice pour augmenter la probabilité
d’activation en un point donné. Les autres termes peuvent être employés pour décrir des relations
de corrélations supposées entre les zones activées.
−1
W =RAT ( ARAT +C) (Dale et Sereno 1993)
Cohérent
160 ms
180 ms
200 ms
Incohérent
Résultats MEG contraints par IRMf dans une tache de visualisation de mouvement cohérent (en haut) ou
incohérent (en bas) (Liu et al 1998)
Les approches non-linéaires (Baillet et Garnero 1997) intégrent ces informations dans les mêmes
potentiels que les contraintes anatomiques.
15
Fusion de données
Enregistrements EEG/IRMf
Introduction
L’enregistrement simultané de signaux EEG et IRMf permet d’avoir accès pour un même
phénomène à sa traduction électromagnétique et métabolique. Ceci permet dans un premier temps
d’étudier les correspondances existant entre ces deux techniques et dans un deuxième temps de
les combiner dans la résolution du problème inverse. L’article (Bonmassar et al 2001
NeuroImage in Press) présenté dans le paragraphe suivant décrit les techniques d’enregistrements
mis au point au MGH-NMR Center à Boston ainsi que les validations effectuées sur un
paradigme visuel simple.
Spatiotemporal Brain Imaging of Visual Stimulation using
Simultaneous EEG and fMRI Recordings.
G. Bonmassar*à, D. P. Schwartz*, A. K. Liu*, J. Ives , K. K. Kwong*, A. M. Dale*, J. W.
Belliveau*
*
†
NMR Center, Massachusetts General Hospital, Charlestown MA 02129.
Neurology Dept., Beth Israel Deaconess Medical Center, Boston MA 02215.
à
Manuscript correspondence should be addressed to:
Dr G. Bonmassar
Building 149, 13th Street
Charlestown, MA 02129
Tel. (617) 726 8791
FAX (617) 726 7422
E-mail: [email protected]
16
Fusion de données
Abstract
Combined analysis of electroencephalography (EEG) and functional magnetic resonance
imaging (fMRI) has the potential to provide higher spatiotemporal resolution than either method
alone. In some situations, where the activity of interest cannot be reliably reproduced (e.g.
epilepsy, learning, sleep states), accurate combined analysis requires simultaneous acquisition of
EEG and fMRI. Simultaneous measurements ensure that the EEG and fMRI recordings reflect
the exact same brain activity.
We took advantage of the spatial filtering properties of the bipolar montage to allow recording of
evoked potentials with fMRI. These EEG and fMRI measurements are of sufficient quality to
allow source localization of the cortical generators. In addition, our source localization
approach provides a principled combined EEG/fMRI analysis, without requiring any manual
selection of fMRI activations or placement of source dipoles.
Separate analysis of each of these two techniques demonstrated good spatial overlap of the
observed activated areas. As expected, the combined EEG/fMRI analysis provided better
spatiotemporal resolution than either approach alone. Ultimately, this type of simultaneous
acquisition and analysis will allow true multimodal imaging for the accurate characterization of
neurophysiological activity in the human brain.
Introduction
Functional Magnetic Resonance Imaging (fMRI) and Electroencephalography (EEG)
reflect two fundamentally different aspects of brain activity. fMRI measures changes in the
blood oxygenation (Belliveau et al. 1991; Kwong et al. 1992; Ogawa et al. 1992), whereas EEG
measures the electric potential directly generated by neuronal activity (Regan 1989). While the
underlying physiological mechanisms are different from fMRI (hemodynamic) and EEG
(electromagnetic), these measurements are complementary in their spatiotemporal resolutions.
fMRI has high spatial resolution, typically on the order of millimeters (Moonen and Bandettini
1999), while EEG has millisecond temporal resolution (Regan 1989).
Although separate measurements of fMRI and EEG will be adequate for many situations,
simultaneous acquisition is necessary when the activity of interest cannot be easily reproduced.
For example, in epilepsy patients, spontaneous interictal activity (epileptiform activity between
seizures) may vary from spike to spike, which may reflect different cortical generators.
Simultaneous EEG/fMRI recordings have been used (Krakow et al. 1999; Seeck et al. 1998;
Warach et al. 1996) to measure the interictal activity with the hypothesis that interictal
epileptiform discharges are likely to produce a focal change measurable by fMRI (Ives et al.
1993). While those studies used the simultaneously recorded EEG to monitor for the presence of
interictal activity, they did not use the EEG collected for any type of localization.
Other work has combined the analysis of functional magnetic resonance imaging, electrical and
magnetic physiological data that was collected separately. These studies include (a) Positron
emission tomography (PET) and EEG (Heinze et al. 1998; Heinze et al. 1994; Snyder et al. 1995)
(b) fMRI and EEG (Opitz et al. 1999) (c) fMRI and magnetoencephalography (MEG) (Ahlfors et
al. 1999; Korvenoja et al. 1999) (d) fMRI, MEG and EEG (Morioka et al. 1995) (e) fMRI, EEG
and invasive recordings (Luck 1999), and (f) PET, MEG and invasive recordings (Lamusuo et al.
1999). All of these studies primarily used the spatial information from the functional imaging
data to guide the placement of current dipoles for the EEG and/or MEG inverse solution. This
17
Fusion de données
type of “combined” analysis requires significant manual intervention, since one must decide
whether to “place” a dipole in a region of fMRI activation.
This paper presents, for the first time, complete spatiotemporal image analysis using: (i)
simultaneous EEG/fMRI recordings, (ii) realistic forward head model and (iii) combined
analysis, with fMRI as a constraint to localize EEG data. We collect evoked response potentials
to a visual stimulus along with fMRI at 1.5 Tesla. Both types of data were of sufficient quality to
allow source localization. In addition, our combined fMRI/EEG inverse procedure allows a
principled combination of the spatial information provided by fMRI, without any manual
selection of fMRI activations.
Materials and Methods.
Subject Information: Three normal volunteers were scanned (two male, one female) ages 28 - 37.
Informed consent was obtained from each subject prior to the experiment in accordance with
Massachusetts General Hospital policies (IRB #1999-P-010946/1; MGH). All subjects have
normal or corrected to normal vision. The SNR of the BOLD recording for the second male
subject was not sufficient for our analysis, therefore we present results only for the remaining two
subjects.
Anatomical MRI acquisition: Anatomical MRI was performed using a quadrature birdcage
transmit/receive head coil on our 1.5 T scanner (General Electric, Milwaukee, WI). For each
subject, three whole head acquisitions were collected using T1 weighted 3D-SPGR (TR/TE = 24
ms/8 ms) sequence with 124 slices 1.3 mm thick (matrix size 256×192, FOV 25 cm). The
individual acquisitions were motion corrected and averaged to increase gray/white matter contrast
to noise.
Functional MRI acquisition: Functional MRI was performed on the same 1.5 T scanner, using a
quadrature birdcage transmit/receive head coil. The first echo-planar sequence was a T1weighted spin-echo inversion recovery (TR/TE/TI = 2s / 20 ms / 800 ms) used to acquire 10
slices (7 mm-thick, 1 mm gap, 1.56 mm × 1.56 mm in-plane resolution) oriented perpendicular to
the calcarine fissure. These images were later used to coregister the functional data with the
subject’s anatomical MRI set. Functional MRI data were acquired from those same slices using a
gradient echo sequence (TE/TR = 50 ms/1000 ms) with the same slice thickness and gap, but 3.1
mm × 3.1 mm in-plane resolution. We have designed our own gradient echo sequence adapted
for interleaved fMRI and EEG acquisition (Fig. 1). The sequence allows for 30 seconds of
continuous fMRI acquisition, followed by a window of 30 seconds without MRI scanning for
clean EEG acquisition. Both fMRI and EEG windows were structured to include 15 seconds of
checkerboard reversal visual stimulation followed by 15 seconds of fixation. This interleaved
EEG/fMRI sequence cycles for 15 minutes for each run and data was collected from each subject
for a total of 2 runs or 450 fMRI time points. A workstation (SGI - O2) was used to trigger both
the MRI scanner and the EEG acquisition hardware, Fig. 1 shows the timing diagram for these
two types of trigger used. The external triggering of the MRI scanner was necessary to achieve
accurate synchrony with the EEG triggering and to avoid time-out of the General Electric scanner
system. After approximately 19 seconds from the beginning of the EEG window a MRI trigger
pulse was sent to the scanner to avoid this time-out glitch. This pulse was sent during fixation in
the EEG window and did not interfere with the EEG acquisition.
18
EEG
trigger
fMRI
trigger
Stimulus
Presentation
Fusion de données
15 sec of 4-8 Hz
Checkerboard
Reversal
15 sec of
fixation
15 sec of 4-8 Hz
Checkerboard
Reversal
15 sec of
fixation
EEG/VEP
Window
30 sec
fMRI Window
30 sec
TO
100 msec
RT
Time
Fig. 1: The sequence used for interleaved EEG/fMRI recordings. In blue are depicted the triggers
that are delivered to the EEG recording system, in orange the triggers that are delivered to the
1.5 Tesla scanner system and on the top is sketch of the stimulus presentation. “RT” in the figure
indicates the delay needed for the recovery time of the amplifiers from the transients’ generated
during scanning, due to influence of RF and magnetic gradient switching. “TO” is the fMRI
pulse sent to the scanner to avoid time-out. The sequence in figure is repeated 15 times in each
run (2 runs @ 4 Hz, 1 run @ 8 Hz) to collect a total of 1,200 epochs.
We examined both structural and functional scans for possible local artifacts of the MRI
due to the presence of the EEG cap (Quickcap, Neuro Scan Labs) on the subject’s head. Fig. 2
shows that the position of electrodes is visible in the structural scans as signal dropout, but the
contrast of the brain’s parenchyma was not affected by the presence of the electrodes.
19
Fusion de données
Fig. 2: (Top) EPI high resolution T1 weighted images. The presence of the electrodes can be
clearly seen on the structural images (see green arrows). (Bottom) EPI gradient echo images, all
the different slices acquired are unaffected from any type of image artifact despite the presence of
an EEG cap with 32-electrodes on the subject’s head.
fMRI Analysis: At the beginning of each fMRI window, the spins are back into a resting state
after more than 10 seconds without RF excitation during the EEG window. Statistical analysis of
the MRI signal was done after removing the first five (5) time points from each fMRI window,
given the initial lack of equilibrium of the spins in each slice (Ernst et al. 1990). Fig. 3 shows this
problem in detail: at the beginning of each fMRI window the spins are in a complete relaxation
state and an overshoot response is visible. In a previous study we found that it is sufficient to
discard the first five time points at the beginning of each fMRI window.
We applied a Gaussian smoothing kernel (FWHM of 1 voxel) to the raw fMRI data.
Then, the fMRI data was analyzed using the standard Student’s t-test (MEDx, Sensor Inc.)
comparing fixation to checkerboard visual stimulation. The standard “MEDx” algorithm for
cluster analysis was used with a Z score threshold of 2.3, the details of this method can be found
in (Friston et al. 1994).
900
800
700
600
500
400
No scanning
300
0
30
No scanning
60
90
No scanning
120
150
180
Time (s)
Fig. 3: The MRI signal using our gradient echo sequence at an arbitrary voxel, this time course
shows the overshoot problem of lack of equilibrium for the spins at the beginning of the fMRI
window. We selected a voxel without activation to show that the overshoot is much larger than
the common fluctuations of the BOLD signal.
20
Fusion de données
EEG acquisition: Continuous EEG was recorded inside the 1.5 T magnetic field with a 32channel OptiLink EEG (Neuro Scan Labs, Sterling, VA), amplified using SynAmps (Neuro Scan
Labs) and all subjects were wearing a 32-channel MRI compatible Quickcap (Neuro Scan Labs).
We reap the benefits of the spatial filtering properties (Bonmassar et al. 1999) of the bipolar
montage to reduce ballistocardiogram noise (Schomer et al. 2000). All EEG recordings were
short-chained bipolar from the modified cap. (We modified the MRI compatible Quickcap to
obtain the following bipolar montage (-) → (+): 1.Cz→C3 2.C3→T7 3.T7→M1 4.M1→M2
5.M2→T8 6.T8→C4 7.C4→Cz 8.FP1→F3 9.F3→FC3 10.FC3→C3 11.C3→CP3 12.CP3→P3
13.P3→O1 14.FP2→ F4 15.F4→ FC4 16.FC4→ F4 17.C4→ CP4 18.CP4→ P4 19.P4→O2
20.F7→FT7 21.FT7→T7 22.T7→TP7 23.TP7→P7 24.F8→FT8 25.FT8→T8 26.T8→TP8
27.TP8→P8 28.Fz→FCz 29.FCz→Cz 30.Cz→CPz 31.CPz→Pz 32.Pz→Oz). The data were
acquired with a PC (400 MHz Pentium PII) running the Scan acquisition software (Neuro Scan
Labs). Bandpass filtering was performed from 0.5 Hz to 70 Hz and a subsequent 50 Hz
Butterworth lowpass IIR filter with a Hanning window (1024 points) was applied. An O2
workstation (SGI, Mountain View, CA) sent triggering signals to the scanner and generated the
visual stimulus that was synchronized to this scanner. Trigger signals were also sent to the
SynAmps to tag the stimulus events for subsequent binning, temporal epoching and averaging of
EEG data into the relevant EP averages according to stimulus type and experimental condition.
The electrode positions were digitized using a Fastrack 3D digitizer (Polhemus, Colchester, VT).
Before applying the linear estimation algorithm, we discarded 3 to 5 noisy channels based on
visual inspection.
The EEG window had an ISI of 125 ms for subject NH and 250 ms for subject DS, 1200 epochs
were collected for each subject.
Visual Stimuli: Each epoch of the visual stimulus consisted of 15 seconds of a full-field reversing
checkerboard pattern (4-8 Hz frequency) followed by 15 seconds of uniform gray field. In all
conditions, a central fixation spot was present. The 10×10 black and white checkerboard pattern
was rear-projected by a color LCD projector, through a collimating lens onto an acrylic screen
(visual field 40° × 25°). The screen was positioned inside the magnet, immediately below the
subject's jaw. A mirror was interposed between, and oriented approximately 45° to the screen
and the subject's line of sight.
Forward Solution: We used a realistic boundary element method (BEM) for calculating the EEG
forward solution (de Munck 1992; Oostendorp and van Oosterom 1992). The EEG forward
solution computation requires the conductivity boundaries (inner skull boundary, outer skull
boundary, and outer skin boundary), the relative conductivities for each region, the locations of
all possible sources, and the EEG electrode locations. All surfaces were automatically
reconstructed from the structural MRI acquisition using a previously described technique (Dale et
al. 1999; Dale and Sereno 1993; Fischl et al. 1999). 642 vertices represent each conductivity
boundary. Typically, the cortical surface is initially tessellated with about 150,000 vertices per
hemisphere. This representation of the cortical surface is used for display. For the inverse
computation, the cortical surface is decimated to approximately 3000 dipoles per hemisphere,
which is roughly equivalent to 1 dipole every 10 mm along the cortical surface. We used a
conductivity ratios for brain:skull:scalp of 1:80:1.
21
Fusion de données
Fig. 4: Boundary surfaces used in the three-shell model to compute the forward solution based on
BEM (Subject NH).
Inverse Solutions: We used the linear estimation approach (Dale and Sereno 1993; Hamalainen et
al. 1993; Hamalainen and Ilmoniemi 1984; Liu et al. 1998b; Sarvas 1987; Wang et al. 1992) to
localized the brain activity for EEG data alone and for fMRI constrained EEG. We computed an
optimal linear inverse operator (W), which maps the external electromagnetic field measurements
(x) into estimated source activities ( ŝ ) within the brain. This inverse operator explicitly
minimizes the expected error between the estimated and actual activity distribution (s). The
calculation incorporates the forward solution (A), a priori spatial constraints (R) and sensor noise
characteristics (C). We constrained the source locations, but not the source orientations, by the
cortical surface. The expression for the inverse operator is:
−1
W = RA T ARA T + C
(1)
This linear inverse operator provides an estimate of source activity for each time point
independently of the other time points. Then, the estimated source activities are given by the
simple expression:
ŝ = Wx
(2)
When analyzing the EEG data alone, we have no prior spatial information, and thus the R matrix
is the identity matrix. For the fMRI-constrained solution, the R matrix is constructed as follows:
each fMRI location on the cortex that is activated, according to the result of cluster analysis
(Friston et al. 1994), is set to 1 and the other locations are set to 0.01. These values correspond to
a relative fMRI weighting of 90%, and provide robustness of the solution in the face of misspecifications of the fMRI (Liu et al. 1998a).
Representation of the results: For display of both the fMRI and the EEG localization results we
used the reconstructed pial surface. The cortical surface reconstruction is described in detail in
(Dale et al. 1999; Dale and Sereno 1993; Fischl et al. 1999; Sereno et al. 1995).
(
)
Results
For both subjects, we were able to record both their evoked potentials and fMRI, and to use those
measurements for localization of the cortical activity independently in both modalities. A typical
subset of the bipolar evoked potential measurements is shown in Fig. 5A. In both subjects there
were two peaks of activity. The variance of the signal for one bipolar channel (channel 32, in the
occipital lobe) is shown in Fig. 5B. The spatial distribution of the scalp potentials was typical of
22
Fusion de données
evoked potentials of visual stimuli, where the maximum voltage swings are measured in the
occipital region (Fig. 6).
6
4
P3-> O1
Pz -> Oz
P4 -> O2
CP3 -> P3
CPz -> Pz
CP4 -> P4
2
0
-2
-4
-6
1
11
21
31
41
51
61
71
81
91
101
111
121
Time (ms)
(A)
8
6
4
2
0
-2
-4
-6
-8
1
11
21
31
41
51
61
71
81
91
101
111
121
Time (ms)
(B)
Fig. 5: (A) Evoked potentials collected from subject NH, positive in the upward direction,
collected during fMRI. (B) Average ± variance of the bipolar recording in channel Pz->Oz.
23
Fusion de données
Fig. 6: Evoked potentials collected from Subject NH, during simultaneous EEG/fMRI. Potentials
are displayed in µV units.
The simultaneously collected fMRI results (Z scores) are displayed on the medial aspect
of the pial surface in Fig. 7A. For subject DS we present the left hemisphere and for subject NH
we present right hemisphere. The fMRI activity was consistently localized to the posterior
portion of the calcarine sulcus. The Talairach coordinates of the fMRI activity are given in Table
1.
Subject
X
Y
Z
NH (left hemisphere)
-10.8
-78.5
-13.6
NH (right hemisphere)
6.7
-86.8
0.4
DS (left hemisphere)
10.8
-86.1
-2.6
DS (right hemisphere) -7.3
-82.1
-6.1
Table 1: Talaraich center of mass coordinates for the functional MRI activations of the two
subjects
Using the EEG measurements alone, we used the linear estimation approach to localize the
cortical generators of the scalp EEG (Fig. 6B). In both subjects, the cortical activity was
localized along the entire length of the calcarine sulcus. For subject DS the activity was primarily
on the lower bank, whereas for subject NH the activity encompassed both upper and lower banks.
For each subject, the EEG localization was similar in location to the fMRI results, but was larger
in extent.
The fMRI constrained EEG localization results are shown in Fig. 7C. For both subjects the
localizations are similar to the fMRI results and considerably more focal than the unconstrained
EEG localizations. For subject DS the two peaks of activity occurred at 71 ms and 150 ms. For
subject NH the first peak had a latency of 53 ms and the second, 106 ms.
24
Fusion de données
Fig. 7: Spatial localization of the fMRI (A), EEG alone (B), and fMRI constrained EEG (C). The
activity is displayed on the medial aspect of the pial surface of the left (Subject DS) and right
(Subject NH) hemispheres.
Seven snapshots of the cortical activity movie, without and with fMRI constraint, are shown for
Subject NH in Fig. 8. The peaks of activity occur at the same time for both the EEG (alone)
localization and the fMRI constrained localization. One can again see that the spatial extent of
25
Fusion de données
the fMRI constrained EEG localization is more focal than the results based on EEG
measurements alone.
Fig. 8: Spatiotemporal brain imaging of the cortical activity for the subject NH showing the
activations of the occipital region of the neocortex during the flashing checkerboard task. The
upper row contains localizations for EEG alone. The bottom row show localizations for fMRI
constrained EEG.
Discussion
Using our state-of-the-art hardware and software, we simultaneously recorded and
localized the hemodynamic and electric response of the brain to the exact same visual stimulus.
We found good agreement between independently analyzed fMRI and the EEG localization
results, consistent with the theory that there is coupling between neuronal activity and
hemodynamic change (Grinvald et al. 2000). As expected from model studies (Liu et al. 1998a),
the combined analysis of the fMRI and EEG characterized the cortical generators with higher
spatiotemporal resolution than either technique alone.
Previous simultaneous EEG/fMRI studies recorded interictal activity, which has peak
potentials well over 50 µV and is visible in the spontaneous EEG recordings. These studies,
however, utilized the EEG only to manually trigger the fMRI. We were able to make
measurements of the much smaller evoked potentials that cannot be seen in unaveraged
recordings. These evoked potentials were of sufficient quality to allow actual cortical source
localization, not just as a trigger for functional acquisitions. Finally, the inverse approach we
used allowed a principled combination of the fMRI and EEG data. We were not required to
make any manual selection of dipole locations from the fMRI data.
However, there were some limitations to this technique. Primarily, the low SNR of both the fMRI
and EEG would limit the range of applications. For example, currently we would be unable to
study cognitive paradigms that do not generate relatively large changes in hemodynamics or
evoked potentials. The SNR of both the fMRI and EEG measurements were low mainly because
of motion of the subjects. This subject motion was partially caused by discomfort from the EEG
cap (as reported by all subjects), given that the EEG electrodes were mounted on protruding
plastic cups. In this 32-channel EEG cap only three occipital electrodes supported the whole
weight of the subject’s head. Additionally the EEG was corrupted by noise due to other types of
motion (e.g. due to breathing and heartbeat) of the closed loops that are formed by EEG
electrodes, leads and skin. The motion of conductors inside a magnetic field will induce a
potential (i.e. noise) in those conductors.
26
Fusion de données
We are planning to address these limitations in future studies. The cap comfort can be improved
by reducing the profile of the electrodes and increasing the cap’s padding. We are considering
adaptive filtering to further improve the SNR of the EEG bipolar recordings during fMRI.
Furthermore, we are developing the next generation of EEG amplifiers for simultaneous
recordings with higher common mode rejection ratio to improve the SNR of bipolar recordings.
This improved amplifier will also include zero transient time that will allow more efficient use of
experiment time.
We have demonstrated that it is possible to simultaneously collect EEG and fMRI, with high
enough quality to allow for combined modality source localization. This work represents a
significant advancement over previous work (Bonmassar et al. 1999), both in terms of the
hardware used to collect the simultaneous measurements and the use of a principled
multimodality inverse approach. Further improvements in these technologies will provide an
optimal tool to non-invasively investigate the spatiotemporal dynamics of human brain activity.
Acknowledgments
This study was supported by grants from the Whitaker Foundation, United States Public Health
Service NIH RO1 NS37462, and conducted during the tenure of an Established Investigatorship
from the American Heart Association to JWB. We acknowledge the Salk Institute for the use of
the ICA toolbox.
27
Fusion de données
Représentation des résultats
Introduction
La visualisation des résultats, dernière étape du processus de localisation, doit permettre
l'évaluation de la cohérence des reconstructions obtenues dans leur contexte anatomique en
fonction des données anatomo-fonctionnelles connues a priori. Dans le même temps, elle doit
permettre une interprétation la plus objective possible des phénomènes physiologiques ou
physiopathologiques mis en évidence par les localisations. En d'autres termes, une bonne
méthode de représentation met en évidence les caractéristiques spatiales et temporelles des
localisations tout en conservant le maximum d'informations anatomiques.
Méthodes de visualisation classiques
La méthode la plus utilisée pour représenter des localisations est la superposition des résultats sur
des coupes IRM (généralement des coupes sagittales, axiales ou coronales) (Reite et coll. 1988,
Yamamoto et coll 1988, Pantev et coll. 1990). Il est possible de représenter soit des dipôles
équivalents (sous forme d'un point et d'une direction projetée dans le plan concerné), soit de
représenter des résultats obtenus avec des contraintes anatomiques à l'aide d'un code de couleur
représentant soit l'intensité d'activation en un point donné soit la probabilité d'existence d'une
source en un point donné. Cette méthode a l'avantage de fournir des renseignements anatomiques
très précis grâce à la résolution spatiale millimétrique de l'IRM. Dans ce cadre le recalage de ces
informations anatomo-fonctionnelles avec un atlas anatomique de type Talairach (Talairach et
Tournoux 1988) permet une identification très rapide des structures cérébrales activées. Si les
informations anatomiques sont très précises, il est par contre très difficile de comprendre et
d'interpréter l'aspect dynamique des localisations car la complexité de l'information anatomique
empêche l'analyse des caractéristiques temporelles des localisations. On a une vision latence par
latence du phénomène étudié et non une vision globale sur l'ensemble du temps d'activation des
différents générateurs. Cette dégradation de l'information temporelle empêche l'exploitation
complète de l'avantage de l'EEG et de la MEG en termes de résolution temporelle. Plusieurs
approches sont possibles pour permettre l'interprétation de l'aspect temporel des localisations.
Concernant la représentation de sources étendues, Il est possible de construire des animations
couvrant l'ensemble du temps d'analyse. Les résultats sont particulièrement spectaculaires sur une
vue 3D du cerveau segmenté où l'on pourra suivre l'évolution de l'activation dans sa globalité
(Barillot et coll. 1996). Par contre toutes les activations touchant du cortex enfoui dans les sillons
corticaux sont invisibles et très difficiles à suivre sur les coupes 2D. L'analyse des données
enfouies nécessite l'utilisation soit d’une méthode de simplification de l’anatomie comme une
segementation des sillons (Le Goualher et al 1997) ou d'une méthode de déplissement ou
aplanissement du cortex de façon à faire apparaître les parties cachées du cortex (Dale et Sereno
1993, Dale et coll. 1998).
28
Fusion de données
Représentation des résultats MEG sur une tâche de vocalisation recalé avec l’atlas de Talairach
Représentation des résultats MEG sur une tâche de vocalisation au cours du temps
Les points appartenant à la matière grise sont utilisés comme contrainte anatomique. Les couleurs représentent
la probabilité [0.98-1.0] de localiser une source dipolaire à un endroit donné. Plus la couleur est chaude et plus la
probabilité est importante.
29
Fusion de données
Post traitements de l’IRM – Visualisation avancée
Plusieurs méthodes de visualisation avancées de données fonctionnelles 4D (c’est-à-dire en
conservant l’aspect temporel) permettant de garder suffisamment de nonnées anatomiques sont à
la disposition des chercheurs. Toutefois elles nécessitent généralement des post-traitements de
l’IRM très lourds en temps de calcul.
Nous en citerons deux ici :
Une visualisation à base sillons corticaux segmentés
Une visualisation à base de cerveau « gonflé »
Visualisation « Sillons »
Segmentation automatiques des sillons
Les sillons sont extraits à partir l'IRM 3D (Le Goualher et al. 1997). Cette méthode modélise les
sillons corticaux à l'aide d'un ruban actif décrivant l'ame des sillons (c'est-à-dire la partie
médiale). Cette modélisation permet de décrire numériquement les sillons et particulièrement les
parties les plus profondes.
Représentation des localisations
La représentation des localisations est obtenue grâce à un rendu 3D surfacique. On représente les
sillons de la zone d'intérêt (zone perisylvienne pour l'étude du langage par exemple). Les dipôles
équivalents sont représentés à l'aide de sphères dont la couleur indique la latence de localisation.
L'ensemble est manipulable (rotation, translation, zoom, éclairage) en temps réel sur la station.
Visualisation des résultats MEG sur une tâche de mentalisation (Morandi 1997)
Les sphères représentent les dipôles localisés entre 0 et 300 ms après le stimulus sonore. Leur couleur indique la
latence de localisation Les sillons suivant de l'hémisphère gauche sont labélisés : le Sillon Frontal Supérieur (SFS),
Le Sillon Post Central (PostCS), La vallée sylvienne (SF) et le Sillon Temporal Inférieur (ITS).
30
Fusion de données
Visualisation Cerveau « gonflé »
Gonflement du cerveau
Le gonflement (virtuel …) d’un cerveau a pour but de faire ressortir les parties du cortex enfouies
dans les sillons et donc cachées sur les visualisations standards. Dale et collaborateurs (Dale et al
1998) ont mis au point un ensemble d’algorithme permettant d’obtenir ce gonflement à partir
d’une IRM 3D avec une épaisseur de voxel de l’ordre du millimètre cube.
Visualisation de l’ensemble des générateurs d’une pointe inter-critique en épilepsie
Nous avons représenté ici sur la surface de la matière grise et sur un cerveau gonflé l’ensemble des générateurs
localisés au cours de la pointe inter-critique représentée en bas de la figure.
Visualisation 4D
On peut utiliser les cerveaux gonflés pour construire une representation statique (pas un film)
mais contenant quand même des informations temporelles. Il suffit de surperposer à l’activation
une couleur indiquant la latence d’apparition de cette activité.
31
Fusion de données
Visualisation 4D des générateurs d’une pointe inter-critique en épilepsie sur un cerveau gonflé.
Les zones activées ont été codées à l’aide d’une couleur représentant leur latence d’activation (du rouge vers
l’orange, le vert et le bleu). Les zones rouges représentent donc les générateurs initiaux de l’événement intercritique.
32
Fusion de données
Synthèse
Une seule méthode de visualisation des résultats de localisation MEG/EEG ne suffit pas pour être
en mesure d'interpréter l'ensemble des informations anatomiques et fonctionnelles car il est
difficile d'avoir sur une même vue, l'ensemble des informations spatiales et temporelles. Dans un
premier temps, il est logique de visualiser classiquement les localisations sur l'IRM. On identifie
ainsi précisément les différentes zones anatomiques activées. Les représentations 3D donnent une
vision plus globale du phénomène sur le plan temporel et spatial en surface du cerveau. Suite à
ces deux étapes, il alors assez simple de sélectionner les résultats les plus intéressants pour en
déduire une représentation très synthétique en 3D avec les sillons corticaux. Cette représentation
permet d'analyser de façon plus globale les propriétés spatio-temporelles des phénomènes mis en
évidence et éventuellement de comparer avec efficacité des résultats entre différents sujets. Les
représentations à base de cerveau gonflé qu’elles soient 3D ou 4D permettent quant à elles
d’avoir une représentation synthétique de l’ensemble de de l’activation tout en gardant une très
bonne idée de l’anatomie.
33
Fusion de données
Conclusion
Il faut :
1- Un bon recalage MEEG/IRM.
2- Une bonne segmentation de l’interface gris/blanc.
3 - Toujours penser à la possibilité d’une sur-contrainte de l’algorithme inverse, donc
toujours regarder ces données avec des méthodes simples d’abord.
4- Les méthodes métaboliques ne sont pas des « gold standard »
5- Choisir une représentation 3D ou 4D adaptée à vos données.
6- …
34
Fusion de données
Références
Ahlfors, S. P., Simpson, G. V., Dale, A. M., Belliveau, J. W., Liu, A. K., Korvenoja, A.,
Virtanen, J., Huotilainen, M., Tootell, R. B., Aronen, H. J., and Ilmoniemi, R. J. (1999).
Spatiotemporal activity of a cortical network for processing visual motion revealed by MEG and
fMRI. J Neurophysiol, 82(5): 2545-55.
Barillot, C., Schwartz, D., Le Goualher, G., Gibaud, B. and Sacarabin, J-M. Representation of
MEG/EEG data in a 3D morphological environment. Computer Assisted Radiology, 1996, 249254.
Baillet-S; Garnero-L. A Bayesian approach to introducing anatomo-functional priors in the
EEG/MEG inverse problem. IEEE-Trans-Biomed-Eng. 1997 May; 44(5): 374-85.
Baillet-S; Garnero-L; Marin-G; Hugonin-JP. Combined MEG and EEG source imaging by
minimization of mutual information. IEEE-Trans-Biomed-Eng. 1999 May; 46(5): 522-34.
Belliveau, J. W., Kennedy, D. N., McKinstry, R. C., Buchbinder, B. R., Weisskoff, R. M., Cohen,
M. S., Vevea, J. M., Brady, T. J., and Rosen, B. R. (1991). Functional mapping of the human
visual cortex by magnetic resonance imaging. Science, 254: 716-719.
Bonmassar, G., Anami, K., Ives, J., and Belliveau, J. W. (1999). Visual Evoked Potential (VEP)
Measured by Simultaneous 64-Channel EEG and 3T fMRI. NeuroReport, 10(9): 1893-1897.
Cohen, D., Cuffin, B. N., Yunokuchi, K., Maniewski, R., Purcell, C., Cosgrove, G. R., Ives, J.,
Kennedy, J. and Schoner, D. MEG versus EEG localization test using implanted sources in the
human brain. Ann. Neurol., 1990, 28:811-817.
Cohen, D., Cuffin, B.N. Demonstration of useful differences between magnetoencephalogram
and electroecephalogram, Electroenceph. clin. Neurophysiol., 1983, 56:38-51.
Dale, A. M., Fischl, B., and Sereno, M. I. (1999). Cortical Surface-Based Analysis I:
Segmentation and Surface Reconstruction. NeuroImage, 9: 179-194.
Dale, A. M., and Sereno, M. I. (1993). Improved localization of cortical activity by combining
EEG and MEG with MRI cortical surface reconstruction: A linear approach. J. Cog. Neurosci.,
5(2): 162-176.
de Munck, J. C. (1992). A linear discretization of the volume conductor boundary integral
equation using analytically integrated elements. IEEE Trans. Biomed. Eng., 39(9): 986-990.
Diekmann V, Becker R, Grözinger B et al (1998) Localisation of epileptic foci with electric,
magnetic and combined electromagnetic models Electroenceph. Clin. Neurophysiol., 106, 297313
Ernst, R. R., Bodenhausen, G., and Wokaun, A. (1990). Principles of Nuclear Magnetic
Resonance in One and Two Dimensions, Oxford Univ Press, Oxford.
35
Fusion de données
Evans, A.C., Marret, S., Collins, L., Peters, T.M. Anatomical-functional correlative analysis of
the human brain using three dimensional imaging systems. In: Schneider R.H., Dwyer III S. J,
Gilbert Jost R. (Eds): Proc SPIE Vol 1092, Med Im III: Image Processing, SPIE Press,
Bellingham, WA, 1989: 264-274.
Fischl, B., Sereno, M. I., and Dale, A. M. (1999). Cortical Surface-Based Analysis II: Inflation,
Flattening, and a Surface-Based Coordinate System. NeuroImage, 9: 195-207.
Friston, K. J., Jezzard, P., and Turner, R. (1994). Analysis of functional MRI time series. Human
Brain Mapping, 1: 153-171.
Fuchs,W., Wischmann, H.A., Koher, T. Theiffen, A., Drenckahn, R., Buchner, H. (1998),
Improving source reconstruction by combining biolectric and biomagnetic data, Electroenceph.
Clin. Neurophysiol., 107, 93-111.
Gevins, A. Dynamic functional topography of cognitive tasks. Brain Topography, 1989, 2:37-56.
Gevins, A., Brickett, P., Costales, B., Le, J., and Reutter B. Beyond topographic mapping:
Towards functional-anatomical imaging with 124-channel EEGs and 3-D MRIs. Brain
Topography, 1990, 3:53-64.
Grinvald, A., Slovin, H., and Vanzetta, I. (2000). Non-invasive visualization of cortical columns
by fMRI. Nat Neurosci, 3(2): 105-107.
Hamalainen, M., Hari, R., Ilmoniemi, R. J., Knuutila, J., and Lounasmaa, O. V. (1993).
Magnetoencephalography - theory, instrumentation, and application to noninvasive studies of the
working human brain. Review of Modern Physics, 65: 413-497.
Hamalainen, M. S., and Ilmoniemi, R. J. (1984). Interpreting measured magnetic fields of the
brain: estimates of current distributions, Helsinki Univ. of Technology, Helsinki, Finland.
Heinze, H. J., Hinrichs, H., Scholz, M., Burchert, W., and Mangun, G. R. (1998). Neural
mechanisms of global and local processing. A combined PET and ERP study. J. Cogn. Neurosci.,
10(4): 485-498.
Heinze, H. J., Mangun, G. R., Burchert, W., Hinrichs, H., Scholz, M., Munte, T. F., Gos, A.,
Scherg, M., Johannes, S., Hundeshagen, H., and et al. (1994). Combined spatial and temporal
imaging of brain activity during visual selective attention in humans. Nature, 372(6506): 543546.
Hill D.L.G., Hawkes, D.J., Crossman, J.E., Gleeson, M.J., Cox, T.C.S., Bracey, E.C.M.L.,
Strong, A.J., Graves P. Registration of MRI and CT images for skull base surgery using point-like
anatomical features. Brit. J. Radiol., 1991, 35:1030-1035.
36
Fusion de données
Ives, J. R., Warach, S., Schmitt, F., Edelman, R. R., and Schomer, D. L. (1993). Monitoring the
patient's EEG during echo-planar MRI. Electroenceph. Clin. Neurophysiol., 87: 417-420.
Korvenoja, A., Huttunen, J., Salli, E., Pohjonen, H., Martinkauppi, S., Palva, J. M., Lauronen, L.,
Virtanen, J., Ilmoniemi, R. J., and Aronen, H. J. (1999). Activation of multiple cortical areas in
response to somatosensory stimulation: combined magnetoencephalographic and functional
magnetic resonance imaging. Hum Brain Mapp, 8(1): 13-27.
Krakow, K., Woermann, F. G., Symms, M. R., Allen, P. J., Barker, G. J., Duncan, J. S., and Fish,
D. R. (1999). EEG-triggered functional MRI of intertictal epileptiform activity in patients with
partial seizures. Brain, 122: 1679-1688.
Kwong, K. K., Belliveau, J. W., Chesler, D. A., Goldberg, I. E., Weisskoff, R. M., Poncelet, B.
P., Kennedy, D. N., Hoppel, B. E., Cohen, M. S., Turner, R., Cheng, H. M., Brady, T. J., and
Rosen, B. R. (1992). Dynamic magnetic resonance imaging of human brain activity during
primary sensory stimulation. Proc. Natl. Acad. Sci. USA, 89: 5675-5679.
Lamusuo, S., Forss, N., Ruottinen, H. M., Bergman, J., Makela, J. P., Mervaala, E., Solin, O.,
Rinne, J. K., Ruotsalainen, U., Ylinen, A., Vapalahti, M., Hari, R., and Rinne, J. O. (1999).
[18F]FDG-PET and whole-scalp MEG localization of epileptogenic cortex. Epilepsia, 40(7):
921-30.
Lemoine, D., Lussot, E., Legeard, D., Barillot, C. Multimodal Registration System for the Fusion
of MRI, CT, MEG and 3D or Stereotactic Angiographie Data. SPIE Medical Imaging 1994,
2164:46-56.
Liu, A. K., Belliveau, J. W., and Dale, A. M. (1998a). Spatiotemporal imaging of human brain
activity using fMRI constrained MEG data: Monte Carlo simulations. Proc. Natl. Acad. Sci. USA,
95: 8945-8950.
Liu, A. K., Belliveau, J. W., and Dale, A. M. (1998b). Spatiotemporal imaging of human brain
activity using functional MRI constrained magnetoencephalography data: Monte Carlo
simulations. Proc Natl Acad Sci U S A, 95(15): 8945-50.
Luck, S. J. (1999). Direct and indirect integration of event-related potentials, functional magnetic
resonance images, and single-unit recordings. Hum Brain Mapp, 8(2-3): 115-201.
Le Goualher, G. Modélisation de structures anatomiques cérébrales pour l'aide à l'interprétation
d'images médicales et à la fusion de données. Thèse de science. Université de Rennes I. 1997.
Le Goualher, G., Barillot, C. and Bizais, Y. Three-dimensional segmentation and representation
of cortical sulci using active ribbons. International Journal of Pattern Recognition and Artificial
Intelligence. 1997, In Press.
37
Fusion de données
Maurer, C.R. Jr., Fitzpatrick, M.J. A review of medical image registration. In: Interactive ImageGuided Neurosurgery. Maciunas, R.J. ed. Park Ridge. IL: American Association of Neurological
Surgeons. 1993, 17-44.
Moonen, C. T. W., and Bandettini, P. A. Editors (1999). Functional MRI. , Springer-Verlag, New
York, N. J.
Morioka, T., Mizushima, A., Yamamoto, T., Tobimatsu, S., Matsumoto, S., Hasuo, K., Fujii, K.,
and Fukui, M. (1995). Functional mapping of the sensorimotor cortex: combined use of
magnetoencephalography, functional MRI, and motor evoked potentials. Neuroradialogy, 37:
526-530.
Ogawa, S., Tank, D. W., Menon, R., Ellermann, J. M., Kim, S.-G., Merkle, H., and Ugurbil, K.
(1992). Intrinsic signal changes accompanying sensory stimulation: Functional brain mapping
with magnetic resonance imaging. Proc. Natl. Acad. Sci. USA, 89: 5951-5955.
Oostendorp, T. F., and van Oosterom, A. (1992). Source parameter estimation using realistic
geometry in bioelectricity and biomagnetism. Biomagnetic Localization and 3D Modeling,
Report TKK-F-A689, J. Nenonen, H. M. Rajala, and T. Katila, eds., Helsinki University of
Technology, Helsinki.
Opitz, B., Mecklinger, A., Von Cramon, D. Y., and Kruggel, F. (1999). Combining
electrophysiological and hemodynamic measures of the auditory oddball. Psychophysiology,
36(1): 142-7.
Pantev, C., Hoke, M., Lehnertz, K., Lütkenhöner, B., Fahrendorf, G. and Stöber, U. Identification
of sources of brain neuronal activity with high spatiotemporal resolution through combination of
neuromagnetic source localization (NMSL) and magnetic resonance imaging (MRI).
Electroencephlogr. clin. Neurophysiol., 1990, 75:173-184.
Pellizari,C.A., Levin, D.N., Chen, G.T.Y., and Chen, C.T. Image registration based on
anatomical surface matching. In: Maciunas, R. (Ed.), Interactive image-guided neurosurgery,
American Association of Neurological Surgeons, 1993: 47-62.
Reite, M., Teale, P., Zimmerman, J., Davis, K. and Whalen, J. Source location of a 50 msec
latency auditory evoked field component. Electroencephlogr. clin. Neurophysiol., 1988, 70:490498.
Regan, D. (1989). Human brain electrophysiology: Evoked potentials and evoked magnetic fields
in science and medicine, Elsevier, New York.
Singh, K.D., Holliday, I.E., Furlong, P.L., Harding, G.F.A. Evaluation of MRI-MEG/EEG coregistration strategies using Monte Carlo simulation. Electroencephlogr. clin. Neurophysiol.,
1997, 102:81-85.
38
Fusion de données
Sarvas, J. (1987). Basic mathematical and electromagnetic concepts of the biomagnetic inverse
problem. Phys Med Biol, 32(1): 11-22.
Schomer, L. D., Bonmassar, G., Seeck, M., Lazeyras, F., Blum, A., Anami, K., Schwartz, D.,
Belliveau, J. W., and Ives, J. (2000). EEG linked functional magnetic resonance imaging in
epilepsy and cognitive neurophysiology. Journal of Clin Neurophysiol, 17(1): 43-58.
Schwartz, D., Badier, JM., Bihoué, P., Bouliou, A., Evaluation with realistic sources of a new
MEG-EEG spatio-temporal localization approach. Brain Topography 1999.
Schwartz, D., Lemoine, D., Poiseau, E., Barillot, C. Registration of MEG/EEG data with 3D
MRI: Methodology and precision issues. Brain Topography, 1996, 9:101-116.
Seeck, M., Lazeyras, F., Michel, C. M., Blamke, O., Gericke, C. A., Ives, J., Delavelle, J., Golay,
X., Haenggeli, C. A., De Tribolet, N., and Landis, T. (1998). Non-invasive epileptic focus
localization using EEG-triggered functional MRI and electromagnetic tomography.
Electroenceph. and clin. neurophysiol., 106: 508-512.
Sereno, M. I., Dale, A. M., Reppas, J. B., Kwong, K. K., Belliveau, J. W., Brady, T. J., Rosen, B.
R., and Tootell, R. B. H. (1995). Borders of multiple visual areas in humans revealed by
functional magnetic resonance imaging. Science, 268(May 12): 889-893.
Stok, C.J. The influence of model parameters on EEG/MEG single dipole source estimation.
IEEE Trans. Biomed. Eng., 1987, 34:421-429.
Sutherling, W. W., Crandall, P. H., Cahan, L. D. and Barth, D. S. The magnetic field of epileptic
spikes agrees with intracranial localizations in complex partial epilepsy. Neurology. 1988, 38,
778-86.
Sutherling, W. W., Barth, D.S. Neocortical propagation in temporal lobe spike foci on
magnetoencephalography and electroencephalography. Ann. Neurology, 1989, 25:373-381.
Sutherling, W. W., Levesque, M. F., Crandall, P. H. and Barth, D. S. Localization of partial
epilepsy using magnetic and electric measurements. Epilepsia. 1991, 32 Suppl 5:29-40.
Snyder, A. Z., Abdullaev, Y. G., Posner, M. I., and Raichle, M. E. (1995). Scalp electrical
potentials reflect regional cerebral blood flow responses during processing of written words.
Proc. Natl. Acad. Sci. USA, 92(5): 1689-1693.
Talairach, J. Tournoux, P. Co-planar stereotaxic atlas of the human brain. Thieme Medical
Publishers, New-York, 1988.
van den Elsen, P.A., Viergever, M.A., van Huffelen, A.C., van der Meij, W., Weineke, G.H.
Accurate matching of electromagnetic dipoles data with CT and MR images. Brain Topography,
1991, 3:425-432.
39
Fusion de données
Wang, J. Z., Williamson, S. J., and Kaufman, L. (1992). Magnetic source images determined by a
lead-field analysis: the unique minimum-norm least-squares estimation. IEEE Trans Biomed Eng,
39(7): 665-75.
Warach, S., Ives, J. R., Schlaug, G., Patel, M. R., Darby, D. G., Thangaraj, V., Edelman, R. R.,
and Schomer, D. L. (1996). EEG-triggered echo-planar functional MRI in epilepsy. Neurology,
47(July): 89-93.
West, J., Fittzpatrick, M., Wang, M.Y., Dawant, M.B., Maurer, C.R., Kessler, R.M., Maciunas,
R.J., Barillot, C., Lemoine, D., Collignon, A., Maes, F., Suetens, P., Vandermeulen, D., van den
Elsen, P., Hemler, P.F., Napel, T., Sumanaweera, T.S., Harkness, B., Hill, D.L.G., Studholme, C.,
Malandain, G., Pennec, X., Noz, M.E., Maguire, G.Q., Pollack, M., Pelizzari, C.A., Robb, R.A.,
Hanson, D., Woods, R.P. Comparison and evaluation of retrospective intermodality image
registration techniques. J. Comput. Assist. Tomograph., 1997, 21:554-566.
Yamamoto, T., Williamson, S.J., Kaufman, L., Nicholson, C. and Llinàs, R. Magnetic
Localization of neuronal activity in the human brain. Proc. Nat. Acad. Sci. (U.S.A.), 1988,
85:8732:8736.
40

Fusion de données

Transcription

Documents pareils

Le Trésor de Rackham le Rouge

Electroencéphalogramme

ELECTRO-ENCEPHALOGRAMME (EEG)

PhD / PostDoc en Neurosciences / Neuro-Cardiologie

télécharger le tableau en pdf

methodes de neuroimagerie - Université Grenoble Alpes

monitorage vidéo prolongé

votre enfant va avoir un eeg, que devez-vous savoir

tous responsables

Nouveaux outils 18-06-14