Commander « par la pensée » avec les interfaces

« par la
pensée
avec les
»
interfaces
cerveau-
ordinateur ?
Anatole Lécuyer est directeur de recherche à l’Institut National
de Recherche en Informatique et en Automatique (Inria)1, dont
il est responsable de l’équipe Hybrid du centre de recherche de
Rennes. Spécialiste de la réalité virtuelle, ses principaux travaux
et recherches portent sur l’interaction en trois dimensions avec
les environnements virtuels, les interfaces haptiques et les interfaces cerveau-ordinateur, thème de ce chapitre. Il est impliqué
dans de nombreux programmes de recherche collaborative.
Il est éditeur associé à plusieurs revues dans ce domaine, et
membre du comité d’administration de l’Association Française
de Réalité Virtuelle.
Pour découvrir le domaine
de la réalité virtuelle et ses
technologies, entrons dans
la salle immersive appelée Immersia, toute dernière
génération de réalité virtuelle,
du Centre de Recherche de
Rennes (Figure 1A). L’une des
plus grandes au monde, elle
mesure dix mètres de large,
quatre mètres de haut, et
quasiment quatre mètres de
1. www.inria.fr
profondeur. On peut y être
immergé dans un monde 3D
en stéréoscopie2 avec un effet holographique saisissant.
Tout s’y passe comme si vous
aviez un écran de cinéma
en 3D en face, mais aussi à
droite, à gauche et sous vos
pieds, et vous voyez en relief
tout autour de vous.
2. Impression du relief dans des
images à deux dimensions.
D’après la conférence d’Anatole Lécuyer
Commander
Chimie et technologies de l’information
A
B
Figure 1
A) La salle immersive Immersia
(Inria/IRISA, Rennes) ; B) exemples
d’applications de la réalité
virtuelle : en médecine, dans la
conception industrielle, pour le
divertissement…
18
C
D
Il est de plus possible d’interagir avec cet environnement
virtuel, avec des interfaces à
retour d’effort3, c’est-à-dire à
retour tactile, pour sentir ou
toucher des objets virtuels,
avec du son spatialisé qui
accompagne.
pièces d’avions. Les technologies de réalité virtuelle permettent de réaliser des maquettes virtuelles en échelle
1 avant de passer sur des maquettes réelles. La Figure 1D
montre une application dans
le domaine du divertissement
Citons quelques applications
de la réalité virtuelle et de
ses technologies. La Figure 1B
donne un exemple en médecine, dans le domaine des
simulateurs médicaux, qui
permettent à des chirurgiens
de s’entraîner sur des patients
virtuels avant d’aller opérer
un patient réel. La Figure 1C
donne une application industrielle avec la simulation de
l’assemblage pour la conception d’automobiles ou de
On trouve encore bien d’autres
domaines d’applications tels
que la conception en architecture ou en urbanisme, avec la
visite de bâtiments virtuels,
ou encore la création artistique, notamment dans les
jeux vidéo. Il existe dès à présent de nombreuses manières
d’interagir avec ces mondes
virtuels.
3. Les interfaces à retour sensoriel ou retour d’effort permettent
de ressentir la position et les mouvements, les forces exercées (collisions, poids, viscosité), à l’aide
de capteurs proprioceptifs situés
dans les muscles et les tendons.
Ce chapitre porte sur les interfaces cerveau-ordinateur
(Figure 2F), mais mentionnons
qu’il existe de nombreuses
Le domaine de la réalité virtuelle donne lieu à plusieurs
axes de recherche par l’équipe
Hybrid de Rennes (Figure 2)4.
4. www.inria.fr/equipes/hybride
A
D
corps (Figure 2C). Ce dernier
type d’interface, illustré par le
dispositif JOYMAN, où le corps
est directement utilisé pour
interagir en se penchant vers
la droite, la gauche, en avant,
en arrière, permet de naviguer
facilement et simplement
C
B
Commander « par la pensée » avec les interfaces cerveau-ordinateur ?
autres manières d’interagir
avec un monde virtuel. On
peut par exemple interagir
avec ses yeux via une interface
visuelle (Figure 2A), avec ses
mains via l’interface haptique
(qui concerne la sensibilité
cutanée, Figure 2B), avec son
E
F
Figure 2
Exemples de recherche en réalité
virtuelle : le FlyVIZ (A), un siège
haptique (B), une interface de
locomotion JOYMAN (C), simulation
et interaction haptique avec
des liquides (D), interaction en
environnements collaboratifs (E) et
interface cerveau-ordinateur (F).
19
Chimie et technologies de l’information
dans le monde virtuel. Cette
application a été développée
et brevetée par notre équipe
de recherche ; elle peut être
utilisée dans le domaine de
la réhabilitation ou de la rééducation motrice, dans des
conditions contrôlées et sécurisées, pour ré-entraîner à la
posture ou travailler le sens
de l’équilibre. Notons qu’elle
peut aussi être utilisée pour
s’amuser à faire du ski virtuel.
Ces interfaces permettent
aussi de collaborer à distance (Figure 2E). On appelle
un système « CAVE » notre
espace immersif dédié à la
recherche dans le domaine de
la réalité virtuelle à Rennes.
Le CAVE de Rennes peut être
en interaction en temps réel
avec le CAVE d’une équipe
partenaire à Londres, avec
deux utilisateurs immergés
dans un monde virtuel utilisant un effet stéréoscopique,
c’est-à-dire avec des images
en relief sur l’écran (comme
au cinéma 3D) grâce à des lunettes. On peut ainsi travailler
en équipe à distance sur des
applications de visualisation
scientifiques, interagir sur
des données complexes en
interaction avec des données
scientifiques.
1
Les interfaces
cerveau-ordinateur
1.1. Le fonctionnement
Figure 3
20
Principe d’une interface cerveauordinateur ou Brain-Computer
Interface.
La particularité de l’interface
cerveau-ordinateur (« Brain
Computer Interface », BCI en
anglais) est que dans ce type
d’interaction, le sujet peut
rester immobile, totalement
statique, et l’interaction se
fait uniquement via l’activité
cérébrale. Une interface cerveau-ordinateur est donc un
système de communication,
de transmission d’informations, dans lequel les messages, les commandes ou les
informations sont envoyés
uniquement à partir de l’activité cérébrale (Figure 3).
Dans l’activité cérébrale,
c’est l’activité électrique qui
est utilisée ; elle correspond
aux échanges de courant électrique entre les neurones du
cerveau. Cette activité électrique neuronale varie selon
les régions du cerveau en
fonction de l’activité cognitive,
et selon les fonctions cognitives qui sont impliquées :
les courants et localisations
sont différents selon que l’on
utilise les aires visuelles, les
aires auditives ou les aires
motrices du cerveau.
Cette activité électrique est
mesurée à la surface du crâne
en utilisant les systèmes
d’électroencéphalographie
utilisés en médecine (EEG) :
ce sont des électrodes réparties sur la surface du crâne
avec un bonnet à électrodes.
Les signaux électriques enregistrés à la surface correspondent indirectement à ce
qui se passe à l’intérieur du
crâne dans l’activité électrique du cerveau.
1.2. Analyse de l’activité
cérébrale : signaux et
traitements des signaux EEG
La Figure 4 montre un exemple
de signaux obtenus par EEG,
selon les zones cérébrales
concernées. La Figure 4A
représente une tête, en vue
de dessus avec six électrodes
C3, C4, P3, P4, O1, O2, qui sont
C
50
C3 0
50
0
50
500
1000
1500
2000
2500
500
1000
1500
2000
2500
500
1000
1500
2000
2500
500
1000
1500
2000
2500
500
1000
1500
2000
2500
2000
2500
C4 0
A2
A1
C3
P3
O1
C4
50
0
50
P3 0
50
0
20
P4
P4 0
O2
20
0
20
B
O1 0
20
0
20
O2 0
Yeux ouverts
Yeux fermés
disposées au niveau des aires
corticales (C3, C4), pariétales
(P3, P4) et occipitales (O1, O2)
de la tête.
Sur la Figure 4B sont représentés les signaux électriques
EEG, enregistrés en temps
réel à la surface du crâne.
Sur les différentes zones,
on observe des différences
obser vables visuellement
en fonction des endroits où
l’on place les électrodes. Les
courants sont extrêmement
faibles (l’unité est le microvolt), et nécessitent un bon
amplificateur pour pouvoir les
observer.
La Figure 4C montre l’influence de l’ouverture et de
la fermeture des yeux sur
l’EEG. Les yeux sont ouverts
au début du tracé ; quand
les yeux se ferment, apparaît un phénomène oscillant
à 10 hertz, c’est-à-dire dix
fois par seconde sur le signal
électrique. Ce phénomène
sinusoïdal s’appelle l’onde
alpha. Ce type d’ondes a été
découvert dans les années
1930 par Hanz Berger. Elles
20
0
500
peuvent révéler un état de
relaxation.
1.3. Les différentes étapes
de la création d’une interface
cerveau-ordinateur
La Figure 5 donne les différentes étapes qui vont permettre d’utiliser les signaux
électriques résultant de l’activité cérébrale pour la réalisation d’une interface cerveauordinateur
La première étape est la mesure l’activité électrique du
cerveau, à partir des systèmes
EEG que nous venons de décrire. Il faut ensuite filtrer ces
signaux parasités par beaucoup
de bruits environnants, mais
aussi par des bruits provenant
de l’activité cérébrale. Puis on
se focalise sur une information
pertinente, c’est-à-dire que
l’on extrait de ces signaux très
complexes (issus parfois de
200 à 300 électrodes reparties
sur la surface du crâne) une
partie de signal ayant des caractéristiques pertinentes des
signaux émis par le cerveau,
1000
1500
Samples (250 per second)
Figure 4
Influence des zones cérébrales
concernées sur les tracés
électroencéphalographiques (EEG).
A) Disposition des électrodes à
la surface du crâne ; B) signaux
mesurés par les différentes
électrodes ; C) EEG enregistré lors
de l’ouverture/fermeture des yeux.
Commander « par la pensée » avec les interfaces cerveau-ordinateur ?
A
21
Chimie et technologies de l’information
6
1
Retour
sensoriel
Mesure de
l’activité cérébrale
2
Traduction en
une commande
4
Filtrage
3
Classification
Extraction de
caractéristiques
Figure 5
Étapes du fonctionnement d’une
interface cerveau-ordinateur.
22
5
comme par exemple la bande
de fréquence autour de 8 à
10 hertz du rythme alpha signalé précédemment, et l’on
se concentre sur cette information. Enregistrée en temps
réel, celle-ci est envoyée à
un algorithme de classification (c’est-à-dire un ensemble
d’opérations mathématiques et
d’instructions préalablement
mis au point), qui va permettre
d’identifier la classe d’activité cérébrale qui peut y être
associée. Par exemple, pour
le rythme alpha, s’il est très
élevé, un tel algorithme va
pouvoir détecter que le sujet
a peut-être les yeux fermés,
ou au contraire qu’il a les yeux
ouvert si le rythme alpha est
très bas.
On peut ainsi traiter d’autres
types d’activités cérébrales,
par exemple l’imagination de
mouvements. Selon que l’on
imagine un mouvement de la
main droite ou un mouvement
de la main gauche, deux zones
différentes du cortex moteur
sont activées : l’activation est
contra latéralisée, c’est-àdire qu’un mouvement imaginaire de la main droite active
le cortex moteur à gauche
et vice versa. On place donc
des électrodes à gauche et à
droite au sommet du crâne
et on enregistre les activités
cérébrales correspondantes,
puis on les classifie comme
précédemment grâce à un
algorithme, comme un mouvement imaginaire soit de la
main droite soit de la main
gauche.
Une fois que ces types d’activités cérébrales sont identifiés et classifiés, elles peuvent
être associés et traduites en
commandes pour l’ordinateur.
Par exemple l’imagination
de mouvements de la main
gauche ou de la main droite
peut être associée à la commande : bouger un curseur de
souris vers la gauche ou vers
la droite.
La dernière étape de la boucle
d’interaction est le retour
sensoriel vers l’utilisateur, qui
peut être visuel, auditif ou tactile. Il permet de vérifier que le
système a non seulement bien
détecté l’activité, mais aussi
compris qu’elle était associée
à un mouvement imaginaire
de la main à gauche ou à droite
(dans notre exemple). Cette
dernière étape est fondamentale pour entrer dans une
boucle d’apprentissage. En
effet, nous avons pu observer
que l’entrainement conduisait à un meilleur contrôle de
l’activité cérébrale ; mais pour
apprendre à mieux contrôler
progressivement son activité
cérébrale, un retour sensoriel
est indispensable.
1.4. Le vocabulaire mental
Quelle activité cérébrale
peut-on aujourd’hui détecter,
et à quel vocabulaire mental
arrive-t-on à l’associer pour
l’utiliser et interagir avec une
inter face cer veau-ordinateur ?
Ce vocabulaire est encore
limité à des tâches mentales
simples, faciles à expliquer et
à contrôler comme imaginer
un mouvement de la main
gauche ou de la main droite.
Il est aussi nécessaire que les
signaux électriques associés
à ces tâches soient relativement faciles à détecter dans
les EEG.
On classe les activités mentales en deux types, endogènes et exogènes.
1.4.1. Les activités mentales
endogènes
Prenons comme premier
exemple celui de la famille
des activités cérébrales dites
endogènes, c’est-à-dire celles
qui viennent du sujet, de l’utilisateur. On retrouve dans cette
famille le calcul mental, la rotation mentale de figures géométriques (comme imaginer
faire tourner un objet en 3D),
et également l’imagination
de mouvements. Le nombre
de tâches associées à cette
famille que l’on peut détecter dans les signaux EEG est
encore peu important (quatre
ou cinq tâches maximum).
Prenons l’exemple de l’activité cérébrale associée à
l’imagination de mouvements
Commander « par la pensée » avec les interfaces cerveau-ordinateur ?
Le « vocabulaire mental » utilisable et le nombre de commandes mentales restent
aujourd’hui encore relativement limités, et nécessitent
une implication, une motivation et une concentration
souvent très fortes du sujet
intervenant pour que les activités mentales et les tâches
mentales qui y sont associées
soient détectées dans les signaux EEG de la surface du
crâne.
des mains gauche et droite.
Les études montrent que
lorsque le sujet imagine un
mouvement de la main droite,
le cortex moteur est activé
à gauche, alors que pour un
mouvement de la main gauche
c’est le cortex moteur droit
qui s’allume. On peut réussir,
après un certain apprentissage du sujet, et en utilisant
des algorithmes de classification efficaces, à détecter
jusqu’à 90 à 95 % des mouvements imaginés mentalement. Malheureusement, plus
généralement on n’en détecte
encore que 60 à 70 %.
Les signaux électriques identifiés sont ensuite utilisés pour
interagir avec un ordinateur
comme on peut le voir sur la
Figure 6. Dans cet exemple, le
sujet est équipé d’un casque à
électrodes EEG, et les signaux
sont utilisés pour une application à un jeu de handball
où il faut envoyer la balle ou à
gauche ou à droite. Une flèche
rouge apparaît sur l’écran
qui indique au joueur de se
concentrer sur un mouvement
Figure 6
Jeu de handball en réalité
virtuelle basé sur l’imagination de
mouvements des mains droite et
gauche.
23
Chimie et technologies de l’information
de la main gauche ou droite
pour envoyer la balle dans
la direction correspondante.
L’image est stéréoscopique
et le joueur est équipé de lunettes adaptées.
1.4.2. Les activités mentales
exogènes
La seconde famille d’activités
mentales qui peut aujourd’hui
être utilisée et exploitée pour
des interfaces cerveau-ordinateur est celle des tâches
dites exogènes. Dans ce cas,
les activités mentales du sujet sont des réponses ou des
réflexes de son cerveau à des
stimulations extérieures (exogène = « de l’extérieur »). Le
sujet est stimulé, le plus souvent visuellement, mais également via d’autres modalités
sensorielles, et son cerveau
va réagir.
Dans l’exemple étudié ici, la
stimulation est visuelle, les
signaux cérébraux que l’on
retrouve après cette stimulation sont ce qu’on appelle
des « potentiels évoqués du
type SSVEP », que nous allons
expliquer dans ce qui suit.
24
Si le sujet observe un objet ou
un flash lumineux qui clignote
à une certaine fréquence, par
exemple de 7 hertz (7 fois
par seconde), quand on place
des électrodes sur la partie
arrière de son crâne, près de
ses aires visuelles, au-dessus
de son cortex visuel, et que
l’on analyse la fréquence des
ondes électriques émises par
son cerveau, on retrouve des
signaux de fréquence 7 hertz.
La fréquence des ondes lumineuses captées par l’œil est
donc passée via le nerf optique
dans le cortex visuel, et on la
retrouve dans l’activité électrique du cortex visuel que
l’on mesure via les électrodes.
Dans ce cas, sur l’EEG du cortex visuel de la Figure 7, on
peut voir clairement une forte
augmentation de la puissance
de la bande de fréquence
7 hertz. On y observe aussi
les fréquences harmoniques
à 14 et 21 hertz.
Ce signal peut donc ensuite
être utilisé pour concevoir des
interfaces cerveau-ordinateur
basées sur la réponse cérébrale à une stimulation extérieure modulée en fréquence.
Un exemple d’application
est donné par le jeu vidéo
« Mineshooter » développé
entre 2009 et 2013 par notre
équipe dans le cadre d’une recherche soutenue par l’Agence
Nationale de la Recherche
(ANR), en collaboration notamment avec la Société de
jeu vidéo UBISOFT (Figure 8).
Ce jeu vidéo est contrôlé par
l’activité cérébrale SSVEP
(« Steady State Visually Evoked
Potentials ») résultant d’une
stimulation visuelle (flashs).
Le joueur doit se concentrer
sur des cibles lumineuses qui
clignotent à trois fréquences
différentes, par exemple 5,
7 et 8 hertz. Si le joueur se
concentre sur l’une de ces
cibles, la fréquence correspondante se retrouve dans les
ondes émises par son cerveau,
et il peut à partir de ce signal
activer une commande vers
la cible qu’il regarde, par
exemple, dans le cas de notre
jeu inspiré du célèbre « Space
Invaders » : aller à gauche,
aller à droite et tirer sur une
vaisseau spatial ennemi.
L’entraînement permet assez
rapidement au joueur de bien
contrôler son activité mentale
et d’être efficace.
Stimulation visuelle exogène :
potentiels évoqués visuels et EEG
associé.
Figure 8
Jeu vidéo « Mineshooter » contrôlé
par l’activité cérébrale de type
SSVEP.
2
Applications et
enjeux des interfaces
cerveau-ordinateur
2.1. Applications
En dehors des applications
ludiques prises précédemment pour exemples dans les
deux grandes familles d’activités mentales, quelles sont les
applications possibles de ces
interfaces cerveau-ordinateur ?
Historiquement les applications de ces interfaces ont été
recherchées pour le domaine
du handicap, que ce soit pour
retrouver un moyen de communication pour des patients
paralysés prisonniers de leur
enveloppe corporelle, ou pour
retrouver une motricité avec
des fauteuils roulants, des
prothèses, des orthèses, pilotés par l’activité cérébrale,
et notamment celle des aires
motrices (Figure 9).
Aujourd’hui, il existe de nombreux prototypes dans cette
ligne de recherche ; quelques
systèmes sont même commercialis é s , not amment
des éditeurs de textes pilotés par l’activité cérébrale.
Des vidéos très impressionnantes sur des prototypes de
ce type sont consultables sur
Internet.
Commander « par la pensée » avec les interfaces cerveau-ordinateur ?
Figure 7
Le domaine du multimédia et
du divertissement, avec les
jeux vidéo ou la réalité virtuelle, s’est intéressé aux applications de cette nouvelle
manière d’interagir avec des
ordinateurs qui introduit une
manière de jouer, et une sensation de jeu différentes.
Mais la possibilité d’interagir
sans bouger, uniquement à
partir de l’activité cérébrale, a
aussi été utilisée pour contrôler une multitude d’objets tels
que des robots, des véhicules,
des téléphones portables,
etc., même si aujourd’hui on
est encore très loin des performances obtenues avec un
clavier ou une souris.
25
Chimie et technologies de l’information
Figure 9
Exemples d’applications des
interfaces cerveau-ordinateur :
pour le handicap (communication,
motricité), le multimédia (jeux,
réalité virtuelle) ou le contrôle
(robot, véhicule, téléphone).
26
2.2. Évolution du matériel
Deux types de systèmes sont
actuellement utilisés :
−− les systèmes non invasifs,
qui sont les systèmes précédemment présentés, utilisant
des électrodes posées à la
surface du crâne pour enregistrer les signaux électriques
(Figure 10) ;
−− les systèmes invasifs utilisés uniquement dans certains
cas et dans certains contextes,
notamment pour des patients
sévèrement paralysés, pour
lesquels les électrodes sont à
l’intérieur du crâne. Ces techniques ont déjà été utilisées
dans d’autres contextes, par
exemple pour la maladie de
Parkinson ou pour l’épilepsie.
Dans ce cas, l’objectif est de
mettre les capteurs (électrodes)
parfois très profondément à
l’intérieur du cerveau, au plus
près de l’activité électrique,
pour avoir moins de parasites,
moins de bruits que dans la
captation de l’activité électrique
à la surface du crâne. Les électrodes doivent alors résister à
un certain nombre de réactions
de l’organisme.
On utilise plus fréquemment
les systèmes non invasifs,
non implantés. La tendance
actuelle est d’augmenter le
nombre de capteurs, avec des
systèmes EEG pouvant aller
jusqu’à deux cents, parfois
cinq cents capteurs, c’est-àdire cinq cents électrodes réparties à la surface du crâne.
Une autre tendance, est
d’évoluer vers des systèmes
à électrodes sèches, alors que
Une autre évolution notable
depuis quatre ou cinq ans est
le développement des systèmes de casques grand public qui peuvent être achetés
directement sur Internet, qui
correspondent à un système
EEG conçu dans une optique
de jeux vidéo. Ces systèmes
sont un peu plus fragiles,
un peu moins configurables
qu’un casque médical, et la
qualité des signaux est moins
bonne. Cependant le prix de
ces casques est beaucoup
moins élevé (250 €) que celui
des casques médicaux – qui
peuvent coûter jusqu’à quinze,
vingt ou trente mille euros –,
et cela permet aujourd’hui
d’envisager la diffusion de
ces technologies vers le grand
public.
D’autres techniques d’analyse
de l’activité cérébrale sont en
cours d’exploration utilisant
d’autres types de capteurs
que ceux qui captent l’activité électrique du cerveau.
On utilise par exemple l’IRM,
l’imagerie par résonance
magnétique ou les techniques
de spectroscopie infrarouge.
Ces techniques s’intéressent
à la réponse hémodynamique,
c’est-à-dire résultant d’autres
changements (oxygénation et
désoxygénation) du cerveau,
qui sont révélatrices de manière indirecte de l’activité
cérébrale.
Figure 10
Évolution du matériel utilisé pour
les interfaces cerveau-ordinateur.
Commander « par la pensée » avec les interfaces cerveau-ordinateur ?
toutes les électrodes jusqu’à
présent sont utilisées avec du
gel pour assurer la conductivité et la bonne captation de
l’activité électrique. Quelques
systèmes à électrodes sèches
commencent à diffuser sur le
marché.
3
L’avenir des
interfaces cerveauordinateur : les défis
scientifiques
3.1. Les défis scientifiques
Il faut d’abord mieux connaître
le cerveau, mieux comprendre
son activité électrique pour
encore enrichir le vocabulaire mental. Ces travaux de
recherche en neurosciences
concernent l’électrophysiologie, la neurophysiologie5 et
5. L’électrophysiologie est l’étude
de l’activité bioélectrique des
tissus vivants, en particulier des
tissus nerveux et musculaires ; la
neurophysiologie est la discipline
qui étudie le fonctionnement des
éléments nerveux et de leurs
ensembles.
27
Chimie et technologies de l’information
aussi la neurochimie cérébrales.
Il faut ensuite améliorer les
capteurs, les électrodes, les
systèmes matériels, dont nous
avons vu quelques exemples,
pour les rendre plus efficaces,
moins encombrants, plus faciles à utiliser, et avec un ratio
signal sur bruit plus élevé. Ces
recherches concernent l’électronique et la microélectronique du système embarqué,
dans laquelle la chimie joue
elle aussi un rôle.
Il faut aussi améliorer l’identification et la classification
des signaux cérébraux , ce
qui nécessite des recherches
dans le domaine du traitement
du signal, pour mieux filtrer,
mieux extraire et mieux classifier les signaux électriques
du cerveau, car aujourd’hui
on arrive rarement à avoir des
systèmes qui reconnaissent
100 % du temps et 100 % des
fois la bonne activité cérébrale de l’utilisateur.
De plus, nous avons vu que
l’on ne sait encore récupérer
que deux, trois ou quatre commandes mentales, ce qui est
encore peu. Il faut concevoir
des systèmes intelligents, des
simulations, des robots, des
fauteuils roulants qui soient
eux-mêmes intelligents et
qui compenseront le faible
nombre de commandes mentales dont nous disposons.
Ces recherches relèvent
du domaine de l’interaction
homme-machine, pour rendre
aussi l’usage plus intelligent.
28
Enfin, il faut développer les
applications, notamment le
transfert vers les patients,
vers les utilisateurs qui en ont
réellement besoin, les personnes handicapées. Il faut
donc beaucoup de recherches
cliniques en collaboration
avec des médecins pour valider et transférer ces technologies vers le patient.
3.2. Les interfaces cerveauordinateur en France
Les projets dans le domaine
des interfaces cerveau-ordinateur en France ont commencé vers 2005, et notre
équipe de Rennes y a participé
activement.
Le premier projet collaboratif
sur les interfaces cerveauordinateur en France est le
programme OpenViBE que j’ai
piloté, qui a démarré en 2005
et qui s’est terminé en 2009.
Il portait sur l’application de
ces technologies à l’handicap
et l’assistance aux personnes
handicapées, et avait pour
objectif de déboucher sur un
logiciel « open source », libre
et gratuit pour la communauté
scientifique (Figure 11). Il rassemblait plusieurs équipes
p ar tenair e s , not amment
celles du CEA, de l’INSERM,
du GIPSA-Lab6, de Orange (à
l’époque France Télécom),
ainsi que l’association française contre les myopathies,
qui se sont associés pour la
première fois afin d’étudier
ces technologies de manière
collaborative.
Ce programme coopératif a
débouché sur la réalisation
d’un logiciel appelé OpenViBE,
devenu depuis un standard
mondial dans la communauté
scientifique C’est un des logiciels les plus utilisés dans ce
domaine, et c’est notre équipe
à l’Inria qui l’entretient et le
6. Grenoble Images Parole Signal
Automatique.
Utilisation du logiciel Open-ViBE.
développe pour la communauté scientifique internationale. Ce logiciel téléchargeable est en accès libre et
gratuit, et son utilisation ne
nécessite que de disposer d’un
casque à électrodes.
Il permet donc de démarrer
une activité scientifique dans
ce domaine. Il faut acquérir
des connaissances de base
relativement complexes, mais
il est possible de démarrer
avec les exemples d’OpenViBE, qui est un logiciel relativement simple à utiliser avec
une interface (Figure 12).
Le deuxième projet scientifique qui a pris le relais était
OpenViBE2, dont l’objectif était
de tester ces technologies
dans le domaine également
extrêmement contraint du jeu
vidéo. Ce programme associe
à nouveau l’Inria avec le CEA,
l’INSERM, le GIPSA-Lab, le
laboratoire CHART, CLARTE,
et cette fois des industriels
du jeu vidéo pour tester le potentiel de ces technologies. Il
s’agit d’Ubisoft, qui est l’un
des grands éditeurs mondiaux
et français du domaine, ainsi
que deux studios de développement de jeux vidéo : Black
Sheep Studio et Kylotonn
Games.
Commander « par la pensée » avec les interfaces cerveau-ordinateur ?
Figure 11
Dans ce contexte, nous avons
développé des jeux, d’abord
amusants puis des jeux sérieux, les « serious games »,
qui sont par fois des jeux
à vocation thérapeutique.
Par exemple nous avons
Figure 12
Interface graphique du logiciel
Open-ViBE.
29
Chimie et technologies de l’information
développé un jeu sérieux
pour soigner des enfants qui
souffrent de déficit attentionnel ou d’hyperactivité, syndrome bien connu des psychiatres et difficile à traiter
dans bien des cas.
Dans un autre contexte, pour
voir dans ce cas son dessin
animé, il lui faudra se concentrer et augmenter son rythme
cérébral dû à l’attention, sinon
le dessin animé est flouté et il
perdra la visibilité sur le film.
Dans ce dernier exemple,
nous utilisons des techniques
de « neurofeedback », c’est-àdire que l’activité cérébrale du
cerveau de l’enfant est captée
et ensuite utilisée pour entraîner l’enfant à corriger les activités à priori « anormales » de
son activité électrique cérébrale en temps réel.
À la fin de ce programme, nous
avons souhaité aller plus loin
dans l’évaluation clinique,
médicale de ces technologies.
Nous avons donc engagé un
programme transdisciplinaire
appelé HEMISFER (expérimenté à Rennes), où nous travaillons sur le neurofeedback et
la rééducation cérébrale. Des
médecins de réadaptation et
des psychiatres collaborent à ce
programme pour le tester sur
certains types de pathologies,
comme des déficiences motrices mais aussi des troubles
psychiatriques. L’utilisation de
la réalité virtuelle, de l’EEG,
de l’IRM et le neurofeedback
pour soigner ces déficiences
mentales et motrices, ainsi que
les troubles psychiatriques,
sont un grand défi du projet
HEMISFER à venir.
La Figure 13 montre comment
cela se passe : l’enfant équipé
d’un casque à électrodes est
immergé dans une classe
virtuelle (développée avec
CLARTE). Dans cette classe
virtuelle, l’enfant pratique un
certain nombre d’exercices
pour s’entraîner à se concentrer, et à développer son attention à travers quelques jeux.
Par exemple, ici il faut qu’il se
concentre ou développe son
rythme cérébral attentionnel
pour soulever des objets virtuels par la force de la pensée.
Figure 13
30
Classe virtuelle créée pour le
projet Open-ViBE2.
Il faut aussi mentionner qu’en
2012 a été créée la première
4
Des résultats récents
et des perspectives
d’avenir
4.1. Des interfaces cerveauordinateur multiutilisateurs
Un premier axe concerne la
possibilité de coupler des interfaces cerveau-ordinateur
entre elles, donc de connecter
les cerveaux de plusieurs personnes. La Figure 14 montre
une des toutes premières interfaces cerveau-ordinateur
multiutilisateurs, où plusieurs
utilisateurs connectés vont interagir ensemble avec leurs
cerveaux, dans une optique
soit de compétition soit de collaboration.
Par exemple deux utilisateurs
s’affrontent ici dans un « duel
Commander « par la pensée » avec les interfaces cerveau-ordinateur ?
start-up française pour développer ces technologies appelées « Mensia Technologies ».
Cette start-up travaille en
coopération avec le laboratoire Inria Rennes. Elle est localisée actuellement à l’Inria
Rennes ainsi qu’à l’hôpital la
Salpêtrière à Paris et l’Institut
du cerveau et de la moelle
épinière (ICM). Cette société
se focalise sur les principales
applications médicales et de
santé des interfaces cerveauordinateur, ainsi que de l’EEG
temps réel pour soigner des
troubles comme ceux du sommeil ou de l’attention.
mental », dans un jeu semblable à celui précédemment
présenté du « handball virtuel », où il faut aller marquer
des buts à gauche ou à droite.
Mais ici, on joue soit ensemble,
soit l’un contre l’autre. Quand
on joue l’un contre l’autre,
l’utilisateur de gauche doit
par exemple envoyer la balle à
gauche tandis que l’utilisateur
de droite doit l’envoyer à droite.
Il faut donc mobiliser l’imagination du mouvement de sa main
gauche ou de sa main droite en
fonction de la direction où l’on
veut tirer : un mouvement de
la main gauche vers la gauche
pour tirer à gauche, puis l’inverse pour la droite. Les deux
utilisateurs s’affrontent donc
mentalement.
4.2. L’interface cerveauordinateur comme outil
d’assistance
Un autre axe de développement présente de très belles
perspectives, celles de ne
plus utiliser l’interface cerveau-ordinateur pour piloter
un ordinateur directement,
mais d’exploiter l’activité du
cerveau pour l’utiliser de manière indirecte. Dans ce cas,
on va surveiller et mesurer le
cerveau, regarder son activité pour détecter des activités cérébrales qui seront par
exemple révélatrices d’une
charge cognitive très élevée,
Figure 14
Couplage des interfaces cerveauordinateur de deux utilisateurs
dans un jeu de handball virtuel.
Source : Bonnet L., Lotte F.,
Lécuyer A. (2013). Two Brains,
One Game: Design and Evaluation
of a Multi-User BCI Video Game
Based on Motor Imagery, IEEE
Transactions on Computational
Intelligence and AI in Games.
31
Chimie et technologies de l’information
Figure 15
Simulateur médical
« adaptatif » par interface cerveauordinateur.
Source : Lécuyer A., George
L., Marchal M. (2013). Toward
Adaptive VR Simulators
Combining Visual, Haptic,
and Brain-Computer Interfaces,
IEEE Computer Graphics
& Applications, 33(5) : 18-23.
ou d’une fatigue mentale, afin
d’en tenir compte et d’adapter l’interaction. Cette autre
direction de recherche sur
les interfaces cerveau-ordinateur dites « passives » ou
« implicites » est illustrée sur
la Figure 15, qui représente un
simulateur médical « adaptatif » pour des chirurgiens
qui vont s’entraîner sur des
gestes chirurgicaux, ici en
l’occurrence pour une biopsie.
Il faut chercher une tumeur
dans un foie avec une aiguille.
Dans ce cas, l’objectif est de
surveiller l’activité cérébrale
du chirurgien (l’apprenant), et
si une surcharge cognitive ou
une fatigue mentale est détectée, un système d’assistance
visuelle ou haptique est activé,
dans le cas présent un guidage pour faciliter la tâche de
l’utilisateur. Dès que la charge
cognitive redescend, l’assistance est désactivée. L’objectif
est de faciliter l’entraînement
en intégrant cette dimension
adaptative à un système de
formation. C’est une première
preuve de concept, publiée
cette année, de la possibilité
de monitorer l’activité du cerveau et l’utiliser en temps réel
dans un simulateur de formation en réalité virtuelle.
4.3. Immersion et réalité
virtuelle
32
On sait aujourd’hui que la
notion de retour sensoriel
est fondamentale dans les
systèmes d’interfaces cerveau-ordinateur, et qu’il faut
proposer des situations et du
retour sensoriel riches, porteurs d’informations et motivants pour le sujet, afin de lui
donner envie de continuer à
développer ses capacités de
contrôle cérébral.
Dans ce cadre, nous avons recréé, à l’échelle 1, dans notre
système immersif de Rennes
(Figure 1) une situation très ludique de la guerre des étoiles
inspirée du film L’Empire
contre-attaque (Figure 16). Dans
cette séquence, le héros Luke
Skywalker doit se concentrer,
mobiliser ses capacités télékinésiques, pour soulever un
vaisseau spatial par la force
de sa pensée. Le sujet est
immergé dans notre système
de réalité virtuelle stéréoscopique et doit se concentrer
pour soulever par la force de
sa pensée le vaisseau spatial à
l’échelle 1, crée par effet holographique. Le système dans
son ensemble est très immersif, avec d’autres personnages,
un cadre de marécages, avec
un son spatialisé. Le sujet est
équipé d’un casque portable
BlueTooth sans fil à seize électrodes, et sa tâche consiste à
se concentrer, ou dans certains modes à l’inverse à se
relaxer, afin de mobiliser de
façon contrôlée son énergie
pour soulever le vaisseau spatial virtuel.
Séquence de La Guerre des Étoiles dans la salle immersive de Rennes.
Source : Lécuyer A., George L., Marchal M. (2013). Toward Adaptive VR Simulators Combining Visual,
Haptic, and Brain-Computer Interfaces, IEEE Computer Graphics & Applications, 33(5) : 18-23.
Les interfaces cerveau-ordinateur,
au cœur de recherches à l’échelle
mondiale
Les technologies d’interfaces cerveau-ordinateur ne sont donc plus du domaine de la science
fiction. Il existe des prototypes impressionnants,
utilisant différents types d’activités cérébrales,
dans différents contextes applicatifs.
Il y a un vrai défi scientifique à relever, car
les systèmes ne sont pas encore complètement opérationnels. Si l’on prend comme
point de comparaison les systèmes de reconnaissance vocale qui aujourd’hui fonctionnent
pour la plupart très bien, on est a peu près à la
même étape du processus de développement
qu’avaient ces systèmes il y a vingt ou trente
ans, où un certain temps de calibration et d’entraînement était nécessaire, et où la performance n’était pas de 100 %.
Ce défi scientifique est pluridisciplinaire : il
fait intervenir les neurosciences (et la neuro­
chimie), l’électronique, le traitement du signal
et l’interaction homme-machine.
Commander « par la pensée » avec les interfaces cerveau-ordinateur ?
Figure 16
33
Chimie et technologies de l’information
34
Les domaines d’applications attendus sont très
nombreux : le domaine médical, le handicap,
la rééducation avec le neurofeedback, le multimédia et le contrôle d’engins variés.
Ce domaine de recherche est mondialement
extrêmement actif, particulièrement aux ÉtatsUnis, en Autriche, au Japon et de plus en plus
en France, où notamment le logiciel OPEN
VIBE fait figure de grand succès, et des projets
collaboratifs d’envergure se développent sur la
durée.