Stéréoscopie

Un premier exemple complet
d’interaction homme/machine
afin de poser le problème …
Interaction entre un homme et un robot distant
via une liaison internet
I.1
31
Premier exemple: projet ARITI
[Otmane et al., 2000],
http://ariti.ibisc.univ-evry.fr/
Site esclave
Site maître
Internet
Un PC portable standard
Robot FANUC LRMate 200i, 6ddl
I.1
Plateforme EVR@, IBISC
32
Projet ARITI
[Otmane et al., 2000], http://ariti.ibisc.univ-evry.fr/
[Vidéo du projet ARITI]
I.1
33
Projet ARITI
[Otmane et al, 2000],
http://ariti.ibisc.univ-evry.fr/
• Intention (tâche):Téléopération de robots distants via Internet pour réaliser
des tâches de saisie/dépose d’objets avec contraintes de précision et
sécurité sur la tâche
• Environnement (site maître):
– un simple PC connecté à Internet
– une plateforme de Réalité Virtuelle
– transformation logicielle de l’action de la personne en commandes du robot
• Action:
– Clavier,souris
– Gestes de la main
• Perception (du site esclave):
– Vision monoscopique ou stéréoscopique du site esclave (robot)
– Retour d’effort
– Incrustations vidéos
I.1
34
Site esclave robotisé
I.1
- Robot FANUC LRMate 200i, 6ddl
- Pièces géométriques colorées à déplacer d’un socle à l’autre
- Deux Webcams (permet la vision stéréoscopique) surploimbant le robot
- PC serveur d’images relié aux Webcams, délivrant un flux stéréoscopique
- PC serveur de commandes pilotant le robot axe par axe
35
Plateforme de RV/RA EVR@
http://evra.ibisc.univ-evry.fr
Caractéristiques de EVR@:
Gestes naturels
et peu contraints
I.1
Système semi-immersif
Stéréoscopie active
Tracking de gestes
- caméras IR ARTTrack1
- système SPIDAR
Système à retour d’effort SPIDAR
3 PCs serveurs
- Tracking ART, SPIDAR, Graphique
36
Environnement logiciel
de EVR@: 3DVIA Virtools
I.1
Gère l’interactivité
- Communication avec les 3 serveurs de EVR@37
- Relation entre les actions de la Personne et leur conséquence
Relation entre geste de la personne
et mouvement du robot
I.1
[Vidéo de la manip avec un robot 4ddl]
Geste naturel de la personne et garantie de précision et de sécurité
sur le site esclave, grâce aux assistances visuelles et à la commande
du robot dues à la méthode d’interaction
38
En quoi a résidé la conception
« utile » d’ARITI?
• 1. Spécifier les actions élémentaires de la personne
pour réaliser la mission.
• 2. Définir les canaux perceptifs utiles.
• 3. Formaliser et coder sous Virtools la méthode
d’interaction, i.e. la relation entre le geste (ou
l’ordre symbolique) de la personne et sa
conséquence dans le monde virtuel.
• 4. Valider expérimentalement l’utilisabilité du
système obtenu et corriger les points 1,2 ou 3 si
besoin.
I.1
39
Un test de la validation expérimentale
d’ARITI
[Ouramdane, 2008]
[Vidéo]
I.1
40
Que nous apprend ce premier exemple
sur l’interaction homme/machine?
• Diversité des actions et modes perceptifs pour réaliser un
même objectif
• Choix de la méthode (technique) d’interaction très
important
• La mise en œuvre technique est rapidement complexe si
des outils adéquats ne sont pas utilisés
• Beaucoup de questions relevant des sciences cognitives
I.1
41
Plan du Cours
• I. De la Boucle Perception/Action dans un monde réel puis virtuel
1. Boucle perception/action chez l’homme, premiers exemples
2. Caractérisation des éléments clés de la boucle
perception/action en rapport avec la Réalité Virtuelle
42
Fondement de la notion d’interaction:
Boucle perception/action
chez l’homme
intention
Personne
action
perception
Machine
interaction
L’homme perçoit la réalité à travers l’action coordonnée
de ses organes sensori-moteurs.
I.2
43
Lorsque cette boucle perception-action
s’intègre dans un monde virtuel:
Naissance d’une « autre » réalité
• Une « autre » réalité naît de l’action
coordonnée des périphériques d’entrée
(Transfert de l’action des organes moteurs
de l’homme vers la machine) et des
périphériques de sortie (Transfert de
l’activité de la machine vers les organes
sensoriels de l’homme)
I.2
44
Une définition de la Réalité Virtuelle
[Fuch et al., 2006]
La finalité de la réalité virtuelle est de
permettre à une personne (ou plusieurs)
une activité sensori-motrice et cognitive
dans
un
monde
artificiel,
créé
numériquement, qui peut être imaginaire,
symbolique ou une simulation de certains
aspects du monde réel.
I.2
45
Une autre définition de la Réalité
Virtuelle
[Tisseau, 2001]
• La RV est un univers de modèles au sein
duquel tout se passe comme si les modèles
étaient réels parce qu’ils proposent
simultanément la triple médiation des sens,
de l’action et de l’esprit.
I.2
46
Conséquence: lien entre RV et interaction
Ces définitions de la RV intègrent très
fortement le fait que l’homme puisse
interagir avec le monde virtuel.
Cela est très différent, par exemple, de la
notion de simulation mathématique.
I.2
47
Exemple en biologie moléculaire:
interaction Homme/Chromosome
[Essabbah et al., 2009]
La configuration spatiale des molécules est soumise
à des contraintes.
I.2
La simulation permet de visualiser quelques résultats
à partir des équations
MAIS l’homme est hors-jeu dans ce processus.
48
Exemple en biologie moléculaire:
interaction Homme/Chromosome
[Essabbah et al., 2009]
[Vidéo]
I.2
L’interaction redonne sa place à l’homme
dans le choix des conformations correctes
pour lui.
49
Schéma générique de
communication Homme/Machine
adapté de [Bowman et al., 2005]
rendu physique
information perceptive
Périphériques
de sortie
analyse
I.2
rendu physique
Personne
intention
intention
action
Périphériques
IMMERSION
d’entrée
Machine
Réaction
programmée
action
50
signaux
Notion d’immersion
[Burkhardt et al., 2003]
L’immersion est l’exposition d’un
utilisateur à un environnement virtuel au
moyen de dispositifs occultant tout ou
partie du monde réel, pour afficher en lieu
et place un monde simulé numériquement.
I.2
51
Notion d’immersion
[Burkhardt et al., 2003]
Objectif:
Recréer les sensations du monde réel dans un
monde virtuel à partir des dispositifs dédiés.
• Stéréoscopie
• Retour d’effort
• Son 3D
• Etc.
I.2
52
Effets indésirables de
l’immersion
• Le cerveau anticipe au niveau de la boucle
perception/action interne à la personne
[Berthoz, 1997]
• S’il existe un petit décalage entre ce que le
cerveau anticipe et ce qui se passe
(incohérence), possibilité de mal du
simulateur.
I.2
Exemple classique: navigation dans un monde virtuel.
53
Notion d’autonomie
L’autonomie de la personne réside dans sa
capacité à coordonner ses perceptions et
ses actions au cours du processus de
l’interaction avec les autres entités.
[Ouramdane et al, 2009].
I.2
54
Présence et autonomie en réalité
virtuelle
[Tisseau, 2001]
I.2
Extrait de [Ouramdane, 2009]
55
Conséquence
• La personne doit être capable de
comprendre intuitivement et d’anticiper
l’action qu’elle produit sur le monde virtuel.
• Sinon, problèmes: la personne n’accepte pas
le système.
I.2
56
Résumé
• La création d’une méthode d’interaction (I3D) en
RV doit tenir compte de tous ces facteurs:
–
–
–
–
Besoin d’immersion
Besoin de Présence
Besoin d’autonomie
(Co-)Influence des actions, de la perception et de
l’environnement
afin de réaliser une tâche en RV/RA le mieux
possible.
I.2
57
Sens : passage du réel au virtuel
1- Stéréoscopie
2- Suivi de mouvements (tracking)
3- Retour d’effort (haptique)
I.2
58
1- Stéréoscopie et vision humaine dans
un environnement réel et virtuel
• Accommodation et disparité rétinienne
comme principe de la vision stéréoscopique
• Différents modes de stéréoscopie pour
générer des environnements virtuels 3D
– Stéréoscopie active
– Stéréoscopie passive anaglyphe
– Stéréoscopie passive par polarisation
I.2
59
Point de fixation et
dédoublement des images réelles
I.2
60
Convergence sur une scène réelle
I.2
61
Accommodation sur un objet réel
Le mécanisme d’accommodation se fait grâce à la
variation de convergence du cristallin.
Accommodation à l’infini
I.2
Accommodation à courte distance
62
Disparité rétinienne
I.2
La perception de la profondeur à partir de la disparité
rétinienne s’appelle la stéréoscopie.
63
La stéréoscopie est issue d’un
processus neurologique autonome.
La construction d’une image en relief n’est pas liée à
la perception d’un contenu en monoculaire
[Julesz, 1971]: Possibilité de perception du relief sans
Information monoculaire.
Impression de profondeur
I.2
64
Environnements virtuels
Deux images à générer
• Deux imager à créer, une pour chaque œil, puis affichées
sur un écran par projection.
• Parallaxe: distance entre deux points homologues sur les
deux images
Disparité rétinienne
perception de la profondeur
• Chaque œil perçoit une image similaire à une image réelle.
65
Environnements virtuels stéréoscopiques
Sensibilité au point de vue
P
Objet derrière l’écran
P
Pg Pd
Pg Pd
Og
Og
Od
Od
Pd Pg
P
Objet devant l’écran
Og
Od
La position P d’un objet dans le monde virtuel
varie suivant la position de l’utilisateur … et l’ordre de Pg et Pd.
66
Environnements virtuels stéréoscopiques
Rectification suivant le point de vue
P
P
Pg Pd
Pg Pd
Modification temps réel
de Pg et Pd
Og
Og
P
Pg
Pd
Od
Od
Pour garder une position fixe de l’objet virtuel, il faut que
la position et l’orientation de la tête doivent être trackées!
67
Og
Od
Environnements virtuels stéréoscopiques
Rectification suivant le point de vue
En règle générale, une unique personne peut avoir un rendu 3d
« parfait ».
68
Dispositif de la visualisation stéréoscopique active
Émetteur IR
Station de travail
Carte graphique 3D
type NVIDIA Quadro
Lunette 1
Coût environ 50€
I.2
…
Lunette n
69
Principe de la visualisation stéréoscopique active
A l’instant t: La station de travail envoie l’image gauche et un signal à l’émetteur
pour obturer l’œil droit des lunettes (cristaux liquides)
Les lunettes reçoivent l’information et l’interprètent via un circuit électronique
interne et une source d’énergie.
A l’instant t+1/2: La station de travail envoie l’image droite et un signal à
l’émetteur
pour obturer l’œil gauche des lunettes (cristaux liquides)
A chaque instant, le cerveau ne perçoit qu’une image
Comme les images gauche et droite sont légèrement décalées horizontalement et
persistance rétinienne, le cerveau reconstruit une image 3D nette.
I.2
70
Dispositif de visualisation stéréoscopique
passive anaglyphe
Projecteur monoscopique
PC standard
Lunette 1
Coût 1 à 5 €
I.2
…
Lunette n
Pas besoin de source
d’énergie.
71
Principe de visualisation stéréoscopique
passive anaglyphe
Utilisation de deux couleurs
complémentaires (ici rouge
et cyan=vert+bleu).
Deux images légèrement
décalées.
Distance inter images
I.2
Images RGB: extraction de la
composante R d’une part,
de la composante G+B
d’autre part.
Lunette filtre R (œil gauche)
et G+B (œil droit)
72
Dispositif de visualisation stéréoscopique
passive par polarisation
+Filtre polarisant
horizontal
+Filtre polarisant
vertical
Projecteurs monoscopiques
PC standard
+ synchronisation des 2 flux vidéo
Lunette polarisée (horizontal/vertical)
Coût environ 15 €
I.2
…
+ écran de projection
métallisé
Lunette n
Pas besoin de source
d’énergie.
73
Principe de visualisation stéréoscopique
passive par polarisation
Polarisation circulaire
[Vidéo polarisation horizontale/verticale]
I.2
74