Peut-on comprendre le « réel » sans le « virtuel »

PRE-PRINT : BRUILLARD Éric (2004). Peut-on comprendre le « réel » sans le « virtuel ». L’exemple de la réalité
augmentée. Éducation Technologique, n° 24, Scérén et Delagrave, juin 2004, p. 22-24.
Peut-on comprendre le « réel » sans le « virtuel » ?
L’exemple de la réalité « augmentée »
Éric Bruillard
GREYC et IUFM de Basse-Normandie
[email protected]
Un exemple introductif
Imaginons une visite à une exposition de peintures. Nous pouvons nous laisser guider par
nos impressions en regardant les œuvres exposées sans nous intéresser à leur titre ou leur
auteur. Nous percevons les tableaux tels qu’ils sont mis en scène, sans autre information que
nos propres connaissances.
Pour « enrichir » notre exploration, nous pouvons lire les documents souvent proposés pour
les expositions ou un livre, choisi au préalable, nous fournira diverses explications
supplémentaires. Devant chaque tableau, à nous de rechercher les informations qui peuvent le
concerner. Si un audio-guide est proposé, on pourra, face à chaque œuvre munie d’un numéro
taper ce dernier sur le dispositif sonore et écouter la narration préparée à notre intention. Si
nous préférons suivre un guide humain, une personne organisera un itinéraire , nous offrira
tout au long des explications et répondra également aux questions que nous pourrions lui
poser. Certaines scénographies sont parfois proposées. Notre entrée dans une pièce est
détectée et déclenche un mécanisme plus ou moins compliqué : une bande sonore se déroule,
des éclairages guident notre regard, des événements se déclenchent…
Dans toutes les situations banales que nous venons d’évoquer, nous sommes dans le monde
réel. Pour nous permettre de mieux le comprendre ou l’apprécier, le monde matériel dans
lequel nous évoluons se double d’un monde informationnel auquel nous pouvons accéder par
le biais de technologies spécifiques, enrichissant notre vision.
Autre situation. Au lieu de nous déplacer pour voir l’exposition, on se procure son
catalogue. Sa lecture nous donne accès non aux œuvres mais à leur reproduction sur papier
dans un format réduit, dans un contexte riche en récits, explications, schémas… Un cédérom
ou un site web de l’exposition sont disponibles ? Il nous est alors possible de voir les
tableaux, via un écran, dans un environnement nous procurant divers points de vue : des
zooms sur des parties spécifiques, des mises en perspectives de plusieurs tableaux, des
animations illustrant la genèse de certains d’entre eux, etc. Nous ne pouvons voir les tableaux
eux-mêmes et leur version numérique n’en rend compte que très imparfaitement. Mais nous
avons des possibilités d’exploration dépassant ce qui est permis au cours d’une visite
« réelle ».
Dans cette dernière situation, maintenant tout aussi banale que les précédentes, nous ne
voyons pas de « vrais » tableaux et la « visite » est qualifiée de virtuelle.
Les deux modes de visite sont complémentaires : une visite virtuelle peut précéder la visite
réelle et/ou la prolonger. Nous pouvons même combiner les deux expériences en apportant un
dispositif informatique portable lors de notre promenade dans une exposition et passer du
tableau réel à sa présentation dans un contexte numérique.
La réalité augmentée : améliorer perception et capacités d’action
Ainsi, nous évoluons dans un monde depuis longtemps enrichi par la technologie. Soit en
nous projetant, en nous immergeant dans des représentations, domaine de la réalité virtuelle ;
soit en complétant notre expérience réelle, en intégrant un monde virtuel au monde matériel
afin d’interagir avec l’information directement dans le contexte de ce qui l’entoure. La réalité
augmentée vise ainsi à « améliorer » les objets du monde physique.
D’abord, améliorer notre perception de l’environnement réel, en y ajoutant des
informations. Le plus souvent elles sont visuelles : on superpose alors des images de synthèse
sur des images réelles ou vidéo. Mais elles peuvent être également auditives (certaines
voitures intègrent un dispositif qui produit un signal sonore dès que l’on recule trop près d’un
obstacle), olfactives ou tactiles. Historiquement, on peut considérer que les loupes,
microscopes, etc. participent de cette idée de réalité augmentée.
Améliorer aussi nos possibilités d’action, en fusionnant les capacités de traitements
informatiques et l’environnement physique : conserver notre expérience du monde réel et faire
acquérir aux objets une dimension informatique (sémiotique), en les dotant d’une capacité à
réagir non pas aux seuls phénomènes physiques auxquels ils sont soumis, mais aussi aux
informations qu’ils captent sur l’état de leur entourage.
Ce domaine est en plein développement, aussi n’est-il pas question ici d’en faire le tour1.
Les applications sont multiples. D’abord militaires, bien évidemment, ensuite médicales, dans
le contexte de la téléopération ainsi que tout ce qui concerne les manipulations en milieux
hostiles, les travaux coopératifs dans des domaines nécessitant la mobilité (par exemple,
l’architecture, Canals et al., 2002), etc. Nous allons ici nous contenter de présenter quelques
principes.
Un premier exemple déjà ancien, celui du digital desk ou bureau électronique (Wellner,
1993) donne une idée des potentialités offertes : interagir le plus naturellement possible avec
des documents numériques par l’intermédiaire d’une projection de ces éléments dans notre
monde réel. Alors qu’il est plus simple d’effacer, de modifier ou déplacer du texte dans un
éditeur de texte que sur papier, ce dernier est plus agréable à lire et à transporter. Mélanger
papier et électronique peut fournir une solution élégante.
La figure 1 en donne un schéma de fonctionnement. Une caméra vidéo détecte l’endroit
pointé par l’utilisateur, l’image des nombres est capturée puis reconnue et projetée sur la
surface du bureau. Ainsi, une colonne de nombres imprimés sur une page et pointée par
l’utilisateur est reconnue et introduite dans un tableur qui peut en calculer la somme.
L’utilisateur peut modifier les nombres et faire des calculs (Voir MacKay 98 pour d’autres
applications, augmentant le papier).
1
On pourra consulter les pages de Jim Vallino (http://www.se.rit.edu/~jrv/research/ar/), de Reinhold
Behringer (http://www.augmented-reality.org) ou de Raphaël Grasset (Augmented Reality Research Website,
http://www-artis.imag.fr/Members/Raphael.Grasset/AR/), ou des articles de synthèse : MacKay (1996, 1998),
Azuma (1997, 2001), Grasset et Gascuel (2003).
Figure 1. Principe de fonctionnement du digital desk
Figure 2. Cette photographie a été prise juste après que l’utilisateur ait sélectionné le nombre 4834
sur une feuille de papier. Ce nombre a été reconnu et introduit dans la calculatrice projetée
comme s’il avait été tapé (Wellner, 1993).
Mais si offrir des bureaux améliorés2 est certes intéressant, un des avantages est dans la
mobilité. Imaginons-nous face à une scène, contenant un ou plusieurs objets dont le modèle
est connu. En identifiant ces objets, il est possible de fournir des informations sur eux.
Par exemple, s’agissant de réparer un équipement complexe, on peut donner
automatiquement le nom de ses différentes parties. KARMA3 permet à un technicien de voir à
travers un miroir un diagramme se surimposant sur une imprimante (Feiner et al., 1993).
2
3
http://depts.washington.edu/dmachine/digitaldesk/projects.html : exemples de bureaux électroniques
http://www1.cs.columbia.edu/graphics/projects/karma/karma.html, Knowledge-Based Augmented Reality
for Maintenance Assistance
Figure 3. Mettre des feuilles dans le bac d’une imprimante : on peut « montrer » l’opération à effectuer.
Un dispositif mobile donnant accès à Internet tout en se déplaçant a ainsi été développé à
l’Université de Columbia. Muni d’une tablette de saisie, d’un stylet, d’une balise de
localisation et d’une paire de lunettes sur laquelle s’incrustent les informations, on peut
parcourir le site (réel et non web) de l’université et obtenir des informations sur un certain
nombre de monuments.
Figure 4. Une fenêtre fournit des informations sur l’objet sélectionné (Bell et al., 2003)
A condition d’une localisation suffisamment précise pour garantir la superposition exacte
du virtuel et du réel, on se déplace dans un monde enrichi par des informations virtuelles, en
quelque sorte projetées dessus (figure 4). Des lunettes de visualisation sont dotées d’une
surface semi-transparente. Le regard peut les traverser et on peut y incruster des informations
et des images (le mixage réel/virtuel se fait par l’œil de l’utilisateur).
Figure 5. Deux dispositifs optiques embarqués (miroir opaque ou miroir semi-transparent).
Images adaptées d’Azuma (1997)
On peut aussi avoir un miroir opaque sur lequel un moniteur projette une image virtuelle
préalablement traitée. Ainsi le projet Archeoguide4 devrait permettre aux touristes, munis d’un
tel dispositif de réalité augmentée, de découvrir un Parthénon reconstitué, de consulter dans le
4
http://archeoguide.intranet.gr/
détail la frise du fronton qui se trouve au British Museum, etc. En bref, d’admirer le
Parthénon tel qu’il était au temps des anciens grecs.
Figure 6. Le Parthénon reconstitué (projet Archeoguide)
On pourra accéder à de l’information en contexte selon sa position et son orientation avec
des aides à la navigation thématiques et personnalisées (selon la culture, la langue, l’âge, les
connaissances), voir en 3D les parties manquantes détruites… Ajouter des parties que l’on ne
peut plus voir est important, mais, dans d’autres cas, on peut souhaiter enlever un objet réel,
pour voir un objet qui se situait à la même place dans le passé. Il ne s’agit plus seulement
d’ajouter des informations mais d’enlever des objets, ce que l’on nomme réalité diminuée ou
réalité médiée (Azuma et al., 2001).
Figure 7. Le système pour voir le Parthénon (projet Archeoguide)
Quelques réflexions
Une vision un peu rapide du « virtuel » nous le fait associer à des mondes imaginaires,
coupés du monde physique, exerçant une fascination considérée parfois comme dangereuse.
Par certains côtés, l’absence d’implication du corps entraîne un manque d’engagement,
conduisant à une expérience factice…
Mais notre environnement combine un monde physique et un monde informationnel. Notre
compréhension, nos expériences se fondent sur notre perception de ces deux mondes
intimement reliés et les techniques de réalité augmentée cherchent à mieux les associer.
Ainsi, opposer réel et virtuel n’est sans doute plus très pertinent. Nos activités sont
instrumentées et s’inscrivent dans le monde tel qu’il s’organise. L’informatique, de plus en
plus disséminée5, conduit à se mouvoir dans des environnements rendant accessibles de
multiples informations, multipliant les formes possibles de traitement. Les environnements
informatiques grand public (incluant appareils de photographie ou caméras numériques,
scanner, imprimante, etc.) nous en offrent déjà beaucoup plus qu’un simple aperçu.
La question est alors bien de savoir, dans une perspective curriculaire, ce qui permettra aux
futurs citoyens d’acquérir les capacités nécessaires d’interprétation et de compréhension pour
piloter une technologie sans cesse plus envahissante, mais indispensable pour appréhender le
monde dans lequel nous vivons.
Références
Azuma, R. (1966). A Survey of Augmented Reality. Presence: Teleoperators and Virtual
Environments 6, 4 (August 1997), p. 355 – 385,
http://www.cs.unc.edu/~azuma/azuma_AR.html
Azuma R., Baillot Y., Behringer R., Feiner S., Julier S., and MacIntyre B. (2001). Recent
Advances in Augmented Reality, in IEEE Computer Graphics and Applications, vol. 21, n° 6,
November/December 2001, p. 34-47.
Bell B., Feiner S., Höllerer T. (2002). Information at a Glance in Wearable Augmented
Reality Systems, An extended version of B. Bell, S. Feiner, and T. Höllerer, “Information at a
Glance,” IEEE Computer Graphics and Applications, vol. 22, no. 4, July/August 2002, p. 6–9,
http://crestserver.aist-nara.ac.jp/crest/workshop/2003/03Feiner.pdf
Canals G., Nigay L., Pucheral P. (2002). Mobilité : accès aux données et interaction
homme-machine, http://sis.univ-tln.fr/gdri3/fichiers/assises2002/papers/06-Mobilite.pdf
Feiner S., MacIntyre B., Seligman D. (1993). Knowledge-based augmented reality.
Communications of the ACM, 36(7), p. 52–62, July 1993.
Grasset R., Gascuel J.D. (2003). Réalité augmentée et environnement collaboratif : un tour
d'horizon, AFIG '03 (Actes des 16e journées de l'Association Française d'Informatique
Graphique), décembre 2003, http://www-artis.imag.fr/Publications/2003/GG03/index.fr.html
Höllerer T., Feiner S., Pavlik J. (1999). Situated Documentaries: Embedding Multimedia
Presentations in the Real World, Proceedings of ISWC ’99 (International Symposium on
Wearable Computers), San Francisco, CA, October 18–19, 1999, p. 79–86
Mackay, W. (1996). Réalité Augmentée : le meilleur des deux mondes. La Recherche,
numéro spécial L'ordinateur au doigt et à l’œil. Vol. 284.
5
On parle d’informatique pervasive (du latin per-vadere, se répandre partout) ou ubiquitous computing pour
qualifier une informatique transparente, inscrite dans notre environnement accessible partout et en tout lieu à
l’aide de multiples périphériques.
Mackay, W. (1998) Augmented Reality: linking real and virtual worlds. In Proceedings of
ACM AVI '98, Conference on Advanced Visual Interfaces. L'Aquila, Italy: ACM. Keynote
address. p. 1-9.
Nigay L., Renevier P.,Pasqualetti L., Salembier P., Marchand T. (2002). Réalité
Augmentée en Situation Mobile et Collaborative,
www.fing.org/ref/upload/articleMAGIC_OC.doc
Wellner P. (1993). Interacting with paper on the DigitalDesk. Communications of the
ACM, 36(7), p. 87-96, July 1993.