Immersion spatiale dans un monde virtuel pour la mise au point de

Immersion spatiale dans un monde virtuel
pour la mise au point de dispositifs de
substitution sensorielle
Sujet de stage de
Master 2 et/ou
fin d’étude ingénieur
2016-2017
Contexte scientifique
La substitution sensorielle vise à compenser les déficiences d’un sens en transmettant via un autre sens, fonctionnel, tout ou une partie des informations qu’il ne permet plus de percevoir. Le dispositif de substitution sensorielle (SSD) AdViS, pour Adaptive Visual Substitution, sur lequel nous travaillons a pour finalité de faciliter
la navigation des déficients visuels en transformant des données spatiales venant d’une caméra de profondeur,
R en informations sonores [1].
e.g. caméra X-tion,
AdViS est issu d’un projet interdisciplinaire soutenu par le LabEx PERSYVAL-Lab alliant traitement du signal et de l’image, perception visuelle, architectures logicielles et matérielles, neurosciences et psychophysique.
Il implique le GIPSA-Lab (équipe AGPIG, Architecture Géométrie Perception Images et Gestes) et le LPNC
(équipe PSM, Perception et Sensori-Motricité).
Sujet
Le développement d’un SSD prototype et son utilisation en environnement réel pour l’évaluation d’une stratégie
de substitution soulèvent certaines difficultés, par exemple:
• l’acquisition de la modalité sensorielle substituée est entachée des défauts des capteurs,
• son évaluation ne peut se faire qu’après avoir construit un prototype complet,
• l’utilisateur est immergé dans une scène réelle complexe.
Pour lever certains de ces verrous, nous proposons d’utiliser le dispositif de capture de mouvement VICON
[2] disponible au GIPSA-Lab pour immerger spatialement un utilisateur dans une scène 3D virtuelle qu’il
percevra par l’ouïe au travers d’AdViS. Le stagiaire aura à réaliser les études et développements logiciels permettant cette immersion. Il réfléchira et réalisera également des expérimentations permettant de valider l’apport
de ce nouvel outil.
Ce travail se déroulera dans un contexte interdisciplinaire: le stagiaire interagira en collaboration occasionnelle
ou soutenue avec des étudiants en sciences cognitives. Tout particulièrement, le volet expérimental du travail
de stage sera guidé par les réflexions du groupe de travail AdViS. L’objectif est d’aboutir à la définition de
protocoles expérimentaux permettant de réaliser des tests sur l’humain avec l’outil développé.
Mots Clefs Substitution sensorielle, capture de mouvement, réalité virtuelle, modélisation 3D, développement
en langage C++ sous Linux.
Compétences requises Connaissance du C++ et du système Linux, traitement du signal et des images.
Contacts
Encadrant
Co-encadrant
Co-encadrant
Sylvain Huet
Denis Pellerin
Christian Graff
GIPSA-Lab
GIPSA-Lab
LPNC
04.76.57.43.62
04.76.57.43.69
04.56.52.85.09
[email protected]
[email protected]
[email protected]
References
[1] C. Stoll, R. Palluel-Germain, V. Fristot, D. Pellerin, D. Alleysson, and C. Graff, “Navigating from a depth image
converted into sound,” Applied Bionics and Biomechanics, vol. 2015, p. ID 543492, 2015. 9 pages.
[2] “Vicon.” http://www.vicon.com/. Accessed: 2016-20-01.