LeapMotion Controller

Leap4Skywalker
Sommaire
Leap motion............................................................................................................................................. 2
Technologie ............................................................................................................................................. 2
Fonctionnement ...................................................................................................................................... 3
Langages utilisés ...................................................................................................................................... 3
Possibilités d’utilisation ........................................................................................................................... 4
Projet développé avec le LeapMotion..................................................................................................... 4
Imagination.............................................................................................................................................. 5
Technologies concurrentes ..................................................................................................................... 5
Limites ..................................................................................................................................................... 7
Applications ............................................................................................................................................. 8
1
Leap motion
Le Leap motion est un boîtier de dimension 80 mm sur 12,7 mm, qui se branche à un
ordinateur en USB. Son but est de reconnaître les mouvements des mains pour les transformer en
une action précise. Il s’agit donc d’un capteur qui permet de faire l’intermédiaire entre les gestes de
la main et l’ordinateur pour interpréter ces gestes et les transmettre à la machine.
Caractéristiques techniques :
Deux caméras monochromatiques
3 LEDS infrarouge
Synthétisation 3D des images 2D prisent par les deux caméras
Meilleure résolution et zone d'observation plus petite que Kinect (Kinect est plus dédié à tout
le corps)
Perturbé par les sources externes de lumière infrarouges
Précision spatiale de 0,01 mm
Technologie
Leap Motion est un périphérique de détection de mouvement des mains, crée en 2010 par
les co-fondateurs Michael Buckwald et David Holz.
Leap Motion se branche en USB sur un ordinateur, et s’adapte à tout type d’exploitation (Windows 78/MacOs). Pour utiliser le périphérique, il suffit de télécharger et d’installer le pilote adéquat.
Ce boîtier placé près de l’ordinateur, auquel il est branché en USB, permet de déterminer la position
des mains dans un rayon de 1 mètre avec une précision de 1/100ème mm rafraichie à la fréquence de
200 Hz (en comparaison à 30Hz pour le Kinect de Microsoft). L’objet en question est composé
intérieurement de deux caméras de 1,3 MP filmant vers le haut, les moindres gestes de la personne
se trouvant à moins d’un mètre. En réalité, le boîtier ne filme pas mais est doté de 3 LEDs qui leur
indiquent la position des mains de l’utilisateur dans son champ de vision. On dit que les caméras « ne
prennent pas d’image, mais servent à remonter les trames ».
2
Bien que le boîtier soit déjà en vente et proposé par des sites américains à un prix tout à fait
raisonnable (80 euros), il reste néanmoins un périphérique extérieur a la machine et requerra un
branchement sur le port USB afin de profiter de son utilisation. C’est pourquoi, Asus s’est associé
avec la société éponyme pour développer le principe et l’incorporer dans les ordinateurs portables et
claviers. Il en est de même pour Hewlett-Packard (HP).
Fonctionnement
Pour utiliser Leap Motion, il faut au préalable télécharger et installer AirSpace, qui n’est autre
que l’App Store de Leap Motion. L’App Store de Leap motion étant pauvre en application, l’on
retrouve néanmoins l’applicatif « Orientation », qui aura pour but de nous familiariser avec l’appareil
et d’en connaître ses limites. En théorie, le Leap motion a une capacité de reconnaissance de 4 mains
donc 20 doigts or en pratique, il devient difficile de pouvoir calculer la position des 4 mains. Il faut
également noter que la luminosité de la pièce dans laquelle on manipule Leap motion joue un rôle
important. En effet, plus la luminosité est faible, moins le capteur de détection des mouvements est
précis, étant donné qu’il ne travaille uniquement que sur ces 3 LEDs, sans l’appui de ces 2 caméras.
Langages utilisés
Les langages supportés par Leap motion sont : C, C++, C#, Python et Java.
(Cette partie est encore en développement dans un document séparé).
3
Possibilités d’utilisation
Les possibilités d’usage de cet appareil sont énormes mais reste limitées tant à son fonctionnement.
Un certain nombre d’exemples peuvent être cité :
-
Divertissement : dessin en 3D
Jeux : jouer à un jeu vidéo qui ait recourt aux gestes de la main (jeux à la 1ère personne)
Musique : jouer d’un instrument
Education : parcourir l’espace et découvrir les planètes
Multimédia : retrouver et visualiser ces photos et vidéos
Web : naviguer sur internet
Projet développé avec le LeapMotion
Cette nouvelle technologie proposée au grand publique depuis juillet 2013, est un exemple parfait
des efforts qui sont fait en termes d’innovation concernant les Interfaces Hommes Machines.
En cherchant un peu partout sur la toile, on peut constater qu’en juste quelques mois après sa sortie
de nombreux projets ont déjà été réalisés avec cet outil.
Quelques projets réalisés avec le Leap
1. Intégration du Leap à des ordinateurs portables HP
À l’époque où le Leap Motion commençait à enflammer la toile, Asus avait fait part de son intérêt
pour cette technologie, prévoyant même de l’intégrer dans certaines de ses machines. Étrangement,
ce n’est pas Asus qui sera le premier à le faire, mais HP. La marque présente aujourd’hui une
nouvelle version de son Envy 17 pouces qui a la particularité d’intégrer la fameuse interface. Du
coup, Leap Motion a revu légèrement le design de son contrôleur pour qu’il s’intègre mieux à
l’ordinateur portable. Il est ici plus allongé et moins épais. On ne sait pas en revanche si le « champ
de la vision » du Leap s’agrandit. Comme le dit HP, l’idée n’est pas de supplanter la souris ou l’écran
tactile (présent sur ce modèle d’ailleurs). La marque veut offrir aux utilisateurs une troisième
interface destinée principalement à manipuler les objets tridimensionnels.
Vous pouvez trouver une démonstration du HP ENVY LEAP SE sur le lien ci-dessous
http://www.youtube.com/watch?v=aWlX2yxcmHo
2. Contrôle de lampe robotisé avec la Leap Motion
Ce projet de Xavier Seignard consiste à contrôler une lampe motorisée via le Leap, une carte Arduino
et le langage de programmation serveur Nodejs.
L’idée est de brancher le Leap à un ordinateur qui est relié au Arduino (description sur le lien en
dessus) via le port série (passant par l’usb) et grâce à la super librairie johnny-five (disponible sur ce
4
lien https://github.com/rwaldron/johnny-five ) on fait communiquer l’ordinateur et l’Arduino en
JavaScript. Ensuite c’est l’Arduino qui contrôle la lampe.
Imagination
Dans cette rubrique, les idées innovantes en rapport avec Leap motion peuvent être évoquées.
Suggestion d’idées :
- enregistrer un certain nombre de gestes pour pouvoir manipuler son ordinateur
entièrement avec Leap motion (difficile et peut-être impossible avec le modèle actuel de
Leap motion mais peut être plus tard)
Technologies concurrentes
Il semblerait que le Leap motion fait face à des concurrents qui naissent également la même année
mais qui ne présente pas les mêmes aspects techniques et des emplois quelques peu différents.
Haptix de KickStarter
En effet, Haptix, via la plateforme de levée de fonds KickStarter, a dévoilé au monde son capteur
permettant de transformer toute surface en zone Multitouch. Contrairement au Leap motion, ce
dernier est clipsable et orienté vers le bas. Il dispose de 3 modes : souris, trackpad ou tactile. Il suffit
d’utiliser son index pour le déplacement du pointeur de la souris par exemple, du majeur pour le
clique droit et du pouce pour le clique gauche. Ce dernier, étant compatible avec Windows XP, Vista,
7 et 8 ainsi que sur Ubuntu. Le boîtier est composé également de 2 capteurs vidéos de résolution
640x360 relié à un microprocesseur qui effectuera le calcul. L’infrarouge n’étant réservé que pour
l’obscurité. La connectique est réalisée via un câble USB 2.0.
Voici le lien permettant de voir en vidéo, une démonstration des capacités de ce nouvel appareil.
http://www.kickstarter.com/projects/haptix/haptix-multitouch-reinvented
5
Myo de ThalmicLab
Myo, autre concurrent d’une ampleur redoutable, est un brassard électronique qui a pour but de
contrôler tout type de périphérique grâce à vos mouvements. Il est compatible PC ou Mac et
possèdera une API Android et iOS. Son mode de communication est le Bluetooth 4.0. La particularité
de cet appareil est qu’il contient des capteurs d’activités musculaires et des capteurs de mouvements
sur 6 axes.
Voici le lien de la vidéo illustrant des cas d’utilisations de Myo. L’article sur le site, évoque également
son intérêt, les similitudes vis-à-vis du Leap motion et son mode de fonctionnement. La vidéo illustre
également le pilotage d’un drone avec l’accessoire, ce qui semble être un dénouement intéressant à
étudier.
http://monleap.fr/1370-myo-concurrent-leap-motion/
AirStrike de LM3LABS (http://2.lm3labs.com/technologies-2/airstrike/)
AirStrike est plus destiné à un usage professionnel et à être par exemple utilisé dans des musées
pour des interactions avec les visiteurs.
Caractéristiques techniques :
- Fonctionne également sur le principe de la lumière infrarouge, qui est émise depuis une "grande
plaque". Beaucoup plus gourmand en terme d'espace occupé que le leap motion.
- Existe en deux tailles, 120x120cm et 96x96cm
- Peut être associé à un écran de n'importe quelle taille
- Repère les mouvements au dessus de la plaque émettrice
Kinect de Microsoft (http://www.xbox.com/fr-FR/Kinect)
Kinect est plus destiné au divertissement/grand public et au domaine du jeu video en particulier,
bien qu'il soit également compatible avec Windows.
- Composé d'une caméra RGB (contrôle par le mouvement), un détecteur de profondeur (basé sur
la lumière infrarouge), et d'un micro servant au contrôle vocal
- Distance recommandée de 1,8 mètres
Camboard nano de PMD Technologies
C’est une caméra 3D qui est aussi le plus petit capteur de mouvement au monde (37x30x25 mm),
6
capable de fournir un maximum de 90 images /s.
-USB 2.0
-Capteur utilisé : PMD PhotonICs 19k-S3 (même société)
(Détection d’objets, reconnaissance de gestes)
-SDK livré avec la caméra (Logiciel pour le traitement de données et visualisation)
-Principale utilisation : Intégration (Outil de développement pour les applications et gestuelle 3D)
-1 seul LED
-Champ de vision 90° x 68°
Camboard pico de PMD Technologies
(http://pmdtec.com/news_media/video/camboard_pico_s_form_factor.php)
Petite caméra intégrée dans un boitier de petite taille, son utilisation est plutôt pour une
intégration directe dans les All-In-One pc, et ordinateurs portables
-Frame rate : 100 fps
Capteur utilisé : Infineon 3d Image sensor
(http://www.infineon.com/cms/en/product/promopages/3D_Image_Sensor/index.html)
-peu d’informations disponibles,
Limites
Bien que ce nouveau produit nous fasse rentrer dans une nouvelle ère, il est cependant utile de
dénoncer ces inconvénients.
Tout d’abord, le Leap motion ne remplace en aucun cas le clavier et la souris mais est un outil
complémentaire à l’utilisation d’un ordinateur. De plus, d’après son utilisation par un certain nombre
de développeurs, l’appareil consomme beaucoup en ressources, ce qui devient un point essentiel à
ne pas négliger.
Après un certain temps de manipulation, il est également pertinent de noter que son
utilisateur ressentira de la fatigue à force de gesticuler les mains en l’air. Contrairement aux écrans
tactiles où l’objet est posé sur façade plate et les mains aussi. Autre point à aborder mais qui risque
de s’effacer, c’est le nombre d’applications dont dispose Leap motion dans leur boutique
d’application (AirSpace), certes faible à ce jour, mais qui est en pleine expansion.
7
Maintenant, au niveau de la zone de captation, celle-ci a une forme de cône. Si vous êtes trop
rapproché du Leap, vos mains sortiront de son champ et ne seront plus détectées. Et si vous êtes
trop haut, la détection faiblit et a quelques rates. Il faut donc être pilepoil dans ce cône virtuel
C’est que la communauté de développeurs autour du Leap Motion est encore trop réduite. Peu de
projets, peu de partage...
Forte Consommation de CPU, si l'on réduit sa consommation la précision diminue
Bibliothèque Open Source : https://github.com/openleap
Applications
8
BetterTouchTool
C’est une application qui permet de faire des actions grâce à des gestes personnalisés avec le
Leap. Contrairement à l’application Swish, elle est gratuite et vraiment fonctionnelle.
Démonstration : http://monleap.fr/2078-application-indispensable-leap-motion/
GameWave
C’est un utilitaire pour Leap Motion qui permet, comme BetterTouchTool, d’assigner des gestes à
des actions. Il est disponible sur Mac et PC.
Démonstration : http://monleap.fr/2149-game-wave-leap-motion/
http://monleap.fr/2227-million-applications-leap-motion/
9