TIS-DTIM-2017-015 EVF Apprentissage pour le flot optique

www.onera.fr
PROPOSITION DE STAGE EN COURS D’ETUDES
Référence : TIS-DTIM-2017-015
(à rappeler dans toute correspondance)
Département/Dir./Serv. :
Traitement de l'Information et Modélisation
Responsable du stage : F. Champagnat, G.Le
Besnerais
Lieu :
PALAISEAU
Tél. :
01 80 38 65 61
Email. :
[email protected]
DESCRIPTION DU STAGE
Domaine d’étude :
Type de stage
Vision par ordinateur,
Fin d’études bac+5
Master 2 recherche
Bac+2 à bac+4
Intitulé : Apprentissage pour le flot optique multi-frame
Sujet :
Le stage porte sur le flot optique "multi-frame", c'est-à-dire l'estmation d'un modèle de déplacement dense
(en chaque pixel) sur une série d'images extraites d'une vidéo. Les applications concernent le traitement
vidéo, par exemple la reconstruction 3D d'objets déformables, la perception embarquée pour la navigation
robotique et la mesure par imagerie, notamment dans le domaine de l'étude des matériaux. Le cadre multiimage permet d'améliorer la qualité de l'estimation, il est de plus en plus employé dans le domaine de la
mesure [1] et aussi en vision par ordinateur, comme le montrent les sites de benchmark de flot optique
(Univ. Middlebury, kitti dataset).
Il existe depuis le début des années 2000 des travaux montrant que les trajectoires de points suivis sur
plusieurs images appartiennent à une sous-variété, c'est à dire peuvent s'exprimer comme une
combinaison linéaire d'un nombre relativement réduit de modèles temporels [2]. Plus récemment, [3]
propose d'apprendre ces modèles temporels sur le suivi de quelques points caractéristiques pour les
utiliser ensuite dans une approche d'estimation dense de type Horn et Schunck.
L'objectif du stage est de reprendre cette démarche apprentissage/flot avec des outils différents de ceux
de [3]. D'une part concernant la méthode d'estimation dense, pour laquelle on s'oriente vers des
algorithmes de type Kucas-Kanade dense sur lesquels l'équipe possède une forte expertise, notamment
sur des versions très rapides et implémentées sur GPU [4]. D'autre part sur la partie apprentissage des
modèles temporels, pour laquelle le contexte a beaucoup évolué depuis quelques années avec les
méthodes de deep learning, qui ont connu un intense développement en vision, et commencent à être
utilisées notamment sur des problématiques bas niveau comme le calcul du flot optique.
Le stage est centré sur le développement de nouvelles solutions algorithmiques efficaces, implémentées
en Matlab ou Python. Ces développements seront validés sur des séquences réelles, issues de plusieurs
contextes, notamment la perception embarquée pour la robotique, la cartographie précise de zone par
vision et la mesure de déformation en étude des matériaux.
[1] R. Yegavian et al. Lucas-Kanade Fluid Trajectories for time-resolved PIV, Int. Symp. PIV, Santa
Barbara (Cal., USA), 2015
[2] Irani, M.: Multi-frame correspondence estimation using subspace constraints. Int. J. Comput. Vision 48,
2002.
[3] R. Garg et al., Dense Multi-frame Optic Flow for Non-rigid Objects Using Subspace Constraints, ACCV
2011.
[4] Plyer, A. et al., Massively parallel Lucas Kanade optical flow for real-time video processing applications.
Journal of Real-Time Image Processing, 11(4), 2014
Est-il possible d'envisager un travail en binôme ?
Méthodes à mettre en oeuvre :
Non
Recherche théorique
Travail de synthèse
Recherche appliquée
Travail de documentation
Recherche expérimentale
Participation à une réalisation
Possibilité de prolongation en thèse :
Durée du stage :
Oui
Minimum : 5 mois
Maximum : 6 mois
Période souhaitée : 6 mois
PROFIL DU STAGIAIRE
Connaissances et niveau requis :
Ecoles ou établissements souhaités :
Bases de vision par ordinateur
M2 ou école d'ingénieur
Machine learning
DRH/RSPG/octobre 2012