Morphological Image Analysis for Urban Scene Modeling

Morphological Image Analysis for Urban Scene Modeling
Author : Jorge Eduardo Hernández Londoño
Advisor : Beatriz Marcotegui Iturmendi
Date : December 14, 2009
Institute : Centre de Morphologie Mathématique, Mines-ParisTech
Abstract :
Urban modeling allows the development of many applications such as : 3D navigation, urban planning, scene modeling for the entertainment industry , etc. The technological challenge is to increase
the productivity and the realism of urban modeling. This thesis is developed in the framework of Cap
Digital Business Cluster TerraNumerica project. The project aims at developing a production and
exploitation platform, by allowing the definition and visualization of synthetic urban scenes.
In this context, we are faced with segmentation problems of urban scenes. In a first part, we have
shown the ultimate opening benefits as a generic operator of segmentation. Then we have proposed
several improvements making it more robust to masking and leakage problems. The performance of
these improvements is illustrated in our study framework, scene-text detection and cell segmentation.
The second part is focused on façade analysis. Façade modeling is carried throughout a building
scope. However, during the image acquisition process, several buildings appear in the same image. We
propose an automatic method to separate different façades included in the image. Then, we focus on
the semantic extraction from the façade. It consists in segmenting it by floors, windows, balconies... to
provide a realistic building model.
The third part of this thesis is focused on point cloud analysis. In urban modeling, it is necessary
to introduce some elements such as street furniture and pavement. We present tools for the detection
and classification of artifacts. These tools allow : 1- the filtering-out of data in order to facilitate the
modeling process and 2- the re-introduction of some elements (lampposts, sign boards, bus stop, etc),
improving visual realism in the modeled scenes. We also propose an automatic method for pavement
segmentation.
Analyse Morphologique d’Images pour la Modélisation
d’Environnements Urbains
Auteur : Jorge Eduardo Hernández Londoño
Directrice de thèse : Beatriz Marcotegui Iturmendi
Date : le 14 décembre 2009
Institution : Centre de Morphologie Mathématique, Mines-ParisTech
Résumé :
La modélisation d’environnements urbains permet le développement de nombreuses applications
telles que : la navigation 3D, la planification des projets d’aménagement urbain et la création de
scénarii pour l’industrie du cinéma ou des jeux vidéo. L’enjeu technologique est de réduire le temps
nécessaire pour une modélisation réaliste et fidèle à la réalité. Cette thèse s’inscrit dans le cadre du
projet TerraNumerica, du pôle de compétitivité mondial Cap Digital, dont l’objectif est de développer une plateforme de production et d’exploitation d’environnements synthétiques urbains. Dans ce
contexte, nous sommes confrontés à des problèmes de segmentation de scènes urbaines.
Dans une première partie, nous avons montré l’intérêt de l’opérateur d’ouverture ultime en tant
qu’opérateur de segmentation générique. Ensuite nous avons proposé plusieurs améliorations qui le
rendent plus robuste à des problèmes de masquage et d’images floues. L’efficacité de ces améliorations
est démontrée non seulement dans le contexte de l’étude mais également dans le cadre de deux autres
applications : la localisation de texte enfoui et la segmentation de cellules.
La deuxième partie est consacrée à l’analyse de façades. La modélisation de celles-ci est réalisée
à l’échelle du bâtiment. Néanmoins, lors de l’acquisition, plusieurs bâtiments apparaissent dans une
même image. Nous proposons une méthode capable de séparer de manière automatique les différentes
façades contenues dans l’image. Ensuite, nous nous intéressons à l’extraction d’information sémantique
de la façade. Elle est ainsi segmentée en étages, travées, fenêtres afin d’alimenter un modèle de bâtiment
fidèle à la réalité.
Par ailleurs, nous disposons également de nuages de points issus de systèmes mobiles. La troisième
partie de cette thèse est consacrée à analyse des données tridimensionnelles. Les systèmes mobiles fournissent un flux continu de données. Nous proposons une méthode automatique pour segmenter ce flux
en bîlots, évitant d’une part les éventuels problèmes de mémoire et d’autre part permettant l’analyse
de données cohérentes, car l’îlot constitue une entité sémantique autour de laquelle se trouve le trottoir.
Pour une modélisation de la scène au niveau du sol, il est nécessaire d’introduire certains éléments du
mobilier urbain (lampadaires, panneaux de signalisation) ainsi que le trottoir. Nous présentons des outils pour la détection et la classification d’artefacts (tout objet autre que les façades et le sol). Ces outils
permettent le filtrage de données pour faciliter l’étape de modélisation et la réintroduction de certains
éléments, améliorant le réalisme visuel de la scène urbaine modélisée. Nous proposons également une
méthode automatique pour la segmentation du trottoir.