fusion de données

- fusion de données Fabrice Janez
O.N.E.R.A
UR « Image, Observation, Renseignement »
Introduction
Intérêt de la fusion
Accès à une information globale plus fiable et plus complète grâce à la
complémentarité et la redondance des informations délivrées par les sources
Meilleure “observabilité”
• Vision tout temps, de jour comme de nuit
• Plus grande capacité d’analyse de situations complexes => Ex (DRI): Robustesse face au
camouflage des cibles
• Complémentarité des prises de vue => Ex (DRI) : information plus complète sur une cible
• Estimation d’une grandeur => Ex (DRI) : estimation de la longueur et de l’orientation
d’une cible
Meilleure capacité discriminante
Plus grand nombre d’attributs
Apprentissage
Robustesse en cas de non-représentativité ou d’incomplétude de la base d’apprentissage
Richesse d’interprétation
Ex : infrarouge => détection d’activité
SAR => détection de zones industrielles
- Etat de l’art en fusion de données [Bloch2003] Isabelle BLOCH, Fusion d’informations en traitement du
signal et des images, Edition Lavoisier, 2003
Etat de l’art
- Architectures de fusion (système) - Centralisé Source 1
Fusion
et
décision
Source N
+ Solution optimale au sens de
l’information disponible
+ Possibilité de fusion à différents
niveaux d’information
- Décentralisé -
Source 1
Décision
locale
Source N
Décision
locale
Décision
globale
- Solution sous-optimale
+ Distribution de la charge de traitement
+ Robuste face à défaillance d’une
source
- flux important de données à
traiter selon le niveau
d’information considéré
Rq : architecture hybride
Etat de l’art
- Architectures de fusion (niveaux d’information) -
Fusion
« bas niveaux »
(pixel)
Fusion
primitives
Fusion
« haut niveaux »
(décisions)
- Solution sous-optimale
+ Distribution de la charge de traitement
+ Robuste face à défaillance d’une
source
+ Solution optimale
- Flux important de
données à traiter
- Nécessite un recalage précis
décentralisé
centralisé
Etat de l’art
- Architectures de fusion (suite) Choix de l’architecture de fusion
Considérations d’ordre « fonctionnel »
dépend de l’application traitée
Exemple :
En DRI extraction d’objets complexes (aéroports) => approche hiérarchique de
fusion [Michel & al 1995]
En fonction des contraintes systèmes
Exemples : temps réel, asynchronisme, imprécision de recalage, etc.
Décentralisé : adapté en cas de sources nombreuses et
délocalisées
Centralisé : nécessité d’une stratégie d’allocation de
ressources en cas de sources nombreuses=> requêtes
[Contat2002]
Etat de l’art
- Calibration géométrique Alignement spatio-temporelle des données
Données = images (+données auxiliaires), carte, MNT, etc.
En fusion, le besoin est essentiellement au niveau de la calibration géométrique,
surtout au niveau recalage => Repère géographique
Bon géoréférencement d’une image SAR si l’on connaît le MNT
- Dépend de la précision du maillage du MNT
- Biais sur les objets du sursol => corrigé si connaissance du MNE
Biais en translation en optique => nécessité de recaler à partir de points d’appuis
- Imprécision plus grande si correction automatique
Imprécision de recalage entre SAR et optique => à considérer dans les traitements
Rq : Autre possibilité par recalage inter-images (pas de géoréférencement) =>
difficile dans le cas du recalage SAR/optique
Etat de l’art
- Modélisation de la connaissance Les données
• les images => primitives extraites
• données contextuelles => météo, contexte géopolitique, etc.
• connaissance a priori => apprentissage, connaissance experte, carte, MNT, etc.
• Etc.
Caractéristiques
hétérogènes, incertaines, imprécises, incomplètes,
contradictoires, ambiguës, mal recalées
Cadre formel mathématique de modélisation et de traitement
de la connaissance
Théorie de Dempster-Shafer [Appriou2002]
Théorie des possibilités [Bloch2003]
Théorie des probabilités [Bloch2003]
Etat de l’art
- Décision Prendre une décision fiable
Extension à plus d’une hypothèse si nécessaire (ambiguïté)
Prise en compte d’une décision : « ne peut pas décider » et « rejet »
Qualifier une décision
Rebouclage sur les traitements en fonction des résultats
- Besoins et perspectives-
Besoins et perspectives
- Phénoménologie Compréhension fine de l’information délivrée par une source
• Pertinence de l’information délivrée par une source
• Complémentarité d’une source par rapport à une autre
Rq : dépend de la fonctionnalité envisagée
Exemple : détection ou reconnaissance
En SAR
• Forte complexité [CCT] => trajets multiples, repliement, etc
Exemple : 3D haute résolution pour site urbain [Simonetto2002]
• Beaucoup de paramètres dimensionnants [CCT]
Exemples : incidence, polarimétrie, bande, résolution, etc. [CCT]
En visible
• Influence de la position du soleil
• Sensibilité aux conditions atmosphériques
• Propriétés géométriques et physiques de la surface des objets
Besoins et perspectives
- Qualification de l’information Proposition de mesures de qualité associés à une décision
•
Décision = •
•
•
résultat d’extraction d’une primitive
résultat de détection ou reconnaissance ou identification
résultat d’extraction d’un bâtiment
etc.
Permet de calibrer le processus de fusion
Exemple : estimation d ’une grandeur
Proposer une carte qualité
Besoin surtout en mode automatique
Référence : en 3D [De JOINVILLE 2001 ]
Besoins et perspectives
- Qualification de l’information (illustration) Extraction n°1 : monoscopie
extraction isolé d’un
bâtiment à toit rectangulaire
extraction fractionnée
d’un bâtiment complexe
+ coefficients
de qualité
extractions multiples
d’un bâtiment à toit
rectangulaire
Extraction n°2 : stéréoscopie
+ coefficients
de qualité
fausses alarmes
Besoins et perspectives
- Qualification de l’information (illustration) Extraction n°1 : monoscopie
Fusion
+ coefficients
de qualité
Extraction n°2 : stéréoscopie
+ coefficients
de qualité
Besoins et perspectives
- Coopération SAR/optronique Prise en compte du SAR pour l’exploitation de
l’information visible ou vice versa
Extraction de primitives
Exemple : segmentation cible/fond en visible contrainte par la connaissance
des points brillants en SAR et extraction des points brillants
contrainte par la segmentation obtenue en visible=> stratégie
Aller et Retour
Allocation d’une ressource en fonction de sa
pertinence à traiter un problème
• En 3D => détection : SAR, planimétrie : visible [Tupin & Roux 2003]
• En DRI, extraction d’objets complexes (aéroports) => approche hiérarchique de
fusion [Michel & al 1995]
Besoins et perspectives
- Coopération SAR/optronique (illustration) Etape 1 : Détection
de pistes mono-mode
Détections SPOT Pa
(morphologie mathématique)
Détections SPOT Pa
(détecteur de contour)
Détections ERS
(filtre flou)
Besoins et perspectives
- Coopération SAR/optronique (illustration) Etape 2 : Fusion des
détections
Besoins et perspectives
- Coopération SAR/optronique (illustration) Etape 3 :
Confirmation d’une
détection
Besoins et perspectives
- Coopération SAR/optronique (illustration) Résultat final
Besoins et perspectives
- Dimensionnement Configuration la plus pertinente dans un cadre de fusion avec d’autres sources
Degré d’automaticité (impact de la fusion)
Configuration adaptée au niveau capteur dans un cadre de fusion avec
d’autres sources (choix de la bande, de la résolution, de l’incidence, etc.)
Architecture de fusion
A relier à l’analyse phénoménologique => paramètres dimensionnants
A relier à l’allocation de ressources => optimisation des ressources
pour répondre au mieux à un besoin en fonction des contraintes
systèmes et des paramètres dimensionnants
- Références bibliographiques -
Références bibliographiques
[Appriou2002]
A. APPRIOU, Discrimination multisignal par la théorie de l’Evidence, tiré de
l ’ouvrage « Reconnaisance des formes et décision en signal », Edition Hermès, 2002
[Bloch2003]
I. BLOCH, Fusion d’informations en traitement du signal et des images, Edition
Lavoisier, 2003
[CCT]
Centre Canadien de Télédétection, Tutorial en télédétection radar, document
téléchargeable sur www.ccrs.nrcan.gc.ca/ccrs/learn/tutorials/gsarcd
[Contat2002]
M. CONTAT, Etude de stratégies d ’allocation de ressources et fusion de données
multi-capteurs pour la classification, thèse de doctorat de l’université d’Orsay, 2002
[De Joinville2001]
O. DE JOINVILLE, Evaluation de la qualité d ’une cartographie urbaine 3D à
l ’aide d ’images aériennes à haute résolution, thèse de doctorat, IGN, 2001.
[Michel & al 1995]
A. MICHEL, L. BENQUET et Ph. CORNIC, Détection d ’objets complexes par
fusion d’informations : application à la détection d’aéoroports dans les images
satellitales, GRETSI, Juan-Les-Pins, 1995.
[Simonetto2002]
E. SIMONETTO, Extraction 3D de structures industrielles sur des images
RAMSES haute résolution par radargrammétrie, thèse de doctorat ENSTb, 2002
[Tupin & Roux2003]
F. TUPIN et M. ROUX, Detection of building outlines based on the fusion of SAR
and optical features, à paraître dans ISPRS 2003