Apports de la morphologie mathématique couleur au filtrage

Transcription

Apports de la morphologie mathématique couleur au filtrage
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Apports de la morphologie mathématique couleur
au ltrage et à la segmentation
Jesús Angulo
; http://cmm.ensmp.fr/∼angulo
[email protected]
Centre de Morphologie Mathématique - Ecole des Mines de Paris
35, rue Saint-Honoré, 77305 Fontainebleau cedex - France
Ecole d'Hiver de l'Image Numérique Couleur (EHINC'07)
Poitiers, 9-11 Janvier 2007
1 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Plan
1
Introduction
2
Notions de base
3
Opérateurs morphologiques de ltrage couleur
4
Segmentation morphologique couleur
5
Applications en microscopie biomédicale
6
Conclusions et perspectives
2 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Introduction
1
Introduction
2
Notions de base
3
Opérateurs morphologiques de ltrage couleur
4
Segmentation morphologique couleur
5
Applications en microscopie biomédicale
6
Conclusions et perspectives
3 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Introduction
Morphologie mathématique et images couleur
Motivation
morphologie mathématique dispose d'un grand nombre d'opérateurs
et d'algorithmes pour le ltrage et la segmentation des images à
niveaux de gris
extension de ces opérateurs aux images couleur n'est ni directe (dans
le sens d'unique) ni triviale
Objectif
aperçu précis et relativement exhaustif sur l'extension de la
morphologie mathématique aux images couleur
opérateurs couleur améliorent la qualité des traitements multivariés
par rapport aux équivalents à niveaux de gris
4 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Introduction
Organisation du cours en trois parties
Notions de base espaces de représentation des images couleur, treillis des
images couleur, distances couleur.
Filtrage morphologique couleur ordres vectoriels, dilatation/érosion
couleur et opérateurs couleur dérivés, ordres totaux des
couleur par cascades lexicographiques ou par distance à
une référence, opérateurs marginaux et combinaison en
LSH.
Segmentation morphologique couleur segmentation marginale en LSH et
combinaison contrôlée par la saturation, segmentation par
LPE avec des gradients couleur, des éléments additionnels
pour améliorer les segmentations.
5 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
1
Introduction
2
Notions de base
3
Opérateurs morphologiques de ltrage couleur
4
Segmentation morphologique couleur
5
Applications en microscopie biomédicale
6
Conclusions et perspectives
6 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Espaces de représentation des images couleur : RGB
Rouge, Vert, Bleu (RGB), f = (f , f , f ) :
Représentation informatique des images couleur.
Quelques inconvénients : composantes fortement corrélées, non
uniformité, diculté d'interprétation humaine, etc.
R
f
fR
G
B
fG
fB
7 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Espaces de représentation des images couleur : LSH
Luminance, Saturation et Teinte (LSH), f = (f , f , f ) :
Représentation géométrique en coordonnées polaires dérivée de RGB.
Séparation de l'information chromatique/achromatique et
interprétation humaine facile.
Très intéressante pour les traitements morphologiques si la
formulation est correcte.
Le système HLS est le triplet lum/sat/hue le plus utilisé en
traitement d'image. Mais malgré sa popularité, la représentation
HLS donne souvent des résultats insusants, pour le traitement
quantitatif au moins : ses expressions de luminance et de saturation
ne sont pas des normes ; ainsi pour les valeurs moyennes ou pour le
calcul de distances, les résultats sont faux ; par ailleurs ces deux
composantes ne sont pas indépendantes.
L
S
H
8 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Espaces de représentation des images couleur : LSH
Les inconvénients du système de HLS peuvent être surmontés par
diverses représentations alternatives, selon diérentes normes
employées pour dénir la luminance et la saturation.
LSH en norme L1
= 31(max + med + min)
3 (max − l ) si l ≥ med
s =
32 (l − min)
si l ≤ med 
2 1


λ max +min−2med
−
(−
1
)
h = k λ +
2
2s




l
où max , med et min sont le maximum, le médian et le minimum du point
couleur (r , g , b) ∈ [0, 1] × [0, 1] × [0, 1], k est l'unité de l'angle (π/3 pour
radians et 42 pour 256 niveaux de gris) et λ = 0, si r > g ≥ b ;
1, si g ≥ r > b ; 2, si g > b ≥ r ; 3, si b ≥ g > r ; 4, si b > r ≥ g ;
5, si r ≥ b > g permet de changer vers le secteur couleur correspondant.
9 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Espaces de représentation des images couleur : LSH
Pour chaque pixel :
la luminance représente la quantité totale d'intensité de lumière,
la saturation représente une mesure de pureté de la couleur,
la teinte un index représentant la longueur d'onde dominante
(couleur perçue) de la lumière.
f
fL
fS
fH
10 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Espaces de représentation des images couleur : L*a*b*
L*a*b*, f = (f ∗ , f ∗ , f ∗ ) :
Une des représentations standard en colorimétrie.
Le principal avantage de l'espace L*a*b* est qu'il est
perceptuellement uniforme : des diérences de couleur reconnues
comme égales pour l'oeil correspondent à des distances Euclidiennes
égales.
Cependant, la transformation de l'espace RGB vers l'espace L*a*b*
est faite en passant d'abord par l'espace XYZ, et ensuite vers
L*a*b*. Et pour pouvoir spécier complètement la transformation
RGB → XYZ , il faut connaître les coordonnées des stimili primaires
et le blanc de référence de l'illuminant.
Dans la plupart des situations, il faut faire des hypothèses puisque
ces informations ne sont pas accessibles.
L
a
b
11 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Espaces de représentation des images couleur : L*a*b*
Pour rappel, les équations de changement d'espace de XYZ vers
L*a*b* sont :
XYZ vers L*a*b*

















1/ 3
− 16 si
116 n
∗
L =
 903.3
si
i
h n
∗
−f
a = 500 f
h n
n i
∗
b = 200 f
−
f
n
n
Y
Y
Y
Y
X
X
Y
Y
Y
Y
Z
Z
1/3
Y
Y
> 0.008856
Y
Y
≤ 0.008856
n
n
16
où f ααn = ααn
si ααn > 0.008856 et f ααn = 7.787 ααn + 116
si ααn ≤ 0.008856. Le symbole α représente X , Y ou Z , celles-ci étant les
valeurs tri-stimuli de l'échantillon et X , Y et Z celles d'un blanc de
référence spécique qui peuvent être obtenues en mettant le point
(r , g , b ) = (1, 1, 1).
n
n
n
12 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Espaces de représentation des images couleur : L*a*b*
L'espace L*a*b* est basé sur le modèle des couleurs opposées.
La variable L* mesure la luminance (l'opposition noir-blanc) par une
valeur entre 0 (noir) et 100 (blanc).
La variable a* mesure l'opposition rouge-vert par une valeur entre
-100 et +100, a* est donc positive si la couleur contient du rouge,
négative si la couleur contient du vert et nulle si elle ne contient
aucun des deux.
La variable b* mesure l'opposition jaune-bleu par une valeur entre
-100 et +100, b* est positive si la couleur contient du jaune,
négative si la couleur contient du bleu et nulle si elle ne contient
aucun des deux.
f
fL∗
fa∗
fb∗
13 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Treillis des images couleur
Image a niveaux de gris : f (x ) : E → T , E ⊂ Z2 est le support de
l'image (x ∈ E ), T = {t , t + 1, · · · , t } (en général T ⊂ Z
ou R) est un ensemble ordonné de niveaux de gris, i.e. treillis
complet totalement ordonné. f ∈ F(E , T ).
Image couleur en LSH : f (x ) = (f (x ), f (x ), f (x )) : E → T ,
f ∈ F(E , [T ⊗ T ⊗ T ]) ou F(E , T ). De manière similaire pour
les représentations RGB, F(E , T ), ou L*a*b, F(E , T ∗ ∗ ∗ ).
Pixel couleur : c ∈ T ⇔ c = {(l , s , h ) ;
l ∈ T , s ∈ T , h ∈ T }).
Les ensembles T , T , T sont des treillis complet totalement
ordonnés. Ceux de la luminance et la saturation, T et T , aussi
(ainsi comme les ensembles associés aux composantes de L*a*b*).
min
min
max
L
l
s
S
lsh
h
lsh
H
rgb
lsh
i
i
l
i
s
i
i
i
h
i
r
i
L a b
g
b
l
s
14 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Treillis des images couleur
T : Cas particulier de la teinte (fonction sur le cercle unité, donc
sans ordre), h : E → C .
Distance angulaire pour h
|h −h |
si
| h − h |≤ 180
h ÷h =
360 − | h − h | si | h − h |> 180
h
i
i
j
j
o
i
i
j
j
i
j
o
o
Après xer une origine pour les teintes h0 (couleur de référence) :
fonction de teinte h0 -centrée en calculant f (x ) ÷ h0 , sur laquelle est
dénie un ordre partiel (qui peut être total pour avoir le treillis
T ÷ 0 ).
Ordre de la teinte ≤ 0
H
h
h
h
hi
K
≤h0
hj
⇔
(θ) = θ + 2k π
(hi ÷ h0 ) > (hj ÷ h0 )
(hi ÷ h0 ) = (hj ÷ h0 )
ou
et
(
K hi
− h0 ) ≥ 180o
15 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Distances couleur
Notation
Soit c = (c , c , c ) le point couleur k dans une représentation
couleur générique UVW. La distance entre deux points couleur i et j
selon une métrique particulière ∆ est notée ||c − c ||∆ .
U
k
k
V
k
W
k
i
j
UVW
Métriques de Minkowski
dL
(ci , cj ) =
3
X
n=
1
!1/L
n
ci
|
−
n L
cj
|
= ||ci − cj ||L ,
e.g., ||c − c ||2 = (c − c )2 + (c − c )2 + (c − c )2 .
L2 dans l'espace L*a*b* est particulièrement intéressante car elle donne
la distance perceptuelle entre deux couleurs.
i
j
RGB
q
R
i
R
j
G
i
G
j
B
i
B
j
16 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Notions de base
Distances couleur
Distance de Mahalanobis (simpliée)
Permet d'introduire des poids (ω1 , ω2 , ω3 ) pour U, V and W, i.e.,
||ci − cj ||UVW
= ω1 (ciU − cjU )2 + ω2 (ciV − cjV )2 + ω3 (ciW − cjW )2 ,
M (ω1 ,ω2 ,ω3 )
typiquement ω
j
≥ 0,
and
P3
j=
1 ωj = 1.
Distances en LSH
Etant donnée l'instabilité de la composante teinte pour les valeurs faibles
de la saturation :
L
L
S
S
||ci − cj ||LSH
1 = |ci − cj | + |ci − cj | +
||ci − cj ||LSH
2 =
(ciS + cjS )
2
|ciH ÷ cjH |,
q
(ciL − cjL )2 + (ciS )2 + (cjS )2 − 2ciS cjS cos(ciH ÷ cjH ).
17 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
1
Introduction
2
Notions de base
3
Opérateurs morphologiques de ltrage couleur
4
Segmentation morphologique couleur
5
Applications en microscopie biomédicale
6
Conclusions et perspectives
18 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Problème de traitement des images vectorielles
Comment traiter les images multi-variées (dont les images couleurs) ?
Traiter séparément chaque composante et après recombiner les
images transformées dans une image couleur, mais alors
⇒ Nous risquons de créer des fausses couleurs (critique pour le
ltrage mais moins important pour l'extraction de caractéristiques
ou la segmentation).
Traiter une seule composante (typiquement, la luminance), mais
alors
⇒ Quelle méthode pour retourner à l'espace vectoriel ?
Traiter directement les pixels comme des vecteurs, mais alors
⇒ Quel ordre pour les dilations/érosions ?
⇒ Quelle distance pour les gradients, top-hat's ?
19 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Fausses couleurs
Exemple de traitement marginal de l'image f : érosion de taille 30 avec
un élément structurant carré.
f
(R ,G ,B )
Ω0
(L,S ,H )
Ω0
(L,a,b )
Ω0
En RGB, à partir de deux couleurs nous obtenons trois.
En LSH ou L*a*b* c'est encore pire, par ailleurs résultats dicile à
interpréter.
Les eets sont toujours importants près des contours des structures
de couleurs diérentes.
20 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Treillis complets totalement ordonnés
Morphologie mathématique : application de la théorie de treillis aux
structures spatiales
Les opérateurs morphologiques ont besoin d'une structure de treillis
complet totalement ordonné.
Treillis complet
Un treillis complet L est un ensemble avec une relation d'ordre partiel ≤
(x ≤ x , x ≤ y et y ≤ x ⇒ x = y , x ≤ y et y ≤ z ⇒ x ≤ z , x , y , z ∈ L),
ou plus généralement ≤Ω , dit ordre Omega, telle que pour tout
sous-ensemble K ni ou non il existe un inmum (plus grand minorant)
∧K, et un supremum (plus petit majorant) ∨K.
Ordre total
Un ordre est dit total si deux éléments x et y distincts de L sont toujours
comparables :
x 6= y ⇒ x ≤ y ou y ≤ x
21 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres vectoriels
Méthodes pour ordonner les données vectorielles
1 Ordre marginal : les vecteurs sont ordonnés selon chacune des
dimensions séparément, c'est à dire composante par composante.
2 Ordre réduit : cet ordre utilise une fonction ξ pour ordonner les
vecteurs. Typiquement, ξ est une distance généralisée à un vecteur
de référence a ou une sorte de projection.
3 Ordre partiel : l'ordre partiel est fondé sur la structure géométrique
des vecteurs (calcul de l'enveloppe convexe).
4 Ordre conditionnel : l'ordre conditionnel ou lexicographique est
basé sur une certaine priorité dans la prise en compte des
composantes. Il est possible de dénir plusieurs ordres
lexicographiques pour la même famille de vecteurs.
22 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres vectoriels
Exemples de diérents types d'ordres :
Quatre points originaux :
vi = (xi , yi )
Ordre Marginal
Ordre Partiel
23 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres vectoriels
Ordre réduit
vi ≤ vj ⇔ dE (vi , v0 ) ≥ dE (vj , v0 )
with v0 = (0, 0)
v i ≤ v j ⇔ d E ( vi , v 0 ) ≥ d E ( vj , v0 )
with v0 = (4, 3)
Ordre conditionnel
vi ≤ vj ⇔ xi < xj or
{xi = xj and yi ≤ yj }
vi ≤ vj ⇔ yi < yj or
{yi = yj and xi ≤ xj }
24 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Erosion/Dilatation couleur et opérateurs dérivés
Ordre total Ω, qui permet de dénir le supremum supΩ , ou ∨Ω , et
l'inmum inf Ω , ou ∧Ω , pour les couleurs dans une certaine représentation
⇓
Généraliser tous les opérateurs classiques de la morphologie
mathématique (avec des éléments structurants plats nB , de forme B et
de taille homothétique n).
Erosion couleur :
εΩ,nB (f )(x ) = {f (y ) : f (y ) = ∧Ω [f (z )], z ∈ n(Bx )},
Dilatation couleur :
δΩ,nB (f )(x ) = {f (y ) : f (y ) = ∨Ω [f (z )], z ∈ n(Bx )}.
25 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Erosion/Dilatation couleur et opérateurs dérivés
Ouverture couleur :
γΩ,nB (f ) = δΩ,nB (εΩ,nB (f )),
Fermeture couleur :
ϕΩ,nB (f ) = εΩ,nB (δΩ,nB (f )).
Filtres Alternés Séquentiels :
ASF
(f )Ω,nB = ϕΩ,nB γΩ,nB · · · ϕΩ,2B γΩ,2B ϕΩ,B γΩ,B (f ).
Gradient couleur :
%Ω (f ) = ||δΩ,B (f ) − εΩ,B (f )||.
Chapeaux haut forme couleur blanc et noir :
ρ+
Ω,nB (f ) = ||f − γΩ,nB (f )||,
et
ρ−
Ω,nB (f ) = ||ϕΩ,nB (f ) − f ||.
26 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Erosion/Dilatation couleur et opérateurs dérivés
Reconstruction couleur :
γΩrec (m, f ) = δΩi (m, f ),
tel que δΩ (m, f ) = δΩ+1 (m, f ) (idempotence) et où
δΩ (m, f ) = δΩ1 δΩ−1 (m, f ) est la dilatation géodésique de taille n avec
m comme image marqueur.
Nivellement couleur :
i
i
n
n
λΩ (m, f )i = f ∧Ω δΩi (m) ∨Ω εiΩ (m),
jusqu'au idempotence, i.e. λΩ (m, f ) = λΩ (m, f ) +1 .
D'autres ltres comme le centre morphologique ζΩ (f ) ou les
γϕ
contrastes morphologiques κεδ
Ω, (f ) et κΩ, (f ).
i
nB
i
nB
27 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Ωlex
: ordre lexicographique
ci <Ωlex cj ⇔



U
i
U
c
i
U
c
i
c
< cjU
= cjU
= cjU
ou
et
et
V
i
V
c
i
c
< cjV
= cjV
ou
et
W
i
c
< cjW
L'utilisation de l'ordre conditionnel ou lexicographique implique
forcément l'attribution d'une priorité aux diérentes composantes
(dans ce cas à U , ensuite à V et nalement à W ).
Dans la plupart des cas, la relation d'ordre de deux vecteurs sera
décidée par la première condition de la cascade lexicographique.
Il serait souhaitable de pouvoir contrôler la dépendance vis-à-vis de
la première composante en rendant plus exible l'ordre
lexicographique, tout en préservant le principe d'ordre total.
28 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Nous avons proposé une approche qui consiste à réduire d'une
manière linéaire la marge dynamique de variation de la première
composante :
Ωα−lex
: ordre lexicographique de module α
 U
U
 dci /αe < dcj /αe
U
U
dc /αe = dcj /αe
ci <Ωα−lex cj ⇔
 iU
dci /αe = dcjU /αe
ou
et
et
V
i
V
c
i
c
< cjV
= cjV
ou
et
W
i
c
Nous allons le noter de façon plus compacte par Ω ≡ (U |α → V
ou Ω | .
< cjW
→ W)
lex
U α VW
29 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Les ordres lexicographiques en RGB donnent des résultats qui ne
sont pas homogènes et les ltrages sont peu stables.
Les ordres lexicographiques en L*a*b ont besoin d'un traitement très
particulier pour les composantes *a et *b dénies comme des axes
opposés.
Les ordres lexicographiques sont particulièrement intéressants
lorsqu'ils sont utilisés dans l'espace LSH.
30 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Exemple de traitement vectoriel lexicographique en RGB de l'image f :
fermeture par reconstruction de taille 30 avec un élément structurant
carré ϕΩ,15 (f ).
B
f
ϕrec
Ω1 (f )
Ω1 ≡ (R → G → B )
R ,G ,B
ϕrec
Ω0 (f ), Ω0 = Ω0
ϕrec
Ω2 (f )
Ω2 ≡ (G → R → B )
ϕrec
Ω3 (f )
Ω3 ≡ (B → R → G )
31 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Exemple de traitement vectoriel lexicographique en LSH de l'image f :
érosion de taille 30 avec un élément structurant carré εΩ,30 (f ).
B
Ωlex
L|
α=1
S (H ÷0)
Ωlex
S|
α=1
L(H ÷0)
f
Ωlex
−(H ÷0)SL
Ωlex
−(H ÷270)SL
32 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Priorité à la luminance :
Ω ≡ (L|α → S → −(H ÷ h0 ))
8
< dli /αe < dlj /αe
dl /αe = dlj /αe
ci <Ωα−lex cj ⇔
: i
dli /αe = dlj /αe
ou
et si < sj ou
et si = sj et
(hi ÷ h0 ) > (hj ÷ h0 )
ou
et si > sj ou
et si = sj et
(hi ÷ h0 ) > (hj ÷ h0 )
Ω ≡ (L|α → −S → −(H ÷ h0 ))
8
< dli /αe < dlj /αe
dl /αe = dlj /αe
ci <Ωα−lex cj ⇔
: i
dli /αe = dlj /αe
Il agit sur les couleurs par rapport à leur luminance, considérant que
les couleurs claires et saturées sont les plus grandes pour le premier
cas et claires et pas saturées pour le deuxième. La teinte est
ordonnée selon la distance à partir d'une origine h0 , et est mise au
troisième niveau pour minimiser son importance ; avec la priorité
donnée aux couleurs proches à h0 .
33 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Exemples d'ouvertures/fermetures par reconstruction couleur avec priorité
pour la luminance : Ω = Ω | 10 → →( ÷0)
lex
L α=
S
H
γΩ,15B (f1 )
γΩrec (f1 )
ϕΩ,15B (f1 )
ϕrec
Ω (f1 )
f1
34 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Priorité à la saturation :
Ω ≡ (S |α → L → −(H ÷ h0 ))
8
< dsi /αe < dsj /αe
dsi /αe = dsj /αe
ci <Ωα−lex cj ⇔
:
dsi /αe = dsj /αe
ou
et li < lj ou
et li = lj et
(hi ÷ h0 ) > (hj ÷ h0 )
ou
et li > lj ou
et li = lj et
(hi ÷ h0 ) > (hj ÷ h0 )
Ω ≡ (S |α → −L → −(H ÷ h0 ))
8
< dsi /αe < dsj /αe
dsi /αe = dsj /αe
ci <Ωα−lex cj ⇔
:
dsi /αe = dsj /αe
Les couleurs les plus saturées et plus brillantes sont les plus grandes
pour le premier cas, et les plus saturées et plus sombres dans le
deuxième. Mêmes considerations pour la teinte.
35 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Exemples d'ouvertures/fermetures par reconstruction couleur avec priorité
pour la saturation : Ω = Ω | 10 → →( ÷0)
lex
S α=
L
H
δΩ,15B (f2 )
ϕrec
Ω (f2 )
εΩ,15B (f2 )
γΩrec (f2 )
f2
36 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Priorité à la teinte :
Ω ≡ (−(H ÷ h0 )) → S → L
8
< (hi ÷ h0 ) > (hj ÷ h0 )
(hi ÷ h0 ) = (hj ÷ h0 )
ci <Ωα−lex cj ⇔
:
(hi ÷ h0 ) = (hj ÷ h0 )
ou
et si < sj ou
et si = sj et li < lj
Les couleurs les plus proches à la teinte d'origine, et les plus saturées
(et plus brillantes) sont les plus grandes. Cependant dû à la relation
étroite entre les composantes de chrominance, la teinte et la
saturation ; et surtout au problème de la signication de la teinte des
pixels avec une saturation basse, les résultats ne sont pas
satisfaisants. La solution passe par une pondération de la teinte avec
la saturation, basée sur un changement de la position de la teinte
sur le cercle unité en fonction de la saturation et de l'origine choisie.
37 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Priorité à la teinte pondéré par la saturation :
Ω ≡ (−(H ÷ h0 )sat −weight → S → L)

hk − h0 )
si (hk − h0 ) ≥ 0
hk∗ = (360
+ (hk − h0 ) si (hk − h0 ) < 0
8
sup[hk∗ , 90(1 − si )] si 0 ≥ hk∗ ≥ 90
>
>
<
∗
0
inf
(1 + si )]
si 90 < hk∗ ≥ 180
hk = > sup[[hhk∗,,90
90
(
3
−
s
)]
si
180 < hk∗ ≥ 270
i
>
k
:
inf [hk∗ , 90(3 + si )] si 270 < hk∗ < 360
8
0
0
>
< (hi0 ÷ 0) > (hj0 ÷ 0) ou
ci <Ωα−lex cj ⇔
(hi ÷ 0) = (hj ÷ 0) et
si < sj ou
>
0
0
:
(hi ÷ 0) = (hj ÷ 0) et
si = sj et
li < lj
38 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Exemples d'ouvertures/fermetures par reconstruction couleur avec priorité
pour la teinte (h0 = 95 vert, plus proche du jaune que du rouge) : sans
pondération Ω1 = Ω( ÷ 0 )→ → et avec pondération par la saturation
lex
H
Ω2 = Ωlex
(H ÷h0 )
h
S
L
sat −weight →S →L
δΩ1 ,25B (f3 )
ϕrec
Ω1 (f3 )
δΩ2 ,25B (f3 )
ϕrec
Ω2 (f3 )
f3
39 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par cascades lexicographiques
Exemples d'ouvertures/fermetures par reconstruction couleur avec priorité
pour la teinte : origine de teintes h0 = 50 (jaune, plus proche du rouge
et orange que du vert) Ω1 = Ω( ÷ 0 )→ → et h0 = 25 (orange, plus
proche du rouge et jaune que du vert) Ω2 = Ω( ÷ 0 )sat weight → →
lex
H
h
S
L
lex
H
h
−
δΩ1 ,25B (f3 )
ϕrec
Ω1 (f3 )
δΩ2 ,25B (f3 )
ϕrec
Ω2 (f3 )
S
L
f3
40 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Généralisation des ordres totaux pour les couleurs, en dénissant un
pré-ordre basé sur la distance de chaque point i à un couleur de
référence c0 , kc − c0 k∆ .
i
Ω
UVW
ordre total
ci <Ω cj

kci − c0 kUVW
> kcj − c0 kUVW

∆
∆





 kc − c kUVW = kc − c kUVW
i
j
0 ∆
 0U ∆ U
⇔
ou

 ci < cj


U

c
= cjU et ciV < cjV



 iU
c
= cjU et ciV = cjV
i
ou
et
ou
et
W
i
c
< cjW
Nous le notons de manière compacte par
Ω ≡ {k · kUVW
, c0 = (c0U , c0V , c0W ) ` (U → V → W )}.
∆
41 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Cette méthode d'ordre est très générale et elle peut être utilisée avec
toutes les représentations couleur, y compris celles qui n'ont pas des
cascades lexicographiques évidentes (RGB et L*a*b*), car les points
couleur sont principalement ordonnés par rapport à leur distance à la
référence.
Le choix de c0 donne une grande exibilité pour l'adaptation des
eets d'un opérateur aux structures d'une couleur particulière proche
ou opposée de la couleur de référence.
Pour simplier le nombre d'alternatives (pour des applications
génériques de ltrage), et en nous fondant sur nos études sur les
cascades lexicographiques, nous proposons de xer pour chaque
représentation le choix des priorités des composantes comme suit :
en RGB : ` (G → R → B ),
en LSH : ` (L → S → −(H ÷ h0 )), où l'origine des teintes h0
correspond au même que pour cLSH
= (l0 , s0 , h0 ),
0
en L*a*b* : ` (L → a → b).
42 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
On note aussi qu'il généralise les ordres Ω , i.e., en utilisant la
distance pondérée k · k
avec les poids
M (ω1 , ω2 , ω3 ) = M (1, 0, 0) et en prenant comme référence la borne
supérieure de la composante U , c0 = (c , −, −).
Il existe une interprétation simple de cette famille d'ordres qui est
aussi valable pour l'ordre des images à niveaux de gris (en prenant
comme origine des niveaux de gris la borne supérieure t ) : La
dilatation a la tendance à rapprocher vers la couleur de référence c0
et l'érosion à éloigner de la référence c0 .
lex
UVW
M
U
max
max
43 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Comparaison d'ouverture par reconstruction γΩ
érosion εΩ,20 (f )
rec
(f ),
le marqueur est une
B
f
RGB
k · kRGB
2
c0 = (255, 255, 255)
Lab
k · kRGB
2
c0 = (255, 0, 0)
Lab
k · kM (1,0,0)
c0 = (255, −, −)
k · k2
c0 = (255, 128, 128)
k · kM (1,1,0)
c0 = (255, 0, −)
k · kLSH
2
k · kLSH
M (1,1,0)
k · kLSH
M (1,1,0)
c0 = (255, 255, 0)
c0 = (255, 255, −)
c0 = (255, 0, −)
44 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Comparaison d'ouverture par reconstruction γΩ
érosion εΩ,20 (f )
rec
(f ),
le marqueur est une
B
f
RGB
k · kRGB
2
c0 = (255, 255, 255)
Lab
k · kRGB
2
c0 = (255, 0, 0)
Lab
k · kM (1,0,0)
c0 = (255, −, −)
k · k2
c0 = (255, 128, 128)
k · kM (1,1,0)
c0 = (255, 0, −)
k · kLSH
2
k · kLSH
M (1,1,0)
k · kLSH
M (1,1,0)
45 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Comparaison de nivellement λΩ (f ), le marqueur est un FAS, ASFΩ,15
B
(f )
f
k · kRGB
2
c0 = (255, 255, 255)
k · kRGB
2
c0 = (100, 50, 100)
k · kLSH
M (1,1,0)
c0 = (255, 255, −)
46 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Comparaison de chapeau haut de forme pour l'extraction de détails
ρ−
Ω,5B = kϕΩ,5B − f k
ϕΩ,5 , k · kRGB
2
c0 = (255, 255, 255)
ϕΩ,5 , k · kRGB
2
c0 = (0, 0, 0)
ϕΩ,5 , k · kLSH
M (1,1,0)
c0 = (255, 255, −)
RGB
ρ−
Ω,5 , k · k2
c0 = (255, 255, 255)
RGB
ρ−
Ω,5 , k · k2
c0 = (0, 0, 0)
LSH
ρ−
Ω,5 , k · kM (1,1,0)
c0 = (255, 255, −)
f
47 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Comparaison de gradient %Ω pour la segmentation par LPE (marqueur
interne pour la région du cheval et l'externe étant le borde de l'image)
f
%Ω , k · kLSH
M (1,1,0)
c0 = (255, 255, −)
%Ω , k · kRGB
2
c0 = (255, 255, 255)
%Ω , k · kRGB
2
c0 = (250, 110, 90)
%Ω , k · kLSH
M (1,1,1)
c0 = (180, 128, 10)
%Ω , k · kLSH
M (0,0,1)
c0 = (−, −, 10)
48 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Comparaison de contraste morphologique κΩ (f ) pour le rehaussement des
contours
f
Lab
κεδ
Ω,1−iter , k · k2
c0 (255, 128, 128)
RGB
κγϕ
Ω,9 , k · k2
c0 (255, 255, 255)
RGB
κεδ
Ω,1−iter , k · k2
c0 (255, 255, 255)
LSH
κεδ
Ω,1−iter , k · kM (1,1,0)
c0 (255, 255, −)
LSH
κεδ
Ω,1−iter , k · kM (1,1,0)
c0 (255, 128, −)
49 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Ordres totaux des couleurs par distance à une référence
complétés par cascades lexicographiques
Comparaison de centre morphologique ζbΩ (f ) pour la suppression de bruit
f
ζbΩ , k · kLSH
M (1,0,0)
c0 (255, −, −)
ϕΩ (γΩ , k · kRGB
2
c0 (255, 255, 255)
ζbΩ , k · kRGB
2
c0 (255, 255, 255)
ζbΩ , k · kLSH
M (1,1,0)
c0 (255, 255, −)
ζbΩ , k · kLSH
M (1,1,0)
c0 (255, 128, −)
50 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Commençons par revoir les alternatives dans la dénition du résidu des
ouvertures/fermetures, connu comme chapeau haut de forme.
Chapeau haut de forme blanc, ρ+ (f ) : résidu entre la fonction
numérique et une ouverture, i.e.
B
ρ+
(f )(x ) = f (x ) − γB (f )(x ).
B
Chapeau haut de forme noir, ρ− f : résidu entre une fermeture et la
fonction numérique, i.e.
B
ρ−
(f )(x ) = ϕB (f )(x ) − f (x ).
B
Chapeau haut de forme circulaire centré, ρ◦ (a) : variations rapides
d'une fonction angulaire, i.e.
B
ρ◦B (a)(x ) = {− sup[νB◦ (z )], z ∈ Bx ]}.
où ν ◦ (x ) = {− sup[a(x ) ÷ a(y ), y ∈ B ]}.
B
x
51 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Top-hat circular centré pour la teinte est invariant aux rotations et plus
robuste face au bruit chromatique
f1
ρ+
B (f1,H )
ρ◦B (f1,H )
f2 = f1c
ρ+
B (f2,H )
ρ◦B (f2,H )
f3 = f1 + n
ρ+
B (f3,H )
ρ◦B (f3,H )
52 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Notre objectif est de dénir des chapeaux haut de forme couleur
séparables en LSH :
c'est-à-dire ceux qui sont obtenus à partir des composantes
luminance, saturation et teinte séparément ;
et ensuite les combiner pour avoir des résidus qui contient les détails
chromatiques et achromatiques.
53 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Chapeau haut de forme chromatique
ρCB (f ) = [fS × ρ◦B (fH )] ∨ ρ+
(fS ).
B
Cet opérateur extrait les variations chromatiques rapides, liées aux pics
positifs de saturation et aux variations de teinte sur des régions saturées.
Chapeau haut de forme achromatique blanc
+
ρA
(f ) = |ρ↑B (f ) − ρCB (f )|.
B
où ρ↑ (f ) = ρ+ (f
B
B
L
) ∨ ρ−
(fS )
B
donne les variations claires globales.
Chapeau haut de forme achromatique noir
−
ρA
(f ) = |ρ↓B (f ) − ρCB (f )|.
B
où ρ↓ (f ) = ρ− (f
B
B
L
) ∨ ρ−
(fS )
B
donne les variations sombres globales.
54 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Exemple de top-hat chromatique dérivé de la teinte et de la saturation
f
fH
fS
ρ+
B (fH )
ρ◦B (fH )
fS × ρ◦B (fH )
55 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Application des top-hat's couleur à l'extraction des détails d'une carte
f
ρC
B (f )
ρ↓B (f )
−
ρA
B (f )
56 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Application des top-hat's couleur à l'extraction des détails d'une carte
f
ρ↓B (f )
ρC
B (f )
57 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Opérateurs morphologiques de ltrage couleur
Traitement marginal et combinaison en LSH : chapeaux
haut de forme couleur
Cette combinaison marginale des opérateurs est tout à fait
pertinente pour les résidus
⇒ les images associées sont des fonctions numériques,
⇒ pas problème de fausses couleurs.
D'autres opérateurs similaires peuvent être dénies en LSH, ou dans
une autre représentation couleur, où l'information liée aux diérentes
composantes est bien séparée et facile à interpréter.
58 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
1
Introduction
2
Notions de base
3
Opérateurs morphologiques de ltrage couleur
4
Segmentation morphologique couleur
5
Applications en microscopie biomédicale
6
Conclusions et perspectives
59 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation marginale en LSH et combinaison
contrôlée par la saturation
Le fondement de l'approche est la formalisation de l'observation
psycho-visuelle selon laquelle l'÷il segmente à l'aide des variations de
teinte dans les régions saturées, et des variations de luminance dans les
régions grises.
f
fL
fS
fH
Voici le principe,
segmentant séparément la luminance, la saturation et la teinte
et en combinant les partitions de la luminance et de la teinte à l'aide
de la saturation, qu'on prendra comme critère pour choisir en
chaque endroit l'une ou l'autre classe des segmentations de la
luminance et de la teinte.
60 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation marginale en LSH et combinaison
contrôlée par la saturation
Segmentation par sauts A , −
1 on met dans une même classe tous les points x où f (x ) dière de
moins de k d'un extremum, on retire ces classes du plan de l'image,
et on itère, la méthode dépend du seul paramètre positif k des sauts ;
2 les plus petites régions de la partition par sauts, avec une surface
inferieur à a pixels, peuvent être ensuite éliminées par fusion ou
croissance de régions.
jump
area
k a
Segmentons par cette méthode mixte les composantes scalaires de
luminance et de teinte (après xer une origine h0 ).
−area
Ajump
k =10,a=50 (fL )
−area
Ajump
k =20,a=50 (fL )
−area
Ajump
k =10,a=50 (fH )
−area
Ajump
k =20,a=50 (fH )
61 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation marginale en LSH et combinaison
contrôlée par la saturation
L'idée pour combiner ces deux partitions consiste à réduire l'image
de saturation à un ensemble X , qui corresponde aux pixels de
saturation élevée, de restreindre la partition de la teinte à X , et
celle de la luminance à X , puis de réunir les deux résultats dans une
partition synthétique.
Le procédé pour déterminer l'ensemble X consiste à seuiller une
image lissée de la saturation : image mosaïque associée à la partition
−
A
(f )(x ), en aectant ensuite à chaque classe la valeur
,
moyenne de la saturation de ses pixels pour obtenir f
).
S
S
c
S
S
jump
area
k a
S
mosaic
S
fSmosaic
XS
−area
Ajump
(f )
LSH
−area
Ajump
(f )cont
LSH
62 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation marginale en LSH et combinaison
contrôlée par la saturation
Segmentation couleur contrôlée par saturation A − (f )
Si A , − (f )(x ), A , − (f )(x ), et A − (f )(x ) désignent les
classes de la luminance, de la teinte et de la synthèse au point x , il vient
jump
area
LSH
jump
area
k a
L
jump
area
jump
H
k a
area
LSH
jump −area
(fL )(x ) ∩ XSc (x )
si x ∈ XSc (x )
jump −area
A
(f )(x ) =
jump −area
LSH

A
(fH )(x ) ∩ XS (x )

 k ,a
si x ∈ XS (x )




A
k ,a
où X (x ) = Th (f
(x )) et f
est la mosaïque de f associée à la
−
partition A ,
(f ). La valeur de seuil s est obtenue
automatiquement à partir de l'histogramme de f
(séparation
optimale achromatique/chromatique).
S
s
jump
k a
mosaic
S
area
S
mosaic
S
S
mosaic
S
63 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation marginale en LSH et combinaison
contrôlée par la saturation
Exemple de segmentation d'une image couleur par combinaison contrôlée
par la saturation
−area
Ajump
k =20,a=50 (fL )
−area
Ajump
k =20,a=50 (fS )
−area
Ajump
k =10,a=50 (fH )
fSmosaic
XS = Ths =25
−area
Ajump
(f )
LSH
f
Noter que cette méthode est dicilement généralisable à d'autres
représentations couleur car c'est justement le rôle de la saturation
qui permet de combiner aisément les partitions
64 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Le paradigme de segmentation morphologique est la Ligne de
Partage des Eaux (LPE) avec des marqueurs imposés.
Des approches hiérarchiques basées sur la LPE ont permis d'aborder
des domaines pour lesquels le choix de marqueurs n'est pas facile,
comme c'est le cas des images naturelles, images de
vidéo-surveillance, etc.
Parmi ces approches nous pouvons en souligner deux :
1
2
l'algorithme de cascades, Awfall
(où l est niveau de l'hiérarchie), qui,
l
d'un niveau de la hiérarchie au suivant, élimine les contours
complètement entourés par des contours plus forts ;
les hiérarchies basées sur les valeurs d'extinction, en particulier les
−v
critères volumiques, Awshed
(où n est le nombre de régions
n
volumiques à segmenter), qui combinent la taille et le contraste des
régions, créant un bon critère pour évaluer la pertinence visuelle des
régions.
Ces algorithmes se bâtissent sur un gradient scalaire.
65 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Un gradient couleur doit être calculé pour appliquer la LPE à une image
couleur.
Pour toute fonction numérique f ∈ F(E , T ) nous pouvons calculer
le module de son gradient comme le résidu d'une dilatation et une
érosion, i.e.,
%(f (x ))
= ∨[f (y ), y ∈ Bx ] − ∧[f (y ), y ∈ Bx ]
= ∨[|f (y ) − f (y )|, y ∈ Bx ].
A partir de la dénition en termes d'accroissements et pour
l'appliquer aux fonctions angulaires dénies sur le cercle unité, il
sut de remplacer les accroissements par la diérence angulaire et
ainsi obtenir le gradient circulaire centré, i.e.,
%◦ (a(x )) = ∨[a(x ) ÷ a(y ), y ∈ Bx ].
De la même manière, pour les fonctions couleur f dans une
représentation UVW, nous pouvons aussi dénir le même type de
gradient en utilisant une distance couleur :
%UVW
(f (x )) = ∨[||f (x ) − f (y )||UVW
, y ∈ Bx ].
∆
∆
66 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Ces dénitions sont utilisées pour construire des gradients couleur à partir
des composantes L*a*b* et LSH (les composantes RGB étant fortement
corrélées, leur intérêt pour la segmentation est moindre que les autres
représentations).
Gradient achromatique en L*a*b*
L∗a∗b ∗
%L∗ (f ) = ∨[||f (x ) − f (y )||M
(1,0,0) , y ∈ Bx ].
Gradient chromatique en L*a*b*
L∗a∗b ∗
%ab (f ) = ∨[||f (x ) − f (y )||M
(0,1,1) , y ∈ Bx ].
et b*.
Distance Euclidienne pour L*.
Distance Euclidienne pour a*
Gradient couleur en L*a*b*
L∗ a ∗ b ∗
%Lab (f ) = ∨[||f (x ) − f (y )||M
(1,1,1) , y ∈ Bx ].
L*, a* et b*). Très utilisé en segmentation.
Distance Euclidienne pour
67 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Gradient de luminance en LSH
% (f ) = %(f (x )).
L
L
Gradient de teinte en LSH
% (f ) = %◦ (f (x )).
H
H
Gradient chromatique en LSH
% (f ) = f × %◦ (f (x )). L'utilisation de la teinte exclusivement produit
des erreurs dans les régions achromatiques, qui ont une faible saturation,
et il est plus intéressant de pondérer le gradient de la teinte par la
saturation.
HS
S
H
Gradient achromatique LSH
% (f ) = (1 − f ) × %(f (x )) + %(f (x )). Pour détecter les changements
des régions chromatiques-achromatiques.
LS
S
L
S
68 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Gradient couleur en LSH
%LSH (f ) = fS × %◦ (fH (x )) + (1 − fS ) × %(fL (x )).
Gradient couleur complet en LSH
% + (f ) = f × %◦ (f (x )) + (1 − f
LS
H
S
H
S
) × %(fL (x )) + %(fS (x )).
69 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Exemple de segmentation d'une image couleur par LPE avec la même
méthode (segmentation en 100 régions volumiques) selon diérents
gradients en L*a*b*
f
−v
wshed −v ab
wshed −v Lab
L∗
Awshed
n=100 (% (f )) An=100 (% (f )) An=100 (% (f ))
70 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Exemple de segmentation d'une image couleur par LPE avec la même
méthode (segmentation en 100 régions volumiques) selon diérents
gradients en LSH
−v
L
Awshed
n=100 (% (f ))
−v
H
Awshed
n=100 (% (f ))
−v
HS
Awshed
n=100 (% (f ))
f
−v
wshed −v LSH
wshed −v LS +H (f ))
LS
Awshed
n=100 (% (f )) An=100 (% (f )) An=100 (%
71 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Pour certains domaines d'application, nous pouvons être intéressés
par une segmentation exclusivement focalisée sur les objets colorés
de la scène, indépendamment de leur luminance.
Le gradient % (f ) est indépendant des reets et des ombres portées
et évidemment des changements limités d'intensité de la lumière. Si
l'on compare à l'autre gradient chromatique, % (f ), nous constatons
que celui-ci, pour le même nombre de régions à segmenter, est
beaucoup plus sensible aux régions achromatiques.
A l'opposé, une segmentation selon la luminance des objets avec
% (f ), sans considérer l'information chromatique, pourrait être utile
pour d'autres applications.
D'autre part, le gradient achromatique % (f ) fournit les transitions
de luminance entre les objets achromatiques et aussi les
changements type achromatique-chromatique.
HS
ab
L
LS
72 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Gradient couleur total : gradient qui contient conjointement
l'information pour extraire les contours achromatiques et
chromatiques.
Nous voulons que ce gradient soit robuste face à un changement
dans l'éclairage de la scène
⇒ pour un même niveau de hiérarchie de segmentation, ou pour le
même nombre de régions segmentées, les objets extraits soient
relativement stables.
Le gradient couleur en LSH par combinaison barycentrique à l'aide
de la saturation du gradient de luminance et du gradient de teinte,
%
(f ), donne des bonnes segmentations pour des images
génériques.
Le gradient couleur complet % + (f ) (avec un terme de gradient de
saturation) améliore les résultats, en équilibrant beaucoup plus les
contours chromatiques/achromatiques.
LSH
LS
H
73 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Segmentations associées aux diérents gradients en LSH.
fillum1
wshed v (%HS (f ))
n
−
A =175
wshed v (%L (f
illum1 ))
n
−
A =175
wshed v (%LS (f
illum1 ))
n
−
A =175
wshed v (%H (f
illum1 ))
n
−
A =175
wshed v (%LS +H (f
illum1 ))
n
−
A =175
74 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Le gradient couleur par distance Euclidienne dans l'espace L*a*b*
fournit de bonnes segmentations lorsqu'on choisit l'illuminant correct
pour la transformation (une tâche pas toujours facile).
fillum1
A
wfall (%Lab (f
illum1 )), D 65
l =2
A
wfall (%Lab (f
illum1 )), CIEA
l =2
fillum7
A
wfall (%Lab (f
illum7 )), D 65
l =2
A
wfall (%Lab (f
illum7 )), CIEA
l =2
75 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Changement de la qualité des conditions d'illumination.
wshed −v (%Lab (f
illum1 ))
n
A =75
wshed −v (%Lab (f
illum4 ))
n
A =75
fillum1
A =75
fillum4
A =75
wshed −v (%LS +H (f
illum1 ))
n
wshed −v (%LS +H (f
illum4 ))
n
76 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Segmentation avec des gradients couleur
Le gradient couleur complet dans l'espace LSH (qui n'a pas besoin
d'une connaissance de l'illuminant) nous donne des segmentations
légèrement plus robustes et stables face aux changements
d'éclairage.
L'usage de la distance perceptuelle en L*a*b* fait que parfois il est
dicile de prévoir si la priorité est donnée à l'information
chromatique ou à l'achromatique.
La représentation LSH nous permet une meilleure maîtrise de la
segmentation (priorité donnée à la couleur ou à l'intensité) et même
une séparation satisfaisante de la contribution des composantes.
77 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Comparaison de segmentations morphologiques couleur
en LSH (Berkeley Segmentation Dataset and
Benchmark)
]3096
]42049
A
wfall (%LSH )
l =4
A
jump−area , k = 20, a = 50
LSH
78 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Comparaison de segmentations morphologiques couleur
en LSH (Berkeley Segmentation Dataset and
Benchmark)
]108082
]113016
A
wfall (%LSH )
l =4
A
jump−area , k = 20, a = 50
LSH
79 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Comparaison de segmentations morphologiques couleur
en LSH (Berkeley Segmentation Dataset and
Benchmark)
]143090
]145086
A
wfall (%LSH )
l =4
A
jump−area , k = 20, a = 50
LSH
80 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Comparaison de segmentations morphologiques couleur
en LSH (Berkeley Segmentation Dataset and
Benchmark)
]101085
]101087
A
wfall (%LSH )
l =4
A
jump−area , k = 20, a = 50
LSH
81 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Segmentation morphologique couleur
Des éléments additionnels pour améliorer les
segmentations
On peut considérer l'amélioration de la qualité des segmentations par
LPE sur des gradients couleur en introduisant notamment des
informations additionnelles ou bien en modiant les algorithmes
classiques de segmentation :
Dénir des gradients de texture qui peuvent se combiner avec les
gradients couleur.
Travailler dans un cadre probabiliste qui dénit des fonctions de
densité de probabilité de contours couleur et régularise le gradient.
82 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Applications en microscopie biomédicale
1
Introduction
2
Notions de base
3
Opérateurs morphologiques de ltrage couleur
4
Segmentation morphologique couleur
5
Applications en microscopie biomédicale
6
Conclusions et perspectives
83 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Applications en microscopie biomédicale
Détection d'inclusions parasitaires de paludisme dans des
globules rouges
f
ϕrec
Ω1 ,15B (f )
γΩrec
1 ,200B (f )
ϕrec
Ω2 ,15B (f )
ϕrec
Ω3 ,200B (f )
Ω1 = Ωlex
L→S →(H ÷0)
Ω2 = Ωlex
(H ÷90)→S →L
Ω3 = Ωlex
(H ÷270)→S →L
84 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Applications en microscopie biomédicale
Segmentation d'un lymphocyte dans son noyau et son
cytoplasme
f
ϕrec
Ω1 ,20B (f )
γΩrec
1 ,150B (f )
ϕrec
Ω2 ,20B (f )
γΩrec
2 ,150B (f )
Ω1 = Ωlex
L→S →(H ÷0)
Ω2 = Ωlex
S →L→(H ÷0)
85 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Applications en microscopie biomédicale
Extraction des cellules marquées dans un tissue
hétérogène
f1 = δΩ,25 (f )
k · kLSH
M (1,0.2,0) , c0 (255, 128, −)
ϕrec
Ω (f , f1 )
LSH
k · kM (1,0.2,0) , c0 (255, 128, −)
f2 = εΩ,75 (f )
k · kLSH
M (1,0.2,0) , c0 (255, 128, −)
γΩrec (f , f2 )
LSH
k · kM (1,0.2,0) , c0 (255, 128, −)
f
86 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Applications en microscopie biomédicale
Filtrage et rehaussement des spots (rouges ou jaunes)
d'une puce à ADN
f1 = ζbΩ (κεδ
Ω,1−iter (f ))
k · kLSH
,
c
M (1,1,0) 0 (255, 128, −)
f2 = γΩrec (f , εΩ,3 (f1 ))
k · kLSH
M (1,1,0) , c0 (255, 128, −)
f3 = εΩ,15 (f2 )
k · kRGB , c (0, 128, 255)
f4 = γΩrec (f , f3 )
RGB
k·k
, c (0, 128, 255)
f
2
0
2
0
87 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Applications en microscopie biomédicale
Segmentation des hépatocytes marquées à la uorescence
d'une puce à cellules
f
fg = %Ω (f )
k · kRGB
M (2,1,0) , c0 (255, 255, −)
f1 = γΩrec (f , εΩ,20 (f ))
k · kRGB
, c0 (255, 255, 255)
2
f2 = kf − f1 kRGB
2
fmrks = Max (γ10 (f2 ))
Wshed (fg , fmrks )
88 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Applications en microscopie biomédicale
Extraction et segmentation des cellules cancéreuses avec
marquage immunohistochimique
f
fg1 = %Ω (f1 )
k · kRGB
,c0 (90, 20, 20)
2
f1 = γΩrec (f , εΩ,30 (f ))
k · kRGB
, c0 (90, 20, 20)
2
fg2 = %Ω (f2 )
k · kRGB
,c0 (255, 255, 255)
2
f2 = γΩrec (f , εΩ,30 (f ))
k · kRGB
, c0 (255, 255, 255)
2
Green = wshed (fg1 , fmrks1 )
Red
= wshed (fg2 , fmrks2 )
89 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Conclusions et perspectives
1
Introduction
2
Notions de base
3
Opérateurs morphologiques de ltrage couleur
4
Segmentation morphologique couleur
5
Applications en microscopie biomédicale
6
Conclusions et perspectives
90 / 91
Apports de la morphologie mathématique couleur au ltrage et à la segmentation
Conclusions et perspectives
Conclusions et perspectives
Application des opérateurs de la morphologie mathématique pour le
ltrage et la segmentation d'images couleur.
Forte liaison entre les propriétés de l'espace de représentation de la
couleur et la construction/généralisation des opérateurs
morphologiques couleur ; ce qui permet même d'introduire des
nouveaux opérateurs.
D'autres opérateurs peuvent être proposés pour la couleur ainsi
comme d'autres applications.
Représentation LSH est particulièrement intéressente pour le ltrage
et la segmentation.
Série de travaux cours sur nouvelles techniques morphologiques de
représentation, ltrage, segmentation et quantication adaptées aux
images hyperspectrales.
91 / 91

Documents pareils

Segmentation morphologique d`images multivariées: de la couleur

Segmentation morphologique d`images multivariées: de la couleur Notions de base espaces de représentation des images couleur, treillis des images couleur, distances couleur. Segmentation morphologique couleur opérateurs marginaux et combinaison en LSH, segmenta...

Plus en détail