Lineare Abbildungssysteme Inhalt

Lineare Abbildungssysteme
Inhalt
Einfache Abbildungssysteme
Camera Obscura
− Lochblende
Lineares Abbildungssystem
− Abbildungskern
− Fourier-Darstellung
Image Restoration
Rauschen
Inverse Filter
Wiener Filter
FH-Campus Hagenberg
Werner Backfrieder
Folie 2
1
Camera obscura
Abbildungseigenschaften
Licht fällt durch Lochblende auf Bildebene
ideale Abbildung durch punkförmige Blende
−
Jedem Bildpunkt wird genau ein Objektpunkt zugeordnet.
−
Problem: zu geringe Lichtstärke
reale Blende ist kreisförmiges Loch
−
Auf jeden Bildpunkt fällt Licht von mehreren Objektpunkten.
−
Konsequenz: „Verschmierung des Bildes“
FH-Campus Hagenberg
Werner Backfrieder
Folie 3
Beispiele für verschiedenen
Lochblenden
a
b
c
Römisches Relief: (a) original
(=Punktblende), (b) mittlere und
(c) große Kameraöffnung
FH-Campus Hagenberg
Werner Backfrieder
Folie 4
2
Grauwertbild: Modell
mathematische Formulierung
jedem Punkt (x,y) wird ein Grauwert zugeordnet
skalare Funktion in zwei Variablen (Koordinaten)
f : R 2 → R,
z = f ( x, y )
z ... Grauwert (Skalar)
(x,y) .... Koordinaten des Punktes
− x Î [0,B], y Î [0,H], B...Breite, H...Höhe
Koordinatensysteme:
− Ursprung LO Bildschirmkoordinaten
− Ursprung LU mathematische Koordinaten
FH-Campus Hagenberg
Werner Backfrieder
Folie 5
Darstellung skalarer Funktionen
(Bilder)
Grauwert- oder
Falschfarbendarstellung
Reliefdarstellung
Mesh-Funktion in Matlab
FH-Campus Hagenberg
Werner Backfrieder
Folie 6
3
Bild-Koordinatensysteme
Bildschirmkoordinaten (xb,yb), Ursprung links oben (LO), identisch
mit Orientierung in Matrizen (Zeilenindex, Spaltenindex)
xb
Relationen :
yb
xm = xb
y m = H − yb
ym
H ... Bildhöhe
xm
Mathematisches Koordinatensystem (xm,ym), Ursprung
linke untere Ecke (LU)
FH-Campus Hagenberg
Werner Backfrieder
Folie 7
Problem
mathematische Formulierung f(x,y) besitzt
„unendlich“ viele Bildpunkte
Graustufen kontinuierlich => „unendlich“ viele
Graustufen
=> computergestützte Verarbeitung benötigt
bestimmte Digitalisierung (Quantisierung)
der Bildinhalte
Unterteilung der Bildebene in Bildelemente
(Pixel)
FH-Campus Hagenberg
Werner Backfrieder
Folie 8
4
Digitalisierung: kontinuierliches
-> diskretes Modell
Örtliche Digitalisierung
Funktionswerte f werden nur an bestimmten Positionen (xi,yj)
berücksichtigt („sampling“).
Bild B wird durch Menge von 3-fach Tupel beschrieben
B = {( f n , xn , yn ) | f n = f ( xn , yn ), xn ∈ [0, xmax ], yn ∈ [0, ymax ], n ∈ [1, N ]}
Bildwerte werden üblicherweise in einem regelmäßigen Gitter G
strukturiert
X = {xi | xi = i ⋅ Δx, i ∈ [0, I − 1]}
Y = {y j | y j = j ⋅ Δy, j ∈ [0, J − 1]}
G = X ×Y
FH-Campus Hagenberg
Werner Backfrieder
Folie 9
Digitalisierung II
Quantisierung (Werte-Digitalisierung)
Stromstärke der Photodiaode wird im AD-Wandler in einen digitalen
Wert umgeformt
kontinuierlicher Wert auf einen Wertebereich der Basis 2
abgebildet, K=Anzahl der Bits.
[ f ( xi , y j )] → ∑k =0 ak ⋅ 2 k
K −1
[z] größte ganze Zahl < z
K=1
binäres Bild 2 Werte {0,1} oder SW
K=8
8 Bit Grauwerte [0,255]
K=16
16 Bit Grauwerte
[0,65535]
Farbbild Vektor mit 3 Farbkanälen (R,G,B) mit 8 Bit/Kanal
FH-Campus Hagenberg
Werner Backfrieder
Folie 10
5
Datenstrukturen I
Aufgrund der Anordnung auf einem regelmäßigen Gitter ist die
Position eines Bildpunktes definiert durch:
Ausdehnung des Bildelements (Δx,Δy)
Anzahl der Bildelemente in horizontaler (Breite) und vertikaler Richtung (Höhe)
Index bei zeilen- oder spaltenweiser Anordnung
=> Positionsdaten redundant
Mindestanforderung für Persitierung
Header-Information: Pixeldimension, Höhe, Breite, Speichertiefe
Raw-Data: Pixelstream
Bildelement = Picture Element = Pixel
FH-Campus Hagenberg
Werner Backfrieder
Folie 11
Datenstrukturen II
Addr
x
x
y
y
image
off1=y*breite+x
zeilenweises Füllen
c, Java, ImageJ
FH-Campus Hagenberg
Addr+Off1
image
Addr+off2
Memory
off2=x*höhe+y
spaltenweises Füllen
Fortran, Matlab
Werner Backfrieder
Folie 12
6
Speicheraufwand
Seite A4 (21x 29,9 cm2)
300dpi
RGB
21/2,54*300*29,9/2,54*300*3 ~ 25MB
8Bit Grauwert ~ 8,5MB
Binary (Schrift) ~ 1MB
FH-Campus Hagenberg
Werner Backfrieder
Folie 13
Abbildungseigenschaft
Lochblende
auf einen Bildpunkt fällt Licht von mehreren Objektpunkten
f ij =
j
1
1
∑∑g
k = −1l = −1
i − k , j −l
i
gij
Objekt g
FH-Campus Hagenberg
fij
Abbildung
Bild f
Werner Backfrieder
Folie 14
7
Lineares Abbildungssystem
Verallgemeinerung
jeder Objektpunkt erhält einen Gewichtungsfaktor hkl
h ist der Abbildungskern
Summationsgrenzen allgemein
f ij =
j
N /2
M /2
∑ ∑g
k =− N / 2 l =− M / 2
h
i − k , j − l kl
hkl
i
gij
fij
./+
Abbildung
Objekt g
Bild f
FH-Campus Hagenberg
Werner Backfrieder
Folie 15
Lineares Abbildungssystem
Abbildungskern
Jedes Abbildungssystem (Photoapparat, Mikroskop, Fernrohr,
Computertomograph) wird durch einen Abbildungskern („imaging kernel“)
charakterisiert .
mathematische Formulierung
f ij =
N /2
M /2
∑ ∑g
k =− N / 2 l =− M / 2
h
i − k , j − l kl
Jeder Bildpunkt ist die gewichtete Summe aus einer Region von
Objektpunkten.
Kurzschreibweise mit * Symbol
f = g *h
Dieser Formalismus wird in der Mathematik Faltung genannt.
g
f
h
FH-Campus Hagenberg
Werner Backfrieder
Folie 16
8
Faltung
Abschätzung des Rechenaufwandes
Objektgröße
MxN
Kernelgröße KxK
Für jeden Bildpunkt K2 Additionen und Multiplikationen
gesamtes Bild: NMK2 Additionen und Multiplikationen
Beispiel: M=N=1000 K=100
1010 Operationen = 10 Mrd. Flops
FH-Campus Hagenberg
Werner Backfrieder
Folie 17
Fourier
Spektralanalyse
Jedes Bild besteht aus einer Überlagerung von 2D-Schwingungen
Jede Schwingung besitzt drei „Kenngrößen“
− Amplitude
− Frequenz in x-Richtung ωx
− Frequenz in y-Richtung ωy
Da es örtlich veränderliche Schwingungen sind, spricht man von
Ortsfrequenzen
Jedem Bild ist ein vollständiges Frequenzspektrum zugeordnet
tiefe
Frequenzen
FT
hohe
Frequenzen
FH-Campus Hagenberg
Werner Backfrieder
Folie 18
9
Fouriertransformation
Basiswellen
FH-Campus Hagenberg
Werner Backfrieder
Folie 19
Fouriertransformation
Transformationspaare
FH-Campus Hagenberg
Werner Backfrieder
Folie 20
10
Faltungstheorem
Vereinfachte Darstellung der Faltung im Frequenzraum
Ortsraum
Frequenzraum
g *h
G⋅H
Objekt g, Abbildungskern h
G, H Fouriertransformierte von g,h
f ij =
N /2
M /2
∑ ∑g
k =− N / 2 l =− M / 2
Fuv = Guv ⋅ H uv
h
i − k , j − l kl
Für jedes i,j: Doppelsumme
und Multiplikationen
Einfache Multiplikation jeder
Frequenzkomponente u,v
Üblicherweise wird die Fouriertransformierte einer Funktion mit Großbuchstaben
gekennzeichnet G=F(g). Die inverse Transformation ist g=F-1(G)
FH-Campus Hagenberg
Werner Backfrieder
Folie 21
Faltungstheorem
Anwendungen
große Matrizen
− Kern h, gleich groß wie Bild g: (NxN)
− N4 Rechenoperationen
− FFT benötigt N2log2(N) Operationen
− Rechenvorteil im Frequenzraum
Lineares Abbildungssystem
− Abbildungskern wird im Frequenzraum multipliziert
− Kern h beschreibt Abbildungssystem, d.h.: Kameraeigenschaften,
Abbildungsfehler, ....
− Kern h bekannt, einfache Möglichkeit der Bildwiederherstellung
Image Restoration
FH-Campus Hagenberg
Werner Backfrieder
Folie 22
11
Image Restoration
Einfacher Abbildungsfehler: Verwackeln
Durch horizontales Verwackeln werden in einem Bildpunkt, mehrere
horizontal benachbarte Objektpunkte addiert.
image kernel ist eine einzeilige Rechtecksfunktion
FH-Campus Hagenberg
Werner Backfrieder
Folie 23
Image Restoration
Inverse Filtering
Im Frequenzraum gilt die Relation
F = G ⋅ H ⇒ F'= F
H
Durch Division mit dem Faltungskern H und inverse FT erhält man
restauriertes Bild f‘
Problem: H besitzt Nullstellen, an denen Division nicht möglich
ist!
i.A. ist exakte Wiederherstellung von g nicht möglich, daher Bezeichnung f‘
FH-Campus Hagenberg
Werner Backfrieder
Folie 24
12
Image Restoration
Inverse Filtering
Singuläre Stellen in F‘ => Nullstellen von H durch kleine Werte
substituieren
Problem: Wahl des Wertes, keine a-priori Methode
Rauschen, z.B. Schneefall beim Fernsehen, ist mit jeder
Abbildungsmethode verbunden.
Rauschen ist statistische Abweichung eines Bildwertes von seinem
Erwartungswert
f = g *h + n F = G ⋅ H + N
n=noise=Rauschen
N=Fourierspektrum
des Rauschens
FH-Campus Hagenberg
Werner Backfrieder
Folie 25
Rauschen
Verteilungsfunktionen p(z) von Zufallsvariablen
gleichverteiltes Rauschen
„salt and pepper“ Rauschen
Gaußsches Rauschen
⎧ 1
⎪
a< z <b
p( z ) = ⎨ b − a
⎪⎩ 0
sonst
⎧ Pa
⎪
p ( z ) = ⎨ Pb
⎪0
⎩
z=a
z =b
sonst
p( z ) = 1
Exponentielles Rauschen
FH-Campus Hagenberg
−
2πσ
⎧ae − az
p( z ) = ⎨
⎩ 0
e
( z −μ )2
2σ 2
z≥0
z<0
Werner Backfrieder
Folie 26
13
Inverse Filtering
Degradation mit Noise
F (u , v) = G (u , v) ⋅ H (u , v ) + N (u , v)
N (u , v)
H (u , v )
Kleine Werte von H(u,v) können das restaurierte Bild F‘ dominieren.
F ' (u , v ) = G (u , v) +
Radiale Eingrenzung, da maximale Werte von F(u,v) rund um den
Ursprung liegen müssen. F(0,0) ist definitionsgemäß Mittelwert der
Pixelwerte.
Lösungsansatz: Radiale Gewichtung des Quotienten F(u,v)/G(u,v)
mit einem Butterworth Tiefpass-Fenster (rc=cut off, n=order,
2
2 1/2
r=(u +v ) )
v
w(r ) =
1
1 + ⎛⎜ r ⎞⎟
⎝ rc ⎠
rc
2n
FH-Campus Hagenberg
u
Werner Backfrieder
Folie 27
Inverse Filtering
Butterworth-Window
w(r ) =
1
1 + ⎛⎜ r ⎞⎟
⎝ rc ⎠
FH-Campus Hagenberg
r
w(r)
0
1
rc
1/2
infty
0
2n
Werner Backfrieder
Folie 28
14
Image Restoration
Wiener Filter
Lösung zum quadratischen Ausgleichsproblem (nach Wiener 1942)
f = g *h + n
e 2 = ∑ ( g (i, j ) − f ' (i, j )) 2
i, j
Minimierung des Fehlers e
2
Lösung:
F ' (u , v) =
H * (u , v ) G (u , v )
2
G (u , v) H (u , v) + N (u, v)
2
2
2
F (u , v )
i.A. keine Nullstellen im Nenner
FH-Campus Hagenberg
Werner Backfrieder
Folie 29
Wiener Filter
Diskussion
F ' (u , v) =
H * (u , v ) G (u , v )
2
G (u , v) H (u , v) + N (u, v)
2
2
2
F (u , v )
Symbole
H * komplex Konjugierte (a + ib)* = (a-ib)
2
N noise power spektrum
2
G power spektrum undegraded image
G und N sind a-priori nicht bekannt!
Modellierung mit empirischer Konstante K
2
F ' (u , v) =
H (u , v)
1
F (u, v)
H (u , v) H (u, v) 2 + K
FH-Campus Hagenberg
K = N (u , v)
2
G (u , v)
2
Werner Backfrieder
Folie 30
15
Richardson-Lucy Deconvolution
Endfaltung im Ortsraum
f i = ∑ hij ⋅ g j
j
Objekt gi und beobachtetes Bild fi werden als Vektoren dargestellt
Abbildungskern hij gewichtet die Pixel von g, die zum Pixel fi
beitragen
Iterativer Algorithmus zur Berechnung von g*
Initialbild g(0)
Zwischenbild
g* ist eine Approximation
an das wahre Objekt g.
g(n)
Korrektur g(n)->g(n+1)
nein
Abbruch |g(n)-g(n+1)|<ε
g*=g(n+1)
FH-Campus Hagenberg
Werner Backfrieder
Folie 31
Schritte der RLD
Initialbild
ci = ∑ hij ⋅ g j
g(0)
j
Zwischenbild c(g(n))
gj
Korrektur g(n)->g(n+1)
(n)
nein
( n +1)
= gj
( n)
∑h
ij
i
⋅
fi
ci
Abbruch |g(n)-g(n+1)|<ε
g*=g(n+1)
FH-Campus Hagenberg
Alle Bildpunkte i die in die
Berechnung des Objektpunktes
gj einbezogen werden.
Werner Backfrieder
Folie 32
16
Beispiel Astronomie
Adler-Nebel: Die linke Aufnahme zeigt leichte Unschärfen durch Defokusierung
und Fehler in der Kameranachführung, recht ist die Restauration durch den
Richardson-Lucy Algorithmus dargestellt.
FH-Campus Hagenberg
Werner Backfrieder
Folie 33
17