Zusammenfassung PDF

Preview

Summary

Download Zusammenfassung PDF

Description

Zusammenfassung DBV

Dezember 2011

Dozent: Herr LAUSEN Ruwen ‘Die Stirn’ Möhrlein, Matthias ‘The Best´ Gewittermann, Simon ‘The One’ Metzger

hallo Inhaltsverzeichnis I Definition Digitale Bildverarbeitung a) Definition b) Ziele c) Die 5 Bestandteile eines DBV-Systems II Farbwelten/Farbräume a) Additiv/Subtraktiv b) Umrechnung RGB nach CMYK = Farbseparation c) YUV d) YIQ e) 4:2:2 Farbunterabtastung f) CIE-System III CCD a) Physik b) Rausch-Anteile c) Bayer-Maske d) Arten von CCD e) Moiré-Effekt f) Alias-Effekt IV Operatoren a) Punktoperationen a/1) Histogramm-Ausgleich a/2) Lineare Transformationen zur Helligkeits- und Kontrastanpassung a/3) Homogene PO => LookUpTable a/4) Inhomogene (z.B. Shading-Korrektur) a/5) Gammakorrektur b) Unterschied Kontrast/Dynamik auf dem Histogramm c) Lokale Operatoren c/3) LSI - linear-shifting-invariant c/4) Einen LSI-Filter entwerfen c/5) Nichtlineare-Filter (z.B. Medianfilter) c/6) Der Sobel-Operator d) Globale Operatoren d/1) zweidimensionale DCT (diskrete Kosinus-Transformation) d/2) zweidimensionale FFT (Fast Fourier-Transformation) e) Morphologische Operatoren e/1) Erosion & Dilatation e/2) Erosionsoperator e/3) Dilatationsoperator e/4) Skelettierung e/5) Opening (Anwenden können) e/6) Closing (Anwenden können) e/7) Hit-or-Miss-Operator

1

f) Spezielle Bildoperatoren f/1) Harris-Eckendetektor f/2) Hough-Transformation f/3) Distanztransformation V Binäres Bild a) 4er und 8er Nachbarschaft labeln b) Umfang und Fläche bestimmen c) Merkmalsraum aufspannen VI Segmentieren a) Otsu b) Flood-Filling (4er und 8er) c) Wasserscheidentransformation c/1) Wie funktioniert es? (Anwenden können) c/2) Vor-/Nachteile VII Klassifizieren a) Neuronale Netze a/1) Ablauf a/2) Training a/3) Gradientenabstieg a/4) Lernrate b) K-Means VIII Kompression a) Quellkodierung (DCT) b) Entropiekodierung (LZW, Huffmann) c) Hybridkodierung (JPEG)

I Definition Digitale Bildverarbeitung a) Definition 1. Die Digitale Bildverarbeitung stellt Methoden und Techniken zur Verfügung, um natürliche Bilder zu transformieren, zu modifizieren oder zu kodieren. 2. Im Gegensatz zur Bildbearbeitung, welche sich mit der Manipulation von Bildern zur anschließenden Darstellung beschäftigt, umfasst die Bildverarbeitung weitergehende Bearbeitungsprozeduren zur Extraktion von Informationen aus den Ursprungsdaten: z.B. Bewegungsbestimmung, Bildsegmentierung, Bilderkennung, Mustererkennung.

b) Ziele 1.) Bildverbesserung / Bildtransformation 2.) Mustererkennung / Bildinterpretation

c) Die 5 Bestandteile eines DBV-Systems 1- Bilderfassung 2- Vorverarbeitung 3- Segmentierung

2

4- Merkmalsextraktion 5- Klassifizierung

II Farbwelten/Farbräume a) Additiv/Subtraktiv Additiv: ● Als additive Farbmischungen werden alle Verfahren bezeichnet, bei denen die Farbreize von einer meist schwarzen Fläche ausgehend durch das Hinzufügen von Farbreizen erzeugt werden. ● Bsp: RGB: (0,0,0) = Schwarz (255,255,255) = Weiß Fehlt eine der 3 Primärfarben entsteht Gelb, Cyan oder Magenta ● z.b. RGB = Monitor Subtraktiv: ● Entspricht der Hintereinanderschaltung von Farbfiltern Kein Filter = weiß, Alle Filter = schwarz ● K = zusätzliche Druckfarbe (schwarz) -> bessere Deckung/Vergrößerung des erzeugbaren Farbbereichs ● Bsp: CMYK (Drucker) durchsichtige Farbschichten Cyan, Magenta, Gelb werden auf weißen Untergrund übereinandergelegt

b) Umrechnung RGB nach CMYK = Farbseparation (CMY) = 1 - (RGB) bzw.

(RGB) = 1 - (CMY)

C = 100% - Prozentualanteil(R) M = 100% - Prozentualanteil(G) Y = 100% - Prozentualanteil(B) danach nach CMYK: K = min{C,M,Y} C’ = C - K M’ = M - K Y’ = Y - K → CMYK ist mehrdeutig, eine Farbe hat mehrere Darstellungsmöglichkeiten (gleichemäßige Absenkung der 3 Grundfarben, dann entsprechend K hinzufügen)

c) YUV ● ●

bei analogem Farbfernsehen Darstellung: Y = Luminanz (Lichtstärke/Fläche)

U/V = Chrominanz (Farbanteil)

3

d) YIQ ● ● ● ● ●

Luminanz Y Farbdifferenz I (Cyan-Orange Balance) Farbdifferenz Q (Magenta-Grün Balance) analoges NTSC-Fernsehen Farbebene um 33° gedreht gegenüber YUV-Modell

e) 4:2:2 Farbunterabtastung ● ●

Farbunterabtastung: Verfahren, um Chrominanz mit einer gegenüber der Luminanz reduzierten Abtastrate zu speichern -> Reduktion des Speicherplatzes (z.b. JPEG) 4:2:2 für digitale Videosignale

f) CIE-System ●

drei künstliche Grundfarben

III CCD a) Physik ● ●

Halbleiter-Bildsensor (zur Bildaufnahme) besteht aus großer Anzahl fotosensitiver Elemente (Zellen/Pixel)

Akkumulationsphase: jedes Element sammelt elektr. Ladungen, die von absorbierten Photonen (=Licht) erzeugt werden. Das ist durch das P-dotieren möglich. Die Photonen heben Elektronen vom Valenz- ins Leitungsband. Es entstehen Elektronen-Loch-Paare. Auslesephase: Diese Ladungen werden nacheinander von Sensorelement zu Sensorelement über den Chip transportiert und schließlich in elektr. Spannung umgewandelt. -> Diese Signale werden in Sequenzen von Zahlen digitalisiert -> von Computern verarbeitbar.

4

1-CCD 1 Chip mit Matrix aus Zellen. Jede Zelle hat Farbfilter (Bayer-Maske). -> jeder Pixel hat eine Farbe 3-CCD Drei Chips, die über Prismen mit dem Licht RGB bestrahlt werden. > 3 Bilder entstehen -> Übereinanderlegen ergibt ürsprüngliche

Farben

b) Rausch-Anteile vier wesentliche Komponenten 1. Dunkelstromrauschen -> temperaturabhängig (Elektronen lösen sich ungewollt durch Wärmeeinfluss) -> entsteht durch Ladung direkt auf Chip -> 10° mehr bedeutet Verdopplung des Rauschanteils (2-3% der gesättigten Pixel) -> Verringerung durch Kühlung der CCD Kamera 2. Photonenrauschen -> Ungenauigkeiten beim Messen des Lichts -> Durchschnittlich: Wurzel(Summe der Photonen)

5

-> nicht lineare Zunahme, daher bei steigender Zeit Abnahme des Rauschens

6

3. Ausleserauschen/CCD-Rauschen -> Beim Weiterschieben der Ladung von einem Pixel in den abgedunkelten Bereich -> ca 5-10 Elektronen/Pixel betroffen 4. Verstärkerrauschen -> bei Signalverstärkung -> ca 20-130 Elektronen/Pixel Summe aller Rauschanteile / Summe der Photonen pro Pixel =

“Dynamik”

c) Bayer-Maske ● ● ● ●

Die bisher beschriebenen elektronische Vorgänge liefern Helligkeitswerte aber keine Auskunft über die Farbe. Bayer-Maske: zeilenweise rot/grüne mit grün/blauen Pixeln abwechseln grün doppelt, da Mensch auf grün mehr reagiert -> soll hochauflösender sein durch Interpolation der drei Grundfarbenwerten aus den jeweils benachbarten Pixeln kann der ursprüngl. Farbton errechnet werden.

Pixellüge Eigentlich ist 1 Zelle = 1Pixel Hier: 4 Zellen = 1 Pixel

d) Arten von CCD Problem: Beim Auslesen darf kein Licht mehr auf den Chip einfallen. Daher gibt es verschiedene Lösungen. ●

Full-Frame-CCD-Sensor Hat einen mechanischen Verschluss, der beim Auslesen ZU ist. Gibt es auch in einer Abwandlung, bei der nur 50% geschlossen sind (heißt Frame-CCD-Sensor). Die anderen 50% können noch beleuchtet werden.

7

●

Interline-CCD-Sensor Jede Zelle hat eine verdunkelte benachbarte Zelle. Die Ladung wird dorthin verschoben.

e) Moiré-Effekt = Spezialfall des Alias-Effekt

●

macht sich bei der Überlagerung von regelmäßigen feinen Rastern durch zusätzliche scheinbare grobe Raster bemerkbar. (Rasterung = Umwandlung einer Vektor- in eine Rastergrafik. Rastergrafik=Pixelgrafik)

Ursachen ● Übereinanderliegende Raster mit gleicher Teilung sind gegeneinander verdreht ● Die übereinander liegenden Raster haben untereinander minimal ungleiche Teilung f) Alias-Effekt = im Bereich der Signalanalyse Fehler, die durch die Nichtbeachtung des Abttasttheorems (zu geringe Abtastfrequenz) beim digitalen Abtasten von Signalen auftreten. In der Bildverarbeitung und Computergrafik treten Alias-Effekte bei der Abtastung von Bildern auf und führen zu Mustern, die im Originalbild nicht enthalten sind. ●

Der Treppeneffekt, der bei der Rasterung geometrischer Figuren auftritt, wird oft als Aliasing bezeichnet (daher auch der Begriff Antialiasing), obwohl es sich bei ihm nicht um „echtes“ Aliasing im Sinne der Signalanalyse handelt.

Das Bild links hat Signalteile oberhalb der NYQUIST-Frequenz. Beim Abtasten mit nur 30 Punkten kann nur das Muster in der Mitte richtig abgetastet werden. In den Randbereichen übersteigt die 8

Ortsfrequenz des Bildes die NYQUIST-Frequenz. Es entstehen dort bei der Rekonstruktion AliasObjekte in Form von Kreisen. Bei Anti-Aliasing wird versucht dies zu vermindern, indem mehrere Abtastungen pro Pixel vorgenommen werden.

IV Operatoren a) Punktoperationen Punktoperatoren transformieren jeweils nur das betrachtete Pixel unabhängig von dem Gesamten Bild bzw. der Nachbarschaft. - Änderung von Kontrast und Helligkeit - Anwendung beliebiger Helligkeitskurven - Invertieren und Addieren von Bildern - Schwellwertbildung - Gammakorrektur a/1) Histogramm-Ausgleich Ziel: Bild durch homogene Punktoperation so verändern, daß es ein gleichverteiltes Histogramm aufweist. Gleichverteilte Grauwerte haben theoretisch den höchsten Informationsgehalt. - Verfahren zur Kontrastverbesserung in Grauwertbildern - Berechnung einer Gleichverteilung aus der Grauwertverteilung um kompletten Wertebereich optimal auszunutzen - Diese Methode kommt besonders in solchen Fällen zur Anwendung, bei denen die interessanten Bildbereiche einen relativ großen Teil des Bildes ausmachen (die entsprechenden Grauwerte also überdurchschnittlich häufig vorkommen) und ihre Grauwerte auf einen kleinen Bereich der Grauwertskala begrenzt sind. - häufige Grauwerte werden “auseinandergezogen” - weniger häufige Grauwerte werden “zusammengeschoben”

9

a/2) Lineare Transformationen zur Helligkeits- und Kontrastanpassung a/3) Homogene PO => LookUpTable LookUp Tabellen dienen vor allem der Performance Steigerung, da Berechnungen nicht unnötigerweise mehrfach durchgeführt werden. Für alle vorkommenden Grauwerte in einem Bild wird die Transformation einmal durchgeführt und das Ergebnis in der Lookup Table abgelegt. Der Ursprüngliche Grauwert dient dann als Index für den transformierten Wert. Grauwert bzw. Index

transformierter Grauwert

100

transformierter Grauwert für 100

189

-------------””------------------- 189

255

-------------””------------------- 255

ODER ● ● ● ● ●

Farbwerte werden in einer Tabelle gespeichert Bild besteht nur aus Indizes Tabelle muss in der Bildkodierung mit abgespeichert werden Farben/Grauwerte können verändert werden, durch Ändern der Tabelle Tabelle muss nur einmal berechnet werden, danach nur noch abgefragt

a/4) Inhomogene (z.B. Shading-Korrektur) keine LUT möglich.

10

Bei der Aufnahme eines digitalen Bilds treten oftmals Hintergrundsignale auf die das bildgebende Verfahren überlagern.Dieses Signal kann eine Inhomogenit¨at der Beleuchtung verursachen. Sind diese St ¨oreinfl ¨ usse bekannt, k¨onnen sie in einer so genannten Shadingmatrix gespeichert werden. Mittels der Shadingmatrix kann dann das jeweilige Bild durch eine Shadingkorrektur (auch: Hintergrundkompensation) verbessert bzw. der Fehleranteil im Signal minimiert werden. Diese Operation kann multiplikativ oder additiv erfolgen. a/5) Gammakorrektur Veränderung der Helligkeit in verschiedenen Farb-/Graubereichen. Ueblicherweise verwendet man die Gamma-Funktion, um die unterschiedliche Helligkeit der Farben an verschiedenen Bildschirmen und auf Papier zu korrigieren. Ein Gamma-Wert von 1.0 resultiert in einer geraden Linie, d.h. 1:1-Zuordnung. Gamma-Werte zwischen 0 und 1 resultieren in exponentiellen Kurven, d.h. Verdunkelung. Gamma-Werte über 1.0 resultieren in logarithmischen Kurven, d.h. Aufhellung. Man spricht in diesem Zusammenhang von Gamma-Korrektur.

b) Unterschied Kontrast/Dynamik auf dem Histogramm Dynamik: Die Dynamik gibt an wie viele Grauwerte besetzt sind Kontrast: Der Kontrast eines Histogramms wird an der Breite der besetzten Werteskala gemessen. Die Spannweite des Histogramms gibt den Kontrast an. Kontrast kann man "spreizen", d.h. die Minimal- und Maximalwerte heraufsetzen.

c) Lokale Operatoren Lokale Operatoren verändern Pixel in Abhängigkeit von Umgebung dieses Pixels. Sie berechnen einen neuen Farb- oder Grauwert eines Pixels immer auf Basis einer Nachbarschaft oder einer örtlich begrenzten Region um das Pixel durch Linearkombination. Hier seien als Beispiele Rangordnungsoperatoren oder morphologische Operatoren genannt. c/1) Definition Nachbarschaft = eine kleine, definierte Bildregion um ein Pixel Viele Operatoren betrachten die Pixel innerhalb einer Nachbarschaft, um für ihren Mittelpunkt einen neuen Farb- oder Grauwert zu berechnen. ●

4er-Nachbarschaft:

●

8er-Nachbarschaft:

11

c/2) Randproblem Werden Nachbarschaftsoperatoren auf ein best. Pixel angewendet werden zur Berechnung die Pixel in der Nachbarschaft dieses Pixels benötigt. Pixel die am Rand liegen haben jedoch nicht in jeder Richtung Nachbarn (=Randproblem). Die einfachste Lösung ist, diese Randpixel unbearbeitet zu übernehmen.

Soll jedes Pixel im neuen Bild ein bearbeitetes Pixel sein, so gibt es folgdene Möglichkeiten: Bild g’ ist kleiner, da Randpixel weggelassen werden 1. Weglassen: Nullgradienten-Methode = Gleicher Rand nomml dransetzen 2. Randverdopplung: entsprechend den naheliegenden Pixeln anpassen 3. Extrapolation: 4. Periodische Fortsetzung: = zyklische Faltung,Bild sollte annähernd periodisch sein . wie wenn Bild auf allen Seiten nochmal drangesetzt wäre Mit Nullen auffüllen: Bild um ein Pixel mit Nullen vergrößern (0en drumrumlegen) 5. c/3) LSI - linear-shifting-invariant Linear verschiebungsinvariante Filter sind Operationen/ Verfahren bei denen durch Matrizenmultiplikationen ein Bild bearbeitet wird. (Bsp: Glättung [Rauschunterdrückung]). ● LSI-Filter sind Faltungsoperationen; Jeder LSI-Fälter lässt sich als Faltung darstellen ● Linear-verschiebungsinvariant: ○ Anwendungsreihenfolge egal (kommutativ) ○ zerlegbar (distributiv) ○ zusammenfassbar (assotiativ) ● Anwendungen: ○ Kantendetektion (Laplace - Operator: berechnet Summe der 2.Ableitungen) ○ Glättung (Laplacian of Gaussian - LoG) ● Beispielfilter: Mittelwert, Laplace of Gaußian, Gauß (→ weniger Oberschwingungen) c/4) Einen LSI-Filter entwerfen Bsp: Entwurf eines 3x3 Gaußfilters 1. Pascalsches Dreieck: 1 11 121 ← 2. Matrix entwerfen: 121 1 2 1 2 → 2 (2*2) (2*1) 1 “Falten” 1 (1*2) (1*1)

=

1 2 1 2 4 2 1 2 1

c/4) Einen LSI-Filter anwenden Bsp: Anwendung eines 3x3 Mittelwertoperators.

12

Kern h:

mit anschließender Rundung auf ganze Zahlen

Beachten: Randproblem tritt auf! Hier gelöst mittels Auffüllen mit Nullen c/5) Nichtlineare-Filter (z.B. Medianfilter) ● können nicht durch Faltung beschrieben werden ● Bsp Median: gehört zu den Rangordnungsfiltern (nicht linear) Vorteil: keine Kantenglättung, stabil gegen Ausreißer ● Sinnvoll zum Beispiel zum Filtern von Störpixeln (siehe Bild-Beispiel unten) Prinzip von Rangordnungsfiltern Bei Rangordnungsfiltern werden die Grauwerte der Pixel in einer definierten Umgebung des Pixels aufgesammelt, nach der Größe sortiert und in eine Rangordnung gebracht. Nun wird ein Grauwert aus dieser Liste gewählt, der den Grauwert des Pixels ersetzt. (beim Medianfilter der Wert in der Mitte) ●

Bsp für Median: 3x3 Filterregion: 372 100 958

-> Es geht also hier darum die “0” in der Mitte mit einem guten Grauwert zu ersetzen. 3 7 2 1 0 0 9 5 8 der Größe nach geordnet ergibt: 0 0 1 2 3 5 7 8 9 -> 3 ist der Median → Der Grauwert “0” wird durch den Grauwert “3” ersetzt.

Durch den Medianfilter entsteht ein leicht unscharfes Bild ohne bildfremde Kanten. Aber trotz des

13

unschärferen Bildes hilft der Filter oft, um ein Bild besser zu erkennen, wie zum Beispiel hier:

Zweck des Median-Operators ist es, aus einem winterlichen Bilde voller Schneeflocken die Gesichtszüge (Fratze) einer hässliche Frau hervorzuzaubern. c/6) Der Sobel-Operator Der Sobeloperator zählt zu den Hochpassfiltern die Strukturen/Kanten in Bildern verstärken. Der Sobeloperator arbeitet mit einer 3x3 (5x5) Faltungsmaske. Je nach Wahl der Matrixelemente können horizontale, vertikale oder diagonale Kanten verstärkt werden. :) Vorteil: funktioniert gut bei Kontrastarmen Bildern Nachteil: viele Informationen gehen verloren und lange Rechendauer

d) Globale Operatoren Globale Operatoren betrachten für die Transformation eines jeden Pixels immer das gesamte Bild, was

14

beispielsweise bei der Fouriertransformation der Fall ist. Mittels dieser Transformationen lassen sich Störfrequenzen aus einem Bild entfernen. Vorgehensweise: - Bild Transformieren von Zeit(Bild)- nach Frequenzbereich - Störfrequenzen lokalisieren - Störfrequenzen Null setzen - Inverse Transformation durchführen um wieder in (Zeit)Bildbereich zu kommen

->

d/1) zweidimensionale DCT (diskrete Kosinus-Transformation) Müssen wir wohl nicht genau können -> Funktionsweise/Zweck siehe oben. d/2) zweidimensionale FFT (Fast Fourier-Transformation) Müssen wir wohl nicht genau können -> Funktionsweise/Zweck siehe oben. RUWEN UND MATZE, ihr seid die BESTEN! :)

e) Morphologische Operatoren ● ● ● ●

= Morphologische Filter , die die Struktur von Bildern beeinflussen (auf Binärbildern) Idee: Strukturen in Bildern schrumpfen oder wachsen lassen I = Originalbild, H = Maske (ggf. Nachbarschaft) Einsatzmöglichkeiten von morphologischen Operatoren: ○ Detektion bestimmter Formelemente ○ Detektion eines Umrisses ○ Erzeugen eines Distanzbildes ○ Skelettierung eines Objekts ○ Outline (Randerkennung) (innerer Umfang) ■ erst Erosion (Randpixel werden zunächst entfernt)

15

○

■ Dann invertieren des Bildes I‘ und Schnittmenge mit Original berechnen Zusammengesetzte morph. Operatoren: Opening, Closing, Hit-Mis

e/1) Erosion & Dilatation ● sind dual: Dilatation des Vordergrunds = Erosion des Hintergrunds ● vgl: Dilatation = Addition, Erosion = Subtraktion e/2) Erosionsoperator ● 1→0 ● I (-) H ● Prinzip: “Prüfe jede 1 im Originalbild. Ist in Nachbarschaft mind. eine 0, mach Feld zu 0.” ● → Objekt schrumpft ● Eine Erosion = ein Durchgang durch Binärbild ● Anwendung: Rand extrahieren, Skelettieren ● ist NICHT kommutativ (vgl Subtraktion)

e/3) Dilatationsoperator ● 0→1 ● I (+) H ● Prinzip: “Prüfe jede 0 im Originalbild. Ist in Nachbarschaft mind. eine 1, mach Feld zu 1.” ● → Objekt wächst ● kommutativ

e/4) Skelettierung ● Voraussetzung: Binarisiertes Bild (Anmerkung: Binarisierung: Schwellwertuntersuchung) ● Ziel: Erzeugen einer dünnen (1 Pixel breiten) Linie bzw. 1 Pixel breites Skelett, das die Form des Segments (zusammenhängende Fläche) darstellt ● so lange Erosion bis nur noch ein einpixelbreites Skelett übrig bleibt.(Abbruchbedingung) ● → wiederholt sich solange bis sich nichts mehr ändert

e/5) Opening (Anwenden können) 16

● ● ● ● ●

Kleine Strukturen und dünne Linien verschwinden Prinzip: [ I (-) H ] (+) H ⇔ erst Erosion, dann Dilatation Bild ist nachher ca. gleichgroß idempotent (bei erneuter Anwendung ändert sich das Bild nicht) zu Closing dual (Opening des Vordergrunds = Closing des Hintergrunds)

e/6) Closing (Anwenden können) ● Löcher und kleine Zwischenräume werden gefüllt. ● Prinzip: [ I (+) H ] (-) H ⇔ erst Dilatation, dann Erosion ● Bild ist nachher ca. gleichgroß ● idempotent e/7) Hit-or-Miss-Operator ● Werkzeug zur Detektion von Objekten bestimmter (bekannter) Form ● 1. Schritt: Erodieren des Bildes mit einer Maske die der gewünschten Form entspricht Beispielmaske: M1 = {1, 1, 1} Hierbei werden Objekte die kleiner a...