Klausur Wintersemester 2015/2016, Fragen und Antworten PDF

Preview

Summary

Fakult¨at fu¨r Informatik Institut fu¨r Anthropomatik und Robotik (IFA) Lehrstuhl Prof. Waibel Aufgabenbl¨atter zur Klausur Neuronale Netze“ ” am 10.10, 11:30 - 12:30 Uhr • Beschriften Sie bitte gleich zu Beginn jedes L¨osungsblatt deutlich lesbar mit Ihrem Namen und Ihrer Matrikelnummer. • Diese Au...

Description

Fakult¨at f¨ur Informatik Institut f¨ur Anthropomatik und Robotik (IFA) Lehrstuhl Prof. Waibel

Aufgabenbl¨atter zur Klausur Neuronale Netze“ ” am 10.10.2016, 11:30 - 12:30 Uhr • Beschriften Sie bitte gleich zu Beginn jedes L¨osungsblatt deutlich lesbar mit Ihrem Namen und Ihrer Matrikelnummer. • Diese Aufgabenbl¨atter werden nicht abgegeben. Tragen Sie Ihre L¨osung deshalb ausschließlich in die f¨ur jede Aufgabe vorgesehenen Bereiche der L¨osungsbl¨atter ein. • Von den 5 Aufgaben m¨ussen Sie nur 4 bearbeiten. Bitte streichen Sie die Aufgabe, die sie nicht bewertet haben wollen deutlich durch. Sollten Sie keine Aufgabe streichen, so wird Aufgabe 5 nicht bewertet. • Außer Schreibmaterial, Lineal, Geodreieck und Zirkel sind w¨ahrend der Klausur keine Hilfsmittel zugelassen. T¨ auschungsversuche durch Verwendung unzul¨assiger Hilfsmittel f¨ uhren unmittelbar zum Ausschluss von der Klausur und zur Note nicht ” bestanden“. • Halten Sie Begr¨undungen oder Erkl¨arungen bitte so kurz wie m¨ oglich. (Der auf den L¨osungsbl¨ attern f¨ ur eine Aufgabe vorgesehene Platz steht ¨ubrigens in keinem Zusammenhang mit dem Umfang einer korrekten L¨osung!) ¨ • Die Gesamtpunktzahl betr¨agt 60 Punkte (+ max. 4 Punkte aus der Ubung). Zum Bestehen der Klausur sind mindestens 20 Punkte aus der Klausur zu erreichen. • Verwenden Sie weder Rotstift noch Bleistift. Alle L¨ osungen in rot oder mit Bleistift werden nicht gewertet.

Viel Erfolg!

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

Aufgabe 1

2

Perzeptron & Boltzmann-Maschine (15 Punkte)

Als Aktivierungsfunktion sollte in dieser Aufgabe immer die Heaviside-(Schritt)-Funktion verwendet werden ( 0, x < 0, ϕ(x) = 1, x ≥ 0,

1. Perzeptron mit drei Eing¨ angen

2 P.

Skizzieren Sie ein Perzeptron mit Ausgang y und drei Eing¨angen x1 ,x2 ,x3 Unterstreichen Sie die Parameter, die von dem Perzeptronalgorithmus gelernt werden. 2. Perzeptronfunktion

1 P.

Ihr skizziertes Perzeptron beschreibt eine Funktion y = f (~x). Geben Sie diese Funktion an. 3. Fehler¨ ubermittlung mit einem Perzeptron Sie verbauen in einem System drei einfache Feuchtigkeitssensoren, die bei Feuchtigkeit eine 1 und sonst eine 0 ausgeben. Leider sind diese Sensoren dazu geneigt ab und zu mal falschpositive Ausgaben zu erzeugen (geben 1 aus, obwohl sie 0 ausgeben sollten). Aus diesem Grund vertrauen Sie deren Ausgabe erst wenn mindestens zwei der drei Feuchtigkeitssensoren Feuchtigkeit anzeigen und entwickeln Sie daf¨ur eine Feuchtigkeits¨uberpr¨ufungskomponente. Skizzieren Sie ein Perzeptron mit geeigneten Gewichten welches diese Komponente realisieren kann.

3 P.

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

3

4. L¨ osbares Problem?

2 P.

Kann ein Perzeptron mit den Eing¨angen x1 , x2 , x3 und Angang y dieses Problem l¨ osen? Skizzieren Sie entweder ein Perzeptron mit geeigneten Gewichten oder erkl¨aren Sie warum es nicht durch ein Perzeptron gel¨ost werden kann. x1 0 0 0 0 1 1 1 1

x2 0 0 1 1 0 0 1 1

x3 0 1 0 1 0 1 0 1

y 0 1 0 1 1 0 1 0

5. Das Xor-Problem

4 P.

Das Xor-Problem ist bekanntermaßen nicht durch ein Perzeptron l¨ osbar. Was ist das Xor-Problem? K¨onnen Sie es mit einem mehrschichtigen neuronalen Netz l¨osen? Skizzieren Sie entweder ein minimales neuronales Netz mit geeigneten Gewichten oder zeigen Sie mathematisch, warum das Problem nicht durch ein mehrschichtes neuronales Netz gel¨ost werden kann. Hinweis: Alle Neuronen im Netz sollen immernoch die Heaviside-(Schritt)-Funktion als Aktivierungsfunktion verwenden. 6. Boltzmann-Maschine a) Skizzieren Sie eine Boltzmann-Maschine mit 2 Hidden Units und 3 Visible Units. Hinweis: b) Erkl¨ aren Sie wie eine Unit aktiv (Output=1) wird.

3 P.

4

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

Aufgabe 2

Trainieren von Neuronalen Netze (15 Punkte)

1. Oscar-Vorhersage

3 P.

Um ein Neuronales Netz zu trainieren, welches die Gewinner der n¨achsten Oscars vorhersagen kann, sammeln Sie Daten u ¨ ber Schauspieler. Listen Sie 6 Daten (bzw. Merkmale), die daf¨ ur n¨ utzlich sein k¨onnten und decken dabei alle Featuretypen (nominal, ordinal, interval und ratio) ab. 2. Daten

5 P.

(a) Zum trainieren eines neuronalen Netz bekommen Sie eine Menge von gelabelten Daten X. In welche Submengen m¨ussen Sie diesen Daten aufteilen um ihr Netz zu trainieren und u ¨berzeugend dar¨uber zu berichten? Erkl¨aren Sie kurz, warum diese Subdatens¨ atze ben¨ otigt werden. (b) Betrachten Sie folgenden Datenausschnitt aus der Datenmenge X ... x10 ... 24.5 ... 13.6 ... 32.1 ... 33.1 ... 50.1 ... 28.0 ... 19.1 ... 23.6 ... ...

x11 1 0 1 1 0 0 1 0 ...

x12 45 19 61 19 39 29 31 45 ...

x13 x14 x15 x16 120 1.91 -12032 12.3 66 1.73 3400 0 91 1.81 502032 15.2 80 1.85 -189 15.8 52 1.61 48030 0 70 1.73 -4321 0 54 1.62 17677 13.2 72 1.70 -31298 0 ... ... ... ...

x17 1 1 1 1 1 0 1 1 ...

x18 0 0 1 0 1 0 0 1 ...

... y ... 0 ... 1 ... 1 ... 1 ... 1 ... 0 ... 0 ... 1 ... ...

Erkl¨aren Sie zwei der Probleme die beim Trainieren eines neuronalen Netzes mit X aufkommen k¨onnten. Geben Sie L¨osungsvorschl¨age an.

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

5

3. Formel zur Generalisierung

2 P.

Das Verh¨altnis zwischen Validierungsfehler Evalid und Trainingsfehler Etrain kann durch eine Formel Evalid = f (Etrain ) ausgedr¨ uckt werden. Von welchen Variablen h¨angt dieses Verh¨altnis ab. Geben Sie die Formel an. Hinweis: Es reicht die Variante f¨ur lineare Systeme. 4. Fehlerverlauf 1 Betrachten Sie das folgende Schaubild.

(a) Erkl¨ aren Sie welches Problem hier beim Training aufgetreten ist. (b) Beurteilen Sie die Generalisierung des Netzes. (c) Geben Sie zwei L¨osungvorschl¨age an ohne den Trainingsalgorithmus zu a¨ndern. (d) Zeichnen Sie die neuen Fehlerkurven.

4 P.

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

6

5. Fehlerverlauf 2 Betrachten Sie das folgende Schaubild.

(a) Erkl¨ aren Sie welches Problem hier beim Training aufgetreten ist. (b) Beurteilen Sie die Generalisierung des Netzes. (c) Geben Sie bei gleich bleibenden Daten einen Verbesserungsvorschlag an ohne den Trainingsalgorithmus zu a¨ndern.

2 P.

7

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

Aufgabe 3

Backpropagation

(15 Punkte)

In dieser Aufgabe wird Backpropagation auf ein MLP mit j Neuronen angewendet mit: Fehlerfunktion: E Gewichte: wi Aktivierungsfunktion: ϕ Neuronenoutputs: oj = ϕ(netj ) P Neuroneninputsumme: netj = xi wi Neuroneninputs: xi , f¨ur tiefere Neurone gilt xi = oj

1. Aktivierungsfuntionen

2 P.

Welche bekannten Aktivierungsfuntionen k¨onnen beim Training tiefer neuronale Netze mit Backpropagation nicht durchgehend verwendet werden? Begr¨ unden Sie ihre Antwort. Hinweis: Diese tiefen neuronalen Netze sollten auch Probleme wie das Xor Problem lernen k¨onnen. 2. Backpropagation Varianten

6 P.

(a) Vergleichen Sie die Vor- und Nachteile von Stochastic Gradient Decent (SGD), Batch-Backpropagation und Minibatch-Backpropagation. (b) Geben Sie f¨ ur jede Variante die Gewichtsupdateregel an. Hinweis: Verwenden Sie als partielle Ableitung der Fehlerfunktion 3. Ableitung von

∂E ∂wi

∂E ∂wi

bei Stochastic Gradient Decent (SGD)

3 P.

(a) Vereinfachen Sie die partielle Ableitung der Fehlerfunktion E nach dem Gewicht wi , welches zu Neuron j in der Ausgabeschicht f¨uhrt. Notieren Sie welche mathematische Regel Sie verwendet haben. (b) Was bedeuten die resultierenden Terme? 4. Alternative Fehlerfunktion Zum Trainieren eines neuronalen Netzes werden zwei ableitbare Fehlerfunktionen vorgeschlagen E1 & E2 . Da beide gut funktionieren erstellen Sie eine neue Fehlerfunktionen En = 21(E1 + E2 ). Zeigen Sie mathematisch, wie sich die Gewichtsupdateregel bei SGD entsprechend ver¨andert.

4 P.

8

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

Aufgabe 4

Vier-Gewinnt

(15 Punkte)

Mit Hilfe eines Neuronalen Netzes und Reinforcement Learning soll eine KI f¨ur das Spiel Vier-Gewinnt trainiert werden. Vier-Gewinnt wird auf einem senkrecht stehenden hohlen Spielbrett mit 7 Spalten (-3,-2,-1,0,1,2,3) und 6 Reihen gespielt. Das Neuronale Netz soll die Rolle vom gelben Spieler ¨ubernehmen. • Die Spieler (1 = Gelb, 2 = Rot) lassen abwechselnd ihre Steine in das Spielbrett fallen. • Die Steine fallen bis zum untersten freien Platz der Spalte. • Gewinner ist der Spieler, der es als erstes schafft, vier oder mehr seiner Spielsteine waagerecht, senkrecht oder diagonal in eine Linie zu bringen. • Das Spiel endet unentschieden, wenn das Spielbrett komplett gef¨ullt ist, ohne dass ein Spieler eine Viererlinie gebildet hat. 1. Feature-Extraktion und Zustandsraum

3 P.

(a) Geben Sie eine n¨utzliche Kodierung von Zust¨ anden (Spielpositionen) an. Ihre Kodierung soll als Eingabe zu einem neuronalen Netz verwendet werden. (b) Erzeugen Sie mit ihrer Kodierung einen Featurevektor f¨ur die Spielposition in der Zeichnung. (c) Wie viele m¨ogliche Spielpositionen gibt es? Sch¨atzen Sie den Zustandsraum nach oben ab. Hinweis: Ihre Sch¨atzung kann unm¨ ogliche Spielpositionen enthalten, solange Sie erw¨ahnen welche das sind. 2. Feed Forwad Neuronales Netz zur Sch¨ atzung der Action Werte der Z¨ uge (Action-Values bzw. Q-Values) Ihnen steht ein Datensatz zur Verf¨ ugung, der Spiele beinhaltet, die durch ProfiSpielern gespielt wurden und einige Millionen Z¨uge aufweisen. (a) Skizzieren Sie ein Feed Forwad Neuronales Netz, welches nach dem Trainieren mit Backpropation, diese Z¨uge m¨oglichst gut nachahmen kann. Treffen Sie dabei Designentscheidungen bzgl Topology, Layeranzahl, Layergr¨oße, Aktivierungsfunktionen und Fehlerfunktionen. (b) Was bedeuten die Neuron der Ausgabeschicht? (c) Ihr Netz aus Teilaufgabe (a) soll verwendet werden, um gegen Menschen zu spielen. Nennen Sie zwei M¨oglichkeiten, um dieses Netz online beim Spielen einzusetzen?

7 P.

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

9

3. Reinforcement Learning

3 P.

Das Neuronale Netz aus Ausgabe 4.2 spielt jetzt gegen eine sehr gute, existierende KI und soll sich dabei verbessern. (a) Wie kann man mit Reinforcement Learning bessere Sch¨atzungen f¨ur Action Werte bekommen? Hinweis: Verwenden Sie Formeln in Ihrer Antwort. (b) Geben Sie die Fehlerfunktion an und erkl¨aren Sie die Variabeln/Terme 4. Vier Gewinnt Unendlich Statt auf einem 7 mal 6 Spielbrett wird nun auf einem 501 mal ∞ Spielbrett gespielt. (a) Wie ver¨andert sich der Zustandsraum? (b) Wie k¨ onnen Sie Ihre L¨osungen aus den Teilaufgaben 4.1 und 4.2 anpassen damit Ihr Netz Vier Gewinnt Unendlich spielen lernen kann? Hinweis: Antworten Sie stichpunktartig ohne das Neuronale Netz neu zu skizzieren.

2 P.

10

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

Aufgabe 5

Spracherkennung

(15 Punkte)

Diese Aufgabe behandelt ein Spracherkennungssystem welches 15000 Deutsche W¨orter erkennen sollte. Die Aussprache dieser Buchstaben und Zahlen k¨ onnen Sie aus einem gegebenen Dictionary entnehmen. Es werden ingeammt 36 verschiedene Phoneme verwendet. ~ = f1 f2 ... aus Eine Vorverarbeitung extrahiert daf¨ur eine Sequenz von Featurevektoren F dem Audio:

• Featurevektoren fi : – 25 dimensional – 1 Feature pro 10ms Audio

~ = w1 w2 ...) bestimIhr Spracherkennungssystem soll die wahrscheinlichste Wortsquenz (W men gegeben einer Folge von Featurevektoren ( ~F = f1 f2 ...). Mit Bayes vereinfacht: ~ ~ ~ ~ ) × P (W ~) ~ |F~ ) = argmax P ( F |W ) × P ( W ) = argmax P (F~ |W argmax P (W ~) ~ ~ ~ P(F W W W

1. Akustisches Model und Bayes Als akustisches Model soll ein hybrider HMM/NN verwendet werden. Das Neuronale Netz sollte als Input ein Fenster von 11 Featurevektoren bekommen und Phonemwahrscheinlichkeiten sch¨atzen. (a) Skizzieren Sie ein Feed Forward Neuronales Netz mit drei hidden Layer, welches trainiert werden kann, um dieses Problem m¨oglichst gut zu l¨osen. Treffen Sie dabei Designentscheidungen bzgl. Topology, Layergr¨oße, Ausgabekodierung, Aktivierungsfunktionen und Fehlerfunktionen. (b) Wieviele Gewichte hat ihr Netz? ~ ) auszurechnen ben¨otigt man mehrere P (fi |wj ). Zeigen Sie wie man (c) Um P (F~ |W die Ausgaben von dem Netz verwenden kann um die Wahrscheinlichkeit P (fi |wj ) zu bestimmen.

4 P.

Aufgaben zur Klausur Neuronale Netze“ am 10.10.2016 ”

11

2. Time-Delay Neuronale Netze (Convolutional Neuronale Netze)

5 P.

Statt einem Feed Forward Neuronales Netz soll jetzt ein Convolutional / Time-Delay Neuronales Netz (CNN/TDNN) f¨ur das akustisches Model verwendet werden. (a) Skizzieren Sie ein Convolutional / Time-Delay Neuronales Netz (CNN/TDNN) mit drei hidden Layer, welches trainiert werden kann, um dieses Problem m¨oglichst gut zu l¨osen. Treffen Sie dabei Designentscheidungen bzgl. Topology, Layergr¨oße, Ausgabekodierung, Aktivierungsfunktionen und Fehlerfunktionen. (b) Wieviele Gewichte hat ihr Netz? (c) Erl¨autern Sie die Vorteile von einem Convolutional / Time-Delay Neuronales Netz (CNN/TDNN) gegen¨uber einem Feed Forward Neuronales Netz f¨ur das akustische Model 3. Weight-Sharing

2 P.

w wei ein Gewicht zwischen dem Input und der ersten hidden Schicht aus ihrem Netz in Aufgabe 5.1. (a) Rechnen Sie aus wie oft w, bei einem Forward Pass ben¨otigt wird. (b) Geben Sie die Updateregel f¨ur w an. ~) 4. Modellierung der A-Priori Wahrscheinlichkeit P (W ~ ) kann man zerlegen in eine kontextabh¨ angige Die A-Priori Wahrscheinlichkeit P ( W Wahrscheinlichkeit pro Wort: ~ ) = P (w1 ) × P (w2 |h = w1 ) × P (w3 |h = w1 w2 ) × ... × P (cm |h = w1 w2 ...wm−1 ) P(W Die Wahrscheinlichkeit P (w|h) von einem Wort w in einem Kontext h soll mit einem neuronalen Netz modelliert werden. (a) Welche Probleme h¨atte ein feed forward neuronales Netz bei der Modellierung dieser Wahrscheinlichkeit? (b) Skizzieren Sie ein Rekurrentes Neuronales Netz (RNN) ohne Gates welches trainiert werden kann, um dieses Problem m¨oglichst gut zu l¨osen. Treffen Sie dabei Designentscheidungen bzgl. Topology, Layerzahl, Layergr¨oße, Eingabekodierung, Ausgabekodierung, Aktivierungsfunktionen und Fehlerfunktionen.

5 P....