Tiefes Lernen - Notizen aus dem Unterricht werden vorgestellt: Programmierung, Während des gesamten PDF

Preview

Summary

Notizen aus dem Unterricht werden vorgestellt: Programmierung, Während des gesamten Semesters werden kursbezogene Themen besprochen....

Description

HOCHSCHULE FRESENIUS INTERNATIONAL PHARMAC-OECONOMICS GESUNDHEITSÖKONOMIE UND MARKTSTRATEGIEN FÜR GESUNDHEITSPRODUKTE

TIEFES LERNEN SICHERHEIT Adolph Weber

GRUPPE: 135AG

PROFESSOR: Ppeeta Klaux

tiefes Lernen Was ist tiefes Lernen? Tiefes Lernenist ein Teilgebiet des maschinellen Lernens, das sich auf Algorithmen bezieht, die von der Struktur und Funktion des genannten Gehirns inspiriert sindkünstliche neurale Netzwerke. Wenn Sie gerade erst im Bereich Deep Learning angefangen haben oder vor einiger Zeit Erfahrung mit neuronalen Netzen hatten, sind Sie möglicherweise verwirrt. Ich weiß, dass ich anfangs verwirrt war und auch viele meiner Kollegen und Freunde, die in den 1990er und frühen 2000er Jahren neuronale Netze gelernt und benutzt haben. Führungskräfte und Experten auf diesem Gebiet haben Vorstellungen davon, was Deep Learning ist, und diese spezifischen und differenzierten Perspektiven werfen viel Licht auf das, worum es bei Deep Learning geht. In diesem Beitrag erfahren Sie genau, was Deep Learning ist, indem Sie einer Vielzahl von Experten und Führungskräften auf diesem Gebiet zuhören. Erfahren Sie, wie Sie mit nur wenigen Codezeilen Deep-Learning-Modelle für eine Vielzahl von Vorhersagemodellierungsproblemen entwickeln.in meinem neuen Buch, mit 18 Schritt-für-Schritt-Anleitungen und 9 Projekten. Lass uns eintauchen. Deep Learning ist eine Art vonmaschinelles Lernen(ML) ekünstliche Intelligenz(IA), die die Art und Weise nachahmt, wie Menschen bestimmte Arten von Wissen erhalten. Deep Learning ist ein wichtiges Element der Datenwissenschaft, zu der Statistiken und Vorhersagemodelle gehören. Dies ist äußerst vorteilhaft für Datenwissenschaftler, die mit der Erfassung, Analyse und Interpretation großer Datenmengen beauftragt sind. Deep Learning macht diesen Prozess schneller und einfacher.

In seiner einfachsten Form kann Deep Learning als ein Weg gesehen werden, das zu automatisierenPredictive Analytics. Während herkömmliche Algorithmen für maschinelles Lernen linear sind,Algorithmen vonDeep Learning sind in a gestapeltHierarchievon zunehmender Komplexität und Abstraktion.

Stellen Sie sich ein Kind vor, dessen erstes Wort Hund ist, um tiefes Lernen zu verstehen. Das Kleinkind lernt, was ein Hund ist und was nicht, indem es auf Gegenstände zeigt und das Wort Hund sagt. Der Vater sagt: "Ja, das ist ein Hund" oder "Nein, das ist kein Hund." Wenn das Kind weiterhin auf Gegenstände zeigt, wird es sich der Eigenschaften aller Hunde bewusster. Was das Kind tut, ohne es zu wissen, ist, eine komplexe Abstraktion, das Konzept des Hundes, zu klären, indem es eine Hierarchie aufbaut, in der jede Abstraktionsebene mit dem Wissen erstellt wird, das aus der vorherigen Hierarchieebene gewonnen wurde. Wie tiefes Lernen funktioniert

Computerprogramme, die Deep Learning verwenden, durchlaufen denselben Prozess wie das kleine Kind, das lernt, den Hund zu identifizieren. Jeder Algorithmus in der Hierarchie wendet eine nichtlineare Transformation auf seine Eingabe an und verwendet das Gelernte, um ein statistisches Modell als Ausgabe zu erstellen.Die IterationenSie werden fortgesetzt, bis die Ausgabe eine akzeptable Genauigkeit erreicht hat. Die Anzahl der Schichten vonVerarbeitung zuDie Daten, die durchlaufen werden müssen, haben das Label in der Tiefe inspiriert.

Dieses Bild zeigt den maschinellen Lernprozess.

Beim traditionellen maschinellen Lernen wird der Lernprozess überwacht, und der Programmierer muss äußerst genau sein, wenn er dem Computer mitteilt, nach welchen Dingen er suchen soll, um zu entscheiden, ob ein Bild einen Hund enthält oder nicht. Dies ist ein mühsamer Prozess, der als Merkmalsextraktion bezeichnet wird, und die Erfolgsrate des Computers hängt vollständig von der Fähigkeit des Programmierers ab, eine Reihe von Merkmalen für "Hund" genau zu definieren. Der Vorteil von Deep Learning besteht darin, dass das Programm die etablierte Funktion ohne Aufsicht selbst erstellt. Unbeaufsichtigtes Lernen ist nicht nur schneller, sondern im Allgemeinen genauer.

Anfänglich könnte das Computerprogramm Trainingsdaten empfangen, eine Reihe von Bildern, für die ein Mensch jedes Bild als "Hund" oder "Nicht-Hund" mit Meta-Tags versehen hat. Das Programm verwendet die Informationen, die es aus den Trainingsdaten erhält,

um

einen

Funktionsumfang

für

"Hund"

zu

erstellen

und

einen

zu

erstellenVorhersagemodell. In diesem Fall kann das vom Computer erstellte Modell zunächst vorhersagen, dass alles in einem Bild mit vier Beinen und einem Schwanz als "Hund" bezeichnet werden sollte. Natürlich kennt das Programm die Bezeichnungen "vier Beine" oder "Schwanz" nicht. Es wird einfach nach Pixelmustern in den digitalen Daten gesucht. Mit jeder Iteration wird das Vorhersagemodell komplexer und genauer. Im Gegensatz zu dem kleinen Kind, das Wochen oder sogar Monate braucht, um das Konzept des "Hundes" zu verstehen, kann ein Computerprogramm, das Deep-LearningAlgorithmen verwendet, einen Trainingssatz anzeigen und Millionen von Bildern klassifizieren, um genau zu identifizieren, welche Bilder Hunde haben. in ein paar Minuten. Dieses Bild zeigt den tiefen Lernprozess.

Um ein akzeptables Maß an Präzision zu erreichen, benötigen Deep-Learning-Programme Zugriff

aufimmense

Mengen

an

Trainingsdatenund

Rechenleistung,

von

der

Programmierern bis zum Alter vonGroße DatenundCloud Computing. Da durch DeepLearning-Programmierung komplexe statistische Modelle direkt aus der eigenen iterativen Ausgabe erstellt werden können, können Sie genaue Vorhersagemodelle aus großen Mengen unstrukturierter und unbeschrifteter Daten erstellen. Dies ist wichtig, da das Internet der Dinge (IoT) wird immer weiter verbreitet, da die meisten Daten, die Menschen und Maschinen erstellen, unstrukturiert und unbeschriftet sind. Was sind tief lernende neuronale Netze? Eine Art fortgeschrittener Algorithmus für maschinelles Lernen, bekannt alskünstliche neurale Netzwerkeunterstützt die meisten Deep-Learning-Modelle. Infolgedessen wird Deep Learning manchmal als Deep Neural Learning oder Deep Neural Networks bezeichnet.

Neuronale Netze gibt es in verschiedenen Formen, einschließlich wiederkehrender neuronaler Netze, Faltungs-neuronaler Netze, künstlicher neuronaler Netze und fortschrittlicher neuronaler Netze, und jedes hat Vorteile für bestimmte Anwendungsfälle. Sie arbeiten jedoch alle auf ähnliche Weise, indem sie Daten eingeben und das Modell selbst herausfinden lassen, ob es die richtige Entscheidung oder Interpretation für ein bestimmtes Datenelement getroffen hat. Neuronale Netze beinhalten einen Prozess des Versuchs und Irrtums, daher benötigen sie große Datenmengen, um zu trainieren. Es ist kein Zufall, dass neuronale Netze erst populär wurden, nachdem die meisten Unternehmen Big-Data-Analysen eingeführt und große Datenmengen angesammelt hatten. Da die ersten paar Iterationen des Modells etwas fundierte Vermutungen über den Inhalt eines Bildes oder von Wortarten beinhalten, müssen die während der Trainingsphase verwendeten Daten beschriftet werden, damit das Modell sehen kann, ob seine Annahme korrekt war. Dies bedeutet, dass unstrukturierte Daten weniger nützlich sind, obwohl viele Unternehmen, die Big Data verwenden, über große Datenmengen verfügen. Deep-Learning-Methoden Es können verschiedene Methoden verwendet werden, um starke Modelle für tiefes Lernen zu erstellen. Diese Techniken umfassen verringerte Lernrate, Transferlernen, Training von Grund auf neu und Schulabbrecher. Verminderte Lernrate.Die Lernrate ist ein Hyperparameter, ein Faktor, der das System definiert oder Bedingungen für seinen Betrieb vor dem Lernprozess festlegt. Er steuert, wie stark sich das Modell bei jeder Änderung der Modellgewichte als Reaktion auf den geschätzten Fehler ändert. Zu hohe Lernraten können zu instabilen Trainingsprozessen oder zum Erlernen eines suboptimalen Satzes von Gewichten führen. Zu geringe Lernraten können zu einem langwierigen Trainingsprozess führen, der stagnieren kann. Die Methode zur Verringerung der Lernrate, auch als Annealing der Lernrate oder adaptive Lernraten bezeichnet, ist der Prozess der Anpassung der Lernrate, um die Leistung zu

steigern und die Trainingszeit zu verkürzen. Die einfachsten und häufigsten Anpassungen der Lernrate während des Trainings umfassen Techniken zur Reduzierung der Lernrate im Laufe der Zeit. Lerntransfer.Dieser Prozess beinhaltet die Perfektionierung eines zuvor trainierten Modells. erfordert eine Schnittstelle zum internen eines bereits vorhandenen Netzwerks. Zunächst versorgen Benutzer das vorhandene Netzwerk mit neuen Daten, die zuvor unbekannte Klassifizierungen enthalten. Sobald Anpassungen am Netzwerk vorgenommen wurden, können neue Aufgaben mit spezifischeren Kategorisierungsfähigkeiten ausgeführt werden. Diese Methode hat den Vorteil, dass viel weniger Informationen benötigt werden als andere, wodurch die Berechnungszeit auf Minuten oder Stunden reduziert wird.

Training von Grund auf neu.Bei dieser Methode muss ein Entwickler einen großen Satz von mit Tags versehenen Daten erfassen und eine Netzwerkarchitektur konfigurieren, die die Funktionen und das Modell erlernen kann. Diese Technik ist besonders nützlich für neue

Anwendungen

sowie

für

Anwendungen

mit

einer

großen

Anzahl

von

Ausgabekategorien. Im Allgemeinen ist dies jedoch ein weniger verbreiteter Ansatz, da übermäßige Datenmengen erforderlich sind, sodass das Training Tage oder Wochen dauert.

Verlassen.Diese Methode versucht das Problem von zu lösenÜberanpassungIn Netzwerken mit großen Mengen an Parametern werden die Einheiten und ihre Verbindungen während des Trainings zufällig aus dem neuronalen Netzwerk entfernt. Es hat sich gezeigt, dass die Abbruchmethode die Leistung neuronaler Netze bei überwachten Lernaufgaben in Bereichen wie Spracherkennung, Dokumentenklassifizierung und Computerbiologie verbessert. Beispiele für Deep-Learning-Anwendungen. Da Deep-Learning-Modelle Informationen verarbeite

n, die dem menschlichen Gehirn ähnlich sind, können sie auf viele Aufgaben angewendet werden, die Menschen ausführen. Deep Learning wird derzeit in den gängigsten Tools von verwendetBilderkennung,Verarbeitung

natürlicher

Spracheund

SoftwareAnerkennung

vonStimme. Diese Tools erscheinen allmählich in so unterschiedlichen Anwendungen wieautonome Autosund Sprachübersetzungsdienste.

Wofür wird Deep Learning verwendet? Aktuelle Anwendungsfälle für Deep Learning umfassen alle Arten von Anwendungen vonAnalysevonGroße Daten, insbesondere diejenigen, die sich auf die Verarbeitung natürlicher Sprache, Sprachübersetzung, medizinische Diagnostik, Börsenhandelssignale, Netzwerksicherheit und Bilderkennung konzentrieren. Spezifische Bereiche, in denen Deep Learning derzeit verwendet wird, umfassen Folgendes:



Kundenerfahrung. Deep-Learning-Modelle für Chatbots werden bereits verwendet. Und während es weiter reift, wird erwartet, dass Deep Learning in mehreren Unternehmen implementiert wird, um das Kundenerlebnis zu verbessern und die Kundenzufriedenheit zu steigern.



Texterzeugung. Maschinen lernen die Grammatik und den Stil eines Textes und verwenden dieses Modell, um automatisch einen völlig neuen Text zu erstellen, der der korrekten Schreibweise, Grammatik und dem Stil des Originaltextes entspricht.



Luft- und Raumfahrt und Militär. Deep Learning wird verwendet, um Satellitenobjekte zu erkennen, die Bereiche von Interesse identifizieren, sowie sichere oder unsichere Bereiche für Truppen.



Industrielle Automatisierung. Deep Learning verbessert die Arbeitssicherheit in Umgebungen wie Fabriken und Lagern, indem Dienste bereitgestellt werden, die automatisch erkennen, wenn sich ein Arbeiter oder ein Objekt einer Maschine zu nahe kommt.



Farbe hinzufügen. Schwarzweißfotos und -videos können mithilfe von Deep-LearningModellen Farbe hinzugefügt werden. In der Vergangenheit war dies ein zeitaufwändiger manueller Vorgang.



Medizinische Untersuchung. Krebsforscher haben begonnen, tiefes Lernen in ihre Praxis zu implementieren, um Krebszellen automatisch zu erkennen.

Computer Vision. Deep Learning hat die Bildverarbeitung erheblich verbessert und bietet



Computern

extreme

Präzision

für

die

Objekterkennung

und

Bildklassifizierung,

Wiederherstellung und Segmentierung.

Einschränkungen und Herausforderungen. Die größte Einschränkung von Deep-Learning-Modellen besteht darin, dass sie durch Beobachtung lernen. Dies bedeutet, dass sie nur wissen, was in den Daten enthalten ist, auf denen sie trainiert haben. Wenn ein Benutzer über eine kleine Datenmenge verfügt oder aus einer bestimmten Quelle stammt, die nicht unbedingt für den breiteren Funktionsbereich repräsentativ ist, lernen die Modelle nicht verallgemeinerbar. Das Problem der Voreingenommenheit ist auch ein Hauptproblem für Deep-LearningModelle. Wenn ein Modell mit Daten trainiert wird, die Verzerrungen enthalten, reproduziert das Modell diese Verzerrungen in seinen Vorhersagen. Dies war ein lästiges Problem für Deep-Learning-Programmierer, da Modelle lernen, anhand subtiler Variationen in Datenelementen zu differenzieren. Oft werden die Faktoren, die bestimmen, dass sie wichtig sind, dem Programmierer nicht explizit klar gemacht. Dies bedeutet zum Beispiel, dass ein Modell vonGesichtserkennungSie können die Eigenschaften von Personen anhand von Dingen wie Rasse oder Geschlecht bestimmen, ohne dass der Programmierer dies weiß.

Die Lernrate kann auch eine große Herausforderung für Deep-Learning-Modelle sein. Wenn die Rate zu hoch ist, konvergiert das Modell zu schnell und führt zu einer nicht optimalen Lösung. Wenn die Rate zu niedrig ist, kann der Prozess stecken bleiben und es wird noch schwieriger, eine Lösung zu finden. Die

Hardwareanforderungen

für

Deep-Learning-Modelle

können

ebenfalls

zu

Einschränkungen führen. Grafikprozessoren sind erforderlich (GPU) HochleistungsMulticore- und ähnliche Verarbeitungseinheiten, um eine höhere Effizienz und weniger Zeitaufwand zu gewährleisten. Diese Einheiten sind jedoch teuer und verbrauchen viel Energie. Andere Hardwareanforderungen umfassen Direktzugriffsspeicher (RAM ) und einFestplatteoderEinheitfester Zustand (SSD) basierend auf RAM. Weitere Einschränkungen und Herausforderungen sind:



Deep Learning erfordert große Datenmengen. Außerdem benötigen die leistungsstärksten und genauesten Modelle mehr Parameter, was wiederum mehr Daten erfordert.



Einmal trainiert, werden Deep-Learning-Modelle unflexibel und können Multitasking nicht mehr verarbeiten. Sie können effiziente und genaue Lösungen anbieten, jedoch nur für ein bestimmtes Problem. Selbst die Lösung eines ähnlichen Problems würde eine Umschulung des Systems erfordern.



Jede Anwendung, die Argumentation erfordert, wie das Programmieren oder Anwenden der wissenschaftlichen Methode, die

Langzeitplanung

und die

Datenmanipulation

vom

algorithmischen Typ, geht selbst bei Big Data völlig über das hinaus, was die heutigen DeepLearning-Techniken leisten können.

Deep Learning versus maschinelles Lernen Deep Learning ist eine Teilmenge des maschinellen Lernens, die sich darin unterscheidet, wie es Probleme löst. Beim maschinellen Lernen muss ein Domänenexperte die am häufigsten verwendeten Funktionen ermitteln. Auf der anderen Seite lernt Deep Learning Funktionen schrittweise, wodurch die Notwendigkeit von Domänenerfahrung entfällt. Dadurch dauert das Trainieren von Deep-Learning-Algorithmen viel länger als von Algorithmen für maschinelles Lernen, die nur wenige Sekunden oder einige Stunden dauern. Beim Testen ist jedoch das Gegenteil der Fall. Deep-Learning-Algorithmen benötigen viel weniger Zeit zum Ausführen von Tests als Algorithmen für maschinelles Lernen, deren Testzeit mit der Größe der Daten zunimmt. Außerdem erfordert maschinelles Lernen nicht die gleichen teuren High-End-Maschinen und Hochleistungs-GPUs wie Deep Learning. Letztendlich entscheiden sich viele Datenwissenschaftler für traditionelles maschinelles Lernen gegenüber tiefem Lernen, weil es überlegen ist, zu interpretieren oder Lösungen zu verstehen. Algorithmen für maschinelles Lernen werden auch bevorzugt, wenn die Daten klein sind. Zu den Fällen, in denen tiefes Lernen vorzuziehen ist, gehören Situationen, in denen eine große Datenmenge vorhanden ist, ein Mangel an Verständnis für den Bereich der

Selbstbeobachtung komplexer Merkmale oder Probleme wie Spracherkennung und Verarbeitung natürlicher Sprache. Geschichte Deep Learning kann seine Wurzeln bis ins Jahr 1943 zurückverfolgen, als Warren McCulloch und Walter Pitts mithilfe von Mathematik und Algorithmen ein Rechenmodell für neuronale Netze erstellten. Erst Mitte der 2000er Jahre tauchte der Begriff Deep Learning auf. Es gewann an Popularität nach der Veröffentlichung eines Artikels von Geoffrey Hinton und Ruslan Salakhutdinov, der zeigt, wie ein neuronales Netzwerk mit vielen Schichten Schicht für Schicht trainiert werden kann. Im Jahr 2012 machte Google einen großen Eindruck auf Deep Learning, als sein Algorithmus die Fähigkeit enthüllte, Katzen zu erkennen. Zwei Jahre später, im Jahr 2014, kaufte Google DeepMind, ein britisches Startup für künstliche Intelligenz. Zwei Jahre später, im Jahr 2016, dominierte der Algorithmus von Google DeepMind, AlphaGo, das komplizierte Brettspiel Go und schlug den Profispieler Lee Sedol bei einem Turnier in Seoul. In jüngster Zeit haben Deep-Learning-Modelle die meisten Fortschritte auf dem Gebiet der künstlichen Intelligenz erzielt. Deep Reinforcement Learning ist zu einer Möglichkeit geworden, künstliche Intelligenz in komplexe Anwendungen wie Robotik, Videospiele und autonome Autos zu integrieren. Der Hauptunterschied zwischen Deep Learning und Bestärkungslernen besteht darin, dass Deep Learning aus einem Trainingssatz lernt und das Gelernte dann auf einen neuen Datensatz anwendet. Deep Enforcement Learning lernt dynamisch, indem Aktionen mithilfe von angepasst werden kontinuierliches Feedback zur Optimierung der Belohnung. Ein Verstärkungslernagent hat die Fähigkeit, Netzwerke schnell und stark zu kontrollierengenerative Gegner(Sieg). Der Adverse Threshold Neural Computer (ATNC) kombiniert tiefes Verstärkungslernen mit GAN, um kleine organische Moleküle mit spezifischen und gewünschten pharmakologischen Eigenschaften zu entwerfen.

GANs werden auch verwendet, um künstliche Trainingsdaten für maschinelle Lernaufgaben zu generieren, die in Situationen mit unausgeglichenen Datensätzen oder wenn die Daten vertrauliche Informationen enthalten, verwendet werden können. Hier ist eine sehr einfache Illustration, wie ein Deep-Learning-Programm funktioniert. Dieses Video der LuLu Art Group zeigt die Ausgabe eines Deep-Learning-Programms nach Ihrem ersten Training mit rohen Bewegungserfassungsdaten. So sagt das Programm das abstrakte Konzept des "Tanzes" voraus.

Als Postdoktorandin verbrachte die Physiologe Valentina Di Santo viel Zeit damit, hochauflösende Fischfilme zu untersuchen. Di Santo untersuchte die Bewegungen beim Schwimmen von Fischen wie Schlittschuhen. Er filmte einzelne Fische in einem Aquarium und kommentierte ihre Körperteile Frame für Frame manuell. Dies erforderte ungefähr einen Monat Vollzeitarbeit für 72 Sekunden Filmmaterial. Mit einer Open-Source-Anwendung namens DLTdv, die in der Computersprache...