de | en

Einführung in Deep Learning
Introduction to Deep Learning

Modul IN2346

Dieses Modul wird durch Fakultät für Informatik bereitgestellt.

Diese Modulbeschreibung enthält neben den eigentlichen Beschreibungen der Inhalte, Lernergebnisse, Lehr- und Lernmethoden und Prüfungsformen auch Verweise auf die aktuellen Lehrveranstaltungen und Termine für die Modulprüfung in den jeweiligen Abschnitten.

Modulversion vom SS 2018 (aktuell)

Von dieser Modulbeschreibung gibt es historische Versionen. Eine Modulbeschreibung ist immer so lange gültig, bis sie von einer neuen abgelöst wird.

verfügbare Modulversionen
SS 2018SS 2017

Basisdaten

IN2346 ist ein Semestermodul in Englisch auf Master-Niveau das im Sommersemester angeboten wird.

Das Modul ist Bestandteil der folgenden Kataloge in den Studienangeboten der Physik.

  • Allgemeiner Katalog der nichtphysikalischen Wahlfächer
GesamtaufwandPräsenzveranstaltungenUmfang (ECTS)
180 h 60 h 6 CP

Inhalte, Lernergebnisse und Voraussetzungen

Inhalt

- Einführung in die Geschichte des Deep Learning und Anwendungen.
- Grundlagen maschinelles Lernen 1: Lineare Klassifikation, Maximum Likelihood
- Grundlagen maschinelles Lernen 2: Logistische Regression, Perzeptron
- Einführung in Neuronale Netze und ihre Optimierung
- Stochastischer Gradienten Abstieg und Back-propagation
- Trainieren von neuronalen Netzen Teil 1:
Regularisierung, Aktivierungsfunktionen, Initialisierung der Gewichte, Gradientenfluss, Batch Normalization, Optimierung der Hyperparameter
- Trainieren von neuronalen Netzen Teil 2: Parameter-Updates, Ensembles, Dropout
- Convolutional Neural Networks: ConvLayers, Pooling, etc.
- Anwendungen von CNNs: Z.b. zur Objekterkennung (von MNIST zu ImageNet), Visualisierung von CNNs (DeepDream)
- Übersicht zu Rekurrenten Netze und LSTMs
- Aktuelle Entwicklungen im Deep Learning
- Forschungsübersicht und Einführung der Advanced Deep Learning Vorlesungen

Lernergebnisse

Nach Beendigung dieses Moduls werden die Studierenden ein Verständnis der theoretischen Konzepte hinter neuronalen Netzen erlangt haben, insbesondere Convolutional Neural Networks, sowie Erfahrung im Lösen praktischer Anwendungsprobleme mit Deep Learning. Sie werden in der Lage sein, Aufgaben wie Ziffernerkennung oder Bildklassifizierung zu lösen.

Voraussetzungen

Programmierkenntnisse werden erwartet. Es sollte mindestens eine Programmiersprache – vorzugsweise Python – beherrscht werden.

MA0902 Analysis für Informatiker
MA0901 Lineare Algebra für Informatiker

Lehrveranstaltungen, Lern- und Lehrmethoden und Literaturhinweise

Lehrveranstaltungen und Termine

ArtSWSTitelDozent(en)Termine
VI 4 Introduction to Deep Learning (IN2346) Leal-Taixe, L. Lohr, Q. Nießner, M. Wagner, S. Mo, 14:00–16:00, MI HS1
Do, 08:00–10:00, 5620.01.101
sowie einzelne oder verschobene Termine

Lern- und Lehrmethoden

Die Vorlesungen bieten ausführliche theoretische Hintergründe zu neuronalen Netzen und insbesondere Deep-Learning-Architekturen für die Anwendung. Z.b. im Bereich der Computer Vision.
Die praktischen Einheiten spielen eine zentrale Rolle, da die Studenten durch Trainieren und Testen mit Deep Learning vertraut werden sollen. Die Stundenten werden in Frameworks wie PyTorch eingeführt, sodass sie am Ende des Kurses in der Lage sind, reale Anwendungs-Probleme mit Deep Learning zu lösen.

Medienformen

Beamer, Tafel, PC

Literatur

- Folien aus der Vorlesung
- www.deeplearningbook.org

Modulprüfung

Beschreibung der Prüfungs- und Studienleistungen

- Schriftliche Prüfung von 90 Minuten am Ende der Veranstaltung
- Nach jeder praktischen Einheit ist der geschriebene funktionierende Code dem Lehrassistenten für die Bewertung zur Verfügung zu stellen. Die Studierenden bekommen einen Bonus, wenn sie alle praktischen Aufgaben erfolgreich fertigstellen.

Die Prüfung ist in schriftlicher Form. Fragen erlauben es das Wissen basierend auf den Basiskonzepten und der Algorithmen im Bereich des Tiefen Lernens zu verstehen (im speziellen wie neuronale Netze trainiert werden können). Die Studenten zeigen dabei die Fähigkeit die Architekturen neuronaler Netze zu designen, zu trainieren und zu optimieren. Dabei wenden sie die lernenden Umgebungen für Probleme in der echten Welt an (z.b. in der Computer Vision). Ein wichtiger Aspekt ist es, dass die Studenten die grundlegende Theorie hinter den Trainingsprozessen verstehen, welche hauptsächlich mit den Optimierungsstrategien wie Backprop und SGD zusammenhängen. Die Studenten können dann die Netzwerke verwenden um Klassifikation- und Regressionsaufgaben zu lösen (teilweise motiviert mit visuellen Daten).

Wiederholbarkeit

Eine Wiederholungsmöglichkeit wird im Folgesemester angeboten.

Aktuell zugeordnete Prüfungstermine

Derzeit sind in TUMonline die folgenden Prüfungstermine angelegt. Bitte beachten Sie neben den oben stehenden allgemeinen Hinweisen auch stets aktuelle Ankündigungen während der Lehrveranstaltungen.

Titel
ZeitOrtInfoAnmeldung
Einführung in Deep Learning
Mo, 16.7.2018, 8:00 bis 9:30 MW: 0001
MW: 1801
MW: 2001
Import bis 30.6.2018 (Abmeldung bis 9.7.2018)
Nach oben