de | en

Introduction to Deep Learning

Modul IN2346

Dieses Modul wird durch Fakultät für Informatik bereitgestellt.

Diese Modulbeschreibung enthält neben den eigentlichen Beschreibungen der Inhalte, Lernergebnisse, Lehr- und Lernmethoden und Prüfungsformen auch Verweise auf die aktuellen Lehrveranstaltungen und Termine für die Modulprüfung in den jeweiligen Abschnitten.

Modulversion vom SS 2018 (aktuell)

Von dieser Modulbeschreibung gibt es historische Versionen. Eine Modulbeschreibung ist immer so lange gültig, bis sie von einer neuen abgelöst wird.

verfügbare Modulversionen
SS 2018SS 2017

Basisdaten

IN2346 ist ein Semestermodul in Englisch auf Master-Niveau das im Sommersemester angeboten wird.

Das Modul ist Bestandteil der folgenden Kataloge in den Studienangeboten der Physik.

  • Allgemeiner Katalog der nichtphysikalischen Wahlfächer
GesamtaufwandPräsenzveranstaltungenUmfang (ECTS)
180 h 60 h 6 CP

Inhalte, Lernergebnisse und Voraussetzungen

Inhalt

- Introduction to the history of Deep Learning and its applications.
- Machine learning basics 1: linear classification, maximum likelihood
- Machine learning basics 2: logistic regression, perceptron
- Introduction to neural networks and their optimization
- Stochastic Gradient Descent (SGD) and Back-propagation
- Training Neural Networks Part 1:
regularization, activation functions, weight initialization, gradient flow, batch normalization, hyperparameter optimization
- Training Neural Networks Part 2: parameter updates, ensembles, dropout
- Convolutional Neural Networks, ConvLayers, Pooling, etc.
- Applications of CNNs: e.g., object detection (from MNIST to ImageNet), visualizing CNN (DeepDream)
- Overview and introduction to Recurrent networks and LSTMs
- Recent developments in deep learning in the community
- Overview of research and introduction to advanced deep learning lectures.

Lernergebnisse

Upon completion of this module, students will have acquired theoretical concepts behind neural networks, and in particular Convolutional Neural Networks, as well as experience on solving practical real-world problems with deep learning. They will be able to solve tasks such as digit recognition or image classification.

Voraussetzungen

Programming knowledge is expected. At least one programming language should be known, preferably Python.

MA0902 Analysis for Informatics
MA0901 Linear Algebra for Informatics

Lehrveranstaltungen, Lern- und Lehrmethoden und Literaturhinweise

Lehrveranstaltungen und Termine

ArtSWSTitelDozent(en)Termine
VI 4 Introduction to Deep Learning (IN2346) Leal-Taixe, L. Lohr, Q. Nießner, M. Wagner, S. Di, 18:00–20:00, 5620.01.101
Do, 08:00–10:00, MI HS1

Lern- und Lehrmethoden

The lectures will provide extensive theoretical aspects of neural networks and in particular deep learning architectures; e.g., used in the field of Computer Vision.
The practical sessions will be key, students shall get familiar with Deep Learning through hours of training and testing. They will get familiar with frameworks like PyTorch, so that by the end of the course they are capable of solving practical real-world problems with Deep Learning.

Medienformen

Projector, blackboard, PC

Literatur

- Slides given during the course
- www.deeplearningbook.org

Modulprüfung

Beschreibung der Prüfungs- und Studienleistungen

- Written test of 90 minutes at the end of the course.
- After each practical session, the students will have to provide the written working code to the teaching assistant for evaluation. The students will be awarded a bonus in case they successfully complete all practical assignments.

Die Prüfung ist in schriftlicher Form. Fragen erlauben es das Wissen basierend auf den Basiskonzepten und der Algorithmen im Bereich des Tiefen Lernens zu verstehen (im speziellen wie neuronale Netze trainiert werden können). Die Studenten zeigen dabei die Fähigkeit die Architekturen neuronaler Netze zu designen, zu trainieren und zu optimieren. Dabei wenden sie die lernenden Umgebungen für Probleme in der echten Welt an (z.b. in der Computer Vision). Ein wichtiger Aspekt ist es, dass die Studenten die grundlegende Theorie hinter den Trainingsprozessen verstehen, welche hauptsächlich mit den Optimierungsstrategien wie Backprop und SGD zusammenhängen. Die Studenten können dann die Netzwerke verwenden um Klassifikation- und Regressionsaufgaben zu lösen (teilweise motiviert mit visuellen Daten).

Wiederholbarkeit

Eine Wiederholungsmöglichkeit wird im Folgesemester angeboten.

Nach oben