Information Theory

Modul EI7431

Dieses Modul wird durch Fakultät für Elektrotechnik und Informationstechnik bereitgestellt.

Diese Modulbeschreibung enthält neben den eigentlichen Beschreibungen der Inhalte, Lernergebnisse, Lehr- und Lernmethoden und Prüfungsformen auch Verweise auf die aktuellen Lehrveranstaltungen und Termine für die Modulprüfung in den jeweiligen Abschnitten.

Basisdaten

EI7431 ist ein Semestermodul in Englisch auf Master-Niveau das im Wintersemester angeboten wird.

Die Gültigkeit des Moduls ist von WS 2014/5 bis SS 2016.

GesamtaufwandPräsenzveranstaltungenUmfang (ECTS)
150 h 60 h 5 CP

Inhalte, Lernergebnisse und Voraussetzungen

Inhalt

Review of probability theory. Uncertainty, mutual information, informational divergence, Fano's inequality, convexity. Source coding: Discrete Memoryless Sources, Prefix-Free codes, Shannon-Fano codes, Huffman codes, Tunstall codes, Discrete Stationary Sources, Elias-Willems universal souce coding. Typical sequences and sets. Channel coding: Discrete Memoryless Channnels, Capacity. Relative entropy and additive white Gaussian noise channels. The course covers the basic concepts of information theory, including entropy and mutual information, lossless data compression for memoryless and stationary sources, and reliable communication over memoryless channels

Lernergebnisse

After completion of the module the student is able to understand, apply, analyse, and evaluate information theoretic principles for source and channel coding. He or she will be able to create source and channel codes, and formulas, for specific communication problems.

Voraussetzungen

Basic principles of probability theory and statistics

Lehrveranstaltungen, Lern- und Lehrmethoden und Literaturhinweise

Lehrveranstaltungen und Termine

ArtSWSTitelDozent(en)Termine
VU 4 Information Theory Dienstag, 08:00–09:30
Dienstag, 15:00–16:30
sowie einzelne oder verschobene Termine

Lern- und Lehrmethoden

Learning method: Lectures, tutorials, excercises, individual study. Teaching method: The students are instructed in an explorative teaching style.

Medienformen

- Lecture notes - Problem sheets - Presentation slides

Literatur

Further reading: - Cover, T., Thomas, J.: Elements of Information Theory, Wiley-Interscience; 2nd edition

Modulprüfung

Beschreibung der Prüfungs- und Studienleistungen

During a written exam (90 min) studets proof their ability to apply principles of information theory by answering questions and describing a codes solution as well as a mathematic description for a given problem.

Wiederholbarkeit

Eine Wiederholungsmöglichkeit wird im Folgesemester angeboten.

Kondensierte Materie

Wenn Atome sich zusammen tun, wird es interessant: Grundlagenforschung an Festkörperelementen, Nanostrukturen und neuen Materialien mit überraschenden Eigenschaften treffen auf innovative Anwendungen.

Kern-, Teilchen-, Astrophysik

Ziel der Forschung ist das Verständnis unserer Welt auf subatomarem Niveau, von den Atomkernen im Zentrum der Atome bis hin zu den elementarsten Bausteinen unserer Welt.

Biophysik

Biologische Systeme, vom Protein bis hin zu lebenden Zellen und deren Verbänden, gehorchen physikalischen Prinzipien. Unser Forschungsbereich Biophysik ist deutschlandweit einer der größten Zusammenschlüsse in diesem Bereich.