Information Theory

Modul EI5005

Dieses Modul wird durch Fakultät für Elektrotechnik und Informationstechnik bereitgestellt.

Diese Modulbeschreibung enthält neben den eigentlichen Beschreibungen der Inhalte, Lernergebnisse, Lehr- und Lernmethoden und Prüfungsformen auch Verweise auf die aktuellen Lehrveranstaltungen und Termine für die Modulprüfung in den jeweiligen Abschnitten.

Basisdaten

EI5005 ist ein Semestermodul in Englisch auf Master-Niveau das im Wintersemester angeboten wird.

Die Gültigkeit des Moduls ist bis SS 2013.

GesamtaufwandPräsenzveranstaltungenUmfang (ECTS)
90 h 45 h 3 CP

Inhalte, Lernergebnisse und Voraussetzungen

Inhalt

Review of probability theory. Uncertainty and mutual information measures. Source models, source coding principles, source coding theorem. Lossless source coding (incl. Shannon codes, Huffman codes, arithmetic coding). Universal source coding (Lempel-Ziv algorithms). Discrete channels and their capacity. Channel coding theorem. Capacity of channels with feedback. Capacity analysis of digital modulation schemes. Capacity of Continuous channels (AWGN channels, parallel Gaussian channels, fading channels).

Lernergebnisse

The course gives an introduction to information theory and covers in details the limits of a lossless compression of discrete information sources and compressions algorithms which achieve the limit. The reliable transmission across discrete channels is thoroughly analysed from an information theoretic point of view. The course thus lays the foundation to understand and evaluate digital compression and transmission schemes in practice.

Voraussetzungen

Comprehension of mathematics, basic principles of probability theory and statistics The following modules should be passed before taking the course: - It is recommended to take the following modules additionally: -

Lehrveranstaltungen, Lern- und Lehrmethoden und Literaturhinweise

Lehrveranstaltungen und Termine

ArtSWSTitelDozent(en)Termine
VU 3 Information Theory and Source Coding Dienstag, 08:45–09:30
Dienstag, 15:00–16:30

Lern- und Lehrmethoden

Lerning method: In addition to the individual methods of the students consolidated knowledge is aspired by repeated lessons in exercises and tutorials. Teaching method: The students are instructed in a explorative ex-cathedra teaching style.

Medienformen

- Lecture notes - Problem sheets - Presentation slides

Literatur

The following literature is recommended: - Cover, T., Thomas, J.: Elements of Information Theory, Wiley-Interscience; 2nd edition

Modulprüfung

Beschreibung der Prüfungs- und Studienleistungen

Examination with the following elements: - Written examination

Wiederholbarkeit

Eine Wiederholungsmöglichkeit wird im Folgesemester angeboten.

Kondensierte Materie

Wenn Atome sich zusammen tun, wird es interessant: Grundlagenforschung an Festkörperelementen, Nanostrukturen und neuen Materialien mit überraschenden Eigenschaften treffen auf innovative Anwendungen.

Kern-, Teilchen-, Astrophysik

Ziel der Forschung ist das Verständnis unserer Welt auf subatomarem Niveau, von den Atomkernen im Zentrum der Atome bis hin zu den elementarsten Bausteinen unserer Welt.

Biophysik

Biologische Systeme, vom Protein bis hin zu lebenden Zellen und deren Verbänden, gehorchen physikalischen Prinzipien. Unser Forschungsbereich Biophysik ist deutschlandweit einer der größten Zusammenschlüsse in diesem Bereich.