Informationstheorie

Wenn in einem Kanal jedes einzelne Bit mit einer Wahrscheinlichkeit von 1% falsch übertragen wird, wieviel fehlerkorrigierende Redundanz muß man dann hinzufügen, um eine faktisch fehlerfreie Datenübertragung zu gewährleisten? Dies ist eine typische Fragestellung der Informationstheorie, die mathematische Modelle der Erzeugung von Nachrichten und deren Übertragung in gestörten Kanälen bereitstellt. Wegen der hierbei auftretenden Zufallseinflüsse kommen insbesondere stochastische Methoden zum Einsatz. Das vorliegende Buch gibt auf der Basis diskreter Wahrscheinlichkeitsräume eine Einführung in die Informationstheorie. Die Stoffauswahl richtet sich an Mathematiker, Informatiker und auch an an Grundlagen interessierte Elektrotechniker. Neben der theoretischen Fundierung wird ebenso auf die Darstellung der praktischen Anwendungen Wert gelegt. Behandelt werden Entropie, Kodierung sowie gedächtnislose, stationäre und Markoff-Quellen. Der Anschluß solcher Quellen an einen gestörten Kanal führt zum Begriff der Kanalkapazität, mit dessen Hilfe der Shannonsche Fundamentalsatz formuliert und bewiesen wird. Den Abschluß bildet ein kurzes Kapitel über fehlerkorrigierende Kodes, das auch die Klasse der für die Praxis wichtigen Faltungskodes und den Viterbi-Algorithmus behandelt. Die einzelnen Kapitel werden durch umfangreiche Übungsaufgaben vervollständigt.

1 Einleitung.- 2 Stochastische Grundlagen.- 2.1 Zufalls variable und ihre Verteilung.- 2.2 Markoff-Ketten.- 2.3 Übungsaufgaben.- 3 Information und Entropie.- 3.1 Entropie und Transinformation.- 3.2 Axiomatische Charakterisierung der Entropie.- 3.3 Übungsaufgaben.- 4 Kodierung diskreter Quellen.- 4.1 Kodes fester Länge.- 4.2 Kodes variabler Länge.- 4.3 Binäre Suchbäume.- 4.4 Stationäre Quellen, Markoff-Quellen.- 4.5 Übungsaufgaben.- 5 Diskrete gedächtnislose Kanäle.- 5.1 Kanalkapazität.- 5.2 Kanaldekodierung.- 5.3 Der Shannonsche Fundamentalsatz.- 5.4 Kaskadenkanäle und Umkehrung des Fundamentalsatzes....- 5.5 Übungsaufgaben.- 6 Fehlerkorrigierende Kodes.- 6.1 Blockkodes und Hamming-Distanz.- 6.2 Lineare Kodes.- 6.3 Faltungskodes und der Viterbi-Algorithmus.- 6.4 Übungsaufgaben.- 7 Anhang: endliche Körper.