Der Begriff der Redundanz (von lateinisch redundare, überlaufen, sich reichlich ergießen) beschreibt in der Informationstheorie diejenigen Informationen, die in einer Informationsquelle mehrfach vorhanden sind.
Er befasste sich mit stochastischen Prozessen mit Anwendungen in der Elektronik, statistischer Mechanik, Informationstheorie und Signaltheorie, Beschleuniger-Technologie, Photozellen-Verstärkern und Radar.
Die Informationstheorie besagt, dass eine maximal komprimierte Nachricht für jene ununterscheidbar vom Hintergrundrauschen ist, die den Kompressionsalgorithmus nicht kennen.
Messung der Informationsmenge; die Informationstheorie sagt, dass, wenn etwas mit Wahrscheinlichkeit auftritt, das Wissen über das tatsächliche Auftreten davon eine Informationsmenge von bit ergibt.
Obwohl diese beiden Ausdrücke in der Umgangssprache oft synonym benutzt werden, unterscheidet die Informationstheorie beide dem Begriff nach grundlegend voneinander.
