Gibbs-Ungleichung

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

In der Informationstheorie ist die Gibbs-Ungleichung (nach J. W. Gibbs) eine Aussage über die Entropie einer diskreten Wahrscheinlichkeitsverteilung. Man erhält mit ihr eine untere Schranke der mittleren Codewortlänge von optimalen Präfixcodes und eine untere Schranke der mittleren Laufzeit von vergleichsbasierten Sortierverfahren.

Gibbs-Ungleichung[Bearbeiten | Quelltext bearbeiten]

Es seien und diskrete Wahrscheinlichkeitsverteilungen, d. h. für alle und . Dann gilt:

Gleichheit tritt genau dann auf, wenn für alle .

Beweis[Bearbeiten | Quelltext bearbeiten]

Für alle gilt die Ungleichung , wobei Gleichheit nur im Fall auftritt.


Setzt man für insbesondere ein, so erhält man .


Multipliziert man die Ungleichung mit durch und summiert über alle , so erhält man

.


Nachdem ist, folgt daraus

.


Bringt man die beiden Terme auf die jeweils entgegengesetzte Seite, so ist

.


Anstelle des natürlichen Logarithmus lässt sich genauso gut jede andere Logarithmenbasis hernehmen, da ist.

Man braucht die Ungleichung hierzu nur mit der positiven Zahl durchdividieren.


In der Informationstheorie bietet es sich an als Basis zu wählen.

Folgerungen[Bearbeiten | Quelltext bearbeiten]

Für die Entropie gilt

,

mit Gleichheit genau dann, wenn für alle .


Wenn diskrete Zufallsvariablen sind, dann ist

,

mit Gleichheit genau dann wenn und stochastisch unabhängig sind.


Einige nützliche Anwendungen ergeben sich in Verbindung mit der Kraft-Ungleichung. Sei dazu ein vollständiger Binärbaum mit den Blatttiefen und einer den Blättern zugeordneten Wahrscheinlichkeitsverteilung gegeben. Dann gilt mittels :

Die mittlere Blatttiefe ist also von unten durch die Entropie der dazugehörigen Wahrscheinlichkeitsverteilung beschränkt.

Damit ist dann klar, dass die mittlere Codewortlänge eines optimalen Präfixcodes von unten durch die Entropie der zugehörigen Wahrscheinlichkeitsverteilung der Symbole beschränkt ist. Gleichheit tritt hier genau dann auf, wenn für alle gilt, wobei die Codewortlänge des -ten Codewortes bezeichnet.

Bei vergleichsbasierten Sortierverfahren von Elementen unter Gleichverteilungsannahme ergibt sich durch Betrachtung der mittleren Blatttiefe des binären Entscheidungsbaums die untere Schranke . Die average-case-Laufzeit eines vergleichsbasierten Sortierverfahrens verhält sich also asymptotisch wie .

Literatur[Bearbeiten | Quelltext bearbeiten]

  • U. Schöning: Algorithmik. Spektrum Akademischer Verlag, Heidelberg 2001.