Entropierate

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Entropierate (englisch entropy rate) ermöglicht in der Informationstheorie unabhängig von der Länge einer Nachricht eine Messung der Entropie bezogen auf ein Zeichen.

Formal lässt sie sich folgendermaßen definieren:

H_{Rate}={1 \over n} H(X_1, ..., X_n) = -{1 \over n} \sum_{x_1, ..., x_n} p(x_1, ..., x_n) \log p(x_1, ..., x_n).

Hierbei ist n die Anzahl der Zeichen der Nachricht bzw. die Anzahl der Zufallsvariablen.

Die Entropierate ermöglicht einen Vergleich der Entropien von Nachrichten unterschiedlicher Länge.