Quellentropie

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Definitionen der Blockentropie und der bedingten Entropie sind im Grenzübergang gleichwertig. Man erhält einen Ausdruck, der die Entropie pro Symbol unabhängig von der Blocklänge beschreibt, die so genannte Quellentropie (source entropy):

h = \lim_{n \to \infty}H^{(n)} = \lim_{n \to \infty} h_n

Es gelten die Ungleichungen

h \le H^{(n)} \le H(x_n) \le \log |X|