Quellentropie

Die Definitionen der Blockentropie und der bedingten Entropie sind im Grenzübergang gleichwertig. Man erhält einen Ausdruck, der die Entropie pro Symbol unabhängig von der Blocklänge beschreibt, die so genannte Quellentropie (source entropy):

$h=\lim _{n\to \infty }H^{(n)}=\lim _{n\to \infty }h_{n}$

Es gelten die Ungleichungen

$h\leq H^{(n)}\leq H(x_{n})\leq \log |X|$