Kreuzentropie

Dieser Artikel oder nachfolgende Abschnitt ist nicht hinreichend mit Belegen (bspw. Einzelnachweisen) ausgestattet. Die fraglichen Angaben werden daher möglicherweise demnächst entfernt. Hilf bitte der Wikipedia, indem du die Angaben recherchierst und gute Belege einfügst. Näheres ist eventuell auf der Diskussionsseite oder in der Versionsgeschichte angegeben. Bitte entferne zuletzt diese Warnmarkierung.

Die Kreuzentropie ist in der Informationstheorie ein Maß für die Qualität eines Modells einer Wahrscheinlichkeitsverteilung.

Für eine Zufallsvariable $X$, die der Verteilung $P$ folgt und eine zweite Verteilung $Q$ desselben Ereignishorizonts ist die Kreuzentropie folgendermaßen definiert:

$H(X, P, Q) = H(X) + D(P \Vert Q)\,.$

Hierbei bezeichnet $H(X)$ die Entropie von $X$ und $D(P \| Q)$ die Kullback-Leibler-Divergenz der beiden Verteilungen.

Mit Hilfe der Definitionsgleichungen dieser beiden Größen ergibt sich für eine diskrete Zufallsvariable nach Vereinfachung:

$H(X, P, Q) = -\sum_{x \in Bild(X)} P(X=x) \cdot \log_2 Q(X=x)\,.$

Wobei $Bild(X)$ den Wertebereich der Zufallsvariable bezeichne.

In der praktischen Anwendung ist $Q$ meist eine Annäherung an eine unbekannte Verteilung $P$. Zwar hat die Kreuzentropie eine ähnliche Aussagekraft wie die Kullback-Leibler-Divergenz, erstere lässt sich jedoch unter bestimmten Umständen ohne $P$ berechnen – bei unbekanntem $P$ sehr vorteilhaft.

Eng verwandt mit der Kreuzentropie ist die Perplexität, die bei gleicher Aussagekraft u. U. anschaulichere Zahlenwerte liefert.