Kreuzentropie

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Kreuzentropie ist in der Informationstheorie und der mathematischen Statistik ein Maß für die Qualität eines Modells für eine Wahrscheinlichkeitsverteilung.

Definition[Bearbeiten | Quelltext bearbeiten]

Sei eine Zufallsvariable mit Zielmenge , die gemäß verteilt ist. Es sei weiter eine Verteilung auf demselben Ereignisraum.

Dann ist die Kreuzentropie definiert durch:

Hierbei bezeichne die Entropie von und die Kullback-Leibler-Divergenz der beiden Verteilungen.

Äquivalente Formulierung[Bearbeiten | Quelltext bearbeiten]

Durch Einsetzen der beiden Definitionsgleichungen ergibt sich nach Vereinfachung im diskreten Fall

und im stetigen Fall (mit Dichtefunktionen und )

Schätzung[Bearbeiten | Quelltext bearbeiten]

Zwar hat die Kreuzentropie eine vergleichbare Aussagekraft wie die reine Kullback-Leibler-Divergenz, erstere lässt sich jedoch auch ohne genaue Kenntnis von schätzen. In der praktischen Anwendung ist daher meist eine Approximation einer unbekannten Verteilung .

Nach obiger Gleichung gilt:

Wobei den Erwartungswert bezeichne.

Sind nun Realisierungen von , d.h. eine unabhängig und identisch gemäß verteilte Stichprobe, so ist also

ein erwartungstreuer Schätzer für die Kreuzentropie.

Abgeleitete Größen[Bearbeiten | Quelltext bearbeiten]

Die Größe beziehungsweise wird auch als Perplexität bezeichnet. Sie wird vor allem in der Spracherkennung verwendet.

Literatur & Weblinks[Bearbeiten | Quelltext bearbeiten]