Kreuzentropie

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen

Die Kreuzentropie ist in der Informationstheorie und der mathematischen Statistik ein Maß für die Qualität eines Modells für eine Wahrscheinlichkeitsverteilung.

Definition[Bearbeiten | Quelltext bearbeiten]

Sei eine Zufallsvariable mit Zielmenge , die gemäß verteilt ist. Es sei weiter eine Verteilung auf demselben Ereignisraum.

Dann ist die Kreuzentropie definiert durch:

Hierbei bezeichne die Entropie von und die Kullback-Leibler-Divergenz der beiden Verteilungen.

Äquivalente Formulierung[Bearbeiten | Quelltext bearbeiten]

Durch Einsetzen der beiden Definitionsgleichungen ergibt sich nach Vereinfachung im diskreten Fall

und im stetigen Fall (mit Dichtefunktionen und )

Schätzung[Bearbeiten | Quelltext bearbeiten]

Zwar hat die Kreuzentropie eine vergleichbare Aussagekraft wie die reine Kullback-Leibler-Divergenz, erstere lässt sich jedoch auch ohne genaue Kenntnis von schätzen. In der praktischen Anwendung ist daher meist eine Approximation einer unbekannten Verteilung .

Nach obiger Gleichung gilt:

Wobei den Erwartungswert gemäß der Verteilung bezeichne.

Sind nun Realisierungen von , d. h. eine unabhängig und identisch gemäß verteilte Stichprobe, so ist also

ein erwartungstreuer Schätzer für die Kreuzentropie.

Abgeleitete Größen[Bearbeiten | Quelltext bearbeiten]

Die Größe beziehungsweise wird auch als Perplexität bezeichnet. Sie wird vor allem in der Spracherkennung verwendet.

Literatur & Weblinks[Bearbeiten | Quelltext bearbeiten]