Kullback-Leibler-Divergenz

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz), Kullback-Leibler-Entropie, Kullback-Leibler-Information, Kullback-Leibler-Abstand (nach Solomon Kullback und Richard Leibler) oder Information Gain bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen. Typischerweise repräsentiert dabei eine der Verteilungen empirische Beobachtungen oder eine präzise Wahrscheinlichkeitsverteilung, während die andere ein Modell oder eine Approximation darstellt.

Hinweis: Die KL-Divergenz wird auch relative Entropie genannt, wobei der Begriff relative Entropie gelegentlich auch für die Transinformation verwendet wird.

Formal lässt sich die KL-Divergenz für die Wahrscheinlichkeitsfunktionen und diskreter Werte folgendermaßen bestimmen:

Werden die Verteilungen und für kontinuierliche Werte durch die Wahrscheinlichkeitsdichtefunktionen und dargestellt, wird hingegen ein Integral berechnet:

Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wie viel Platz pro Zeichen im Mittel verschwendet wird, wenn eine auf basierende Kodierung auf eine Informationsquelle angewendet wird, die der tatsächlichen Verteilung folgt. Somit besteht ein Zusammenhang zur Kanalkapazität. Mathematisch ist dies verträglich mit der Aussage, dass die KL-Divergenz ist und Gleichheit nur dann gilt, wenn P und Q identisch sind.

Die konkrete Wahl der Basis des Logarithmus in der Berechnung hängt dabei davon ab, in welcher Informationseinheit gerechnet werden soll. In der Praxis gibt man die KL-Divergenz häufig in Bit bzw. Shannon an und verwendet dafür die Basis 2, seltener werden auch Nit (Basis ) und Ban (Basis 10) gebraucht.

Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet. Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die genaue Kenntnis von geschätzt werden. In praktischen Anwendungen ist dies vorteilhaft, da die tatsächliche Hintergrundverteilung der Beobachtungsdaten meist unbekannt ist.

Obwohl die Kullback-Leibler-Divergenz teilweise auch als Kullback-Leibler-Distanz bezeichnet wird, erfüllt sie eine fundamentale Anforderung an Distanzmaße nicht: Sie ist nicht symmetrisch, es gilt also im Allgemeinen . Um Symmetrie herzustellen, kann alternativ die Summe der beiden Divergenzen verwendet werden, die offensichtlich symmetrisch ist:

Ein Beispiel für die Anwendung der Kullback-Leibler-Distanz zur Beurteilung der Ähnlichkeit zweier Wahrscheinlichkeitsverteilungen ist der Vergleich zweier Riefenscharen auf einer gehonten Oberfläche. Für die Riefenscharen stellt man zunächst ein parametrisches Modell für die Tiefe, den Abstand und die Breite der Riefen auf. Anschließend werden die Parameter für die zu vergleichenden Proben geschätzt. Nun kann die Kullback-Leibler-Distanz zwischen den beiden Verteilungen berechnet werden. Ihre Größe gibt die Ähnlichkeit der Verteilungen der Riefenscharen an; ist sie 0, entstammen beide Proben derselben Verteilung.[1]

Belege[Bearbeiten | Quelltext bearbeiten]

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Doris Krahe, Jürgen Beyerer: Parametric method to quantify the balance of groove sets of honed cylinder bores. In: Architectures, Networks, and Intelligent Systems for Manufacturing Integration. doi:10.1117/12.294431 (spie.org [abgerufen am 2. August 2016]).