Likelihood-Funktion

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Likelihood-Funktion, gelegentlich auch Plausibilitätsfunktion genannt,[1] ist eine spezielle reellwertige Funktion in der mathematischen Statistik, die aus einer Wahrscheinlichkeitsdichtefunktion oder einer Zähldichte gewonnen wird, indem man einen Parameter der Dichte als Variable behandelt. Zentrale Verwendung der Likelihood-Funktion ist die Konstruktion von Schätzfunktionen durch die Maximum-Likelihood-Methode. Zudem werden aus ihr weitere Funktionen wie die Log-Likelihood-Funktion und die Score-Funktion abgeleitet, die beispielsweise als Hilfsfunktionen bei der Maximum-Likelihood-Methode oder zur Konstruktion von Optimalitätskriterien in der Schätztheorie verwendet werden.

Definition[Bearbeiten | Quelltext bearbeiten]

Gegeben sei eine Wahrscheinlichkeitsdichtefunktion oder eine Zähldichte

,

welche noch zusätzlich von einem oder mehreren Parametern aus einer Parametermenge abhängt. Es ist also . Dann heißt die Funktion

,

die durch

definiert wird, die Likelihood-Funktion.[2][3] Die Dichtefunktion wird somit zur Likelihood-Funktion, indem man den Parameter als Variable auffasst und die Variable als Parameter behandelt. Wird ein konkretes fixiert, so nennt man auch die Likelihood-Funktion zum Beobachtungswert .[1] Im Falle einer Zähldichte gibt die somit die Wahrscheinlichkeit von an bei gegebenem Parameter .

Beispiele[Bearbeiten | Quelltext bearbeiten]

Wahrscheinlichkeitsdichte[Bearbeiten | Quelltext bearbeiten]

Betrachtet man unabhängig identisch normalverteilte Zufallsvariablen mit Erwartungswert und Varianz , so besitzt aufgrund der Unabhängigkeit die Wahrscheinlichkeitsdichtefunktion

Somit ist der Parameter gegeben als und stammt aus der Parametermenge . Folglich ist die Likelihood-Funktion

,

sie stimmt also mit der Dichtefunktion überein, mit dem Unterschied, dass und die Variablen sind und als Parameter behandelt wird. Setzt man und , so ist die Likelihood-Funktion zum Beobachtungswert

.

Zähldichte[Bearbeiten | Quelltext bearbeiten]

Ist eine zum Parameter binomialverteilte Zufallsvariable bei fixiertem , also

,

so besitzt sie die Zähldichte

für . Folglich ist die Likelihood-Funktion von der Form

mit und . Die Likelihood-Funktion zum Beobachtungswert ist dann gegeben durch

.

Verwendung[Bearbeiten | Quelltext bearbeiten]

Hauptartikel: Maximum-Likelihood-Methode

Hauptverwendung findet die Likelihood-Funktion bei der Maximum-Likelihood-Methode, einer intuitiv gut zugänglichen Schätzmethode zur Schätzung eines unbekannten Parameters . Dabei geht man bei einem Beobachtungsergebnis davon aus, dass dieses ein „typisches“ Beobachtungsergebnis ist in dem Sinne, dass es sehr wahrscheinlich ist, solch ein Ergebnis zu erhalten. Die Wahrscheinlichkeit dafür, zu erhalten hängt von der Wahrscheinlichkeitsdichtefunktion und damit auch von ab. Daher gibt man als Schätzung für den unbekannten Parameter denjenigen Parameter an, für den die Wahrscheinlichkeit des Eintretens von maximal ist. Dafür betrachtet man die Likelihood-Funktion zum Beobachtungswert und sucht ein , so dass

für alle .

Dies entspricht der Bestimmung einer Maximalstelle der Likelihood-Funktion, welche meist durch Nullsetzen der Ableitung bestimmt wird:

.

Ist diese Gleichung schwer zu lösen, bietet sich die Log-Likelihood-Funktion als Hilfsmittel an.

Aufbauende Begriffe[Bearbeiten | Quelltext bearbeiten]

Log-Likelihood-Funktion[Bearbeiten | Quelltext bearbeiten]

Definition[Bearbeiten | Quelltext bearbeiten]

Die Log-Likelihood-Funktion ist definiert als der (natürliche) Logarithmus aus der Likelihood-Funktion,[3] also

.

Teils wird sie auch mit bezeichnet.[4]

Beispiele[Bearbeiten | Quelltext bearbeiten]

Aufbauend auf den obigen beiden Beispielen für die Likelihood-Funktion gilt im Falle der unabhängig identisch normalverteilten Zufallsvariablen für die Log-Likelihood-Funktion

.

Im Falle der Binomialverteilung gilt für die Log-Likelihood-Funktion

.

Beides folgt aus den Rechenregeln für den Logarithmus (siehe Logarithmus#Logarithmengesetze).

Eigenschaften[Bearbeiten | Quelltext bearbeiten]

Da der Logarithmus eine streng monoton wachsende Funktion ist, ist jedes Minimum der Log-Likelihood-Funktion auch ein Minimum der Likelihood-Funktion. Ebenso ist jedes Maximum der Log-Likelihood-Funktion auch ein Maximum der Likelihood-Funktion.

Außerdem ist die Log-Likelihood-Funktion bei unabhängig identisch verteilten Zufallsvariablen additiv. Das bedeutet, dass wenn unabhängig identisch verteilte Zufallsvariablen mit Dichte und Log-Likelihood-Funktion sind, so besitzt die Log-Likelihood-Funktion

.

Dies folgt direkt aus der Tatsache, dass die Dichten von als Produkt gebildet werden, und den Rechenregeln des Logarithmus.

Verwendung[Bearbeiten | Quelltext bearbeiten]

Da die Log-Likelihood-Funktion dieselben Maximalstellen besitzt wie die Likelihood-Funktion, ist sie ein gängiges Hilfsmittel zur Lösung der Gleichung

,

welche bei der Maximum-Likelihood-Methode anfällt. Anstelle dieser Gleichung wird dann die Gleichung

gelöst. Insbesondere die Additivität der Log-Likelihood-Funktion bei unabhängig identisch verteilten Zufallsvariablen erleichtert das Lösen der Gleichung in vielen Fällen.

Score-Funktion[Bearbeiten | Quelltext bearbeiten]

Definition[Bearbeiten | Quelltext bearbeiten]

In einparametrigen Modellen definiert man die Score-Funktion als[5]

Sie muss nicht immer existieren und taucht beispielsweise bei der Fisher-Information auf.

Beispiel[Bearbeiten | Quelltext bearbeiten]

Für die Normalverteilung kann keine Score-Funktion definiert werden, da sie nicht einparametrig ist, sondern die beiden Parameter und besitzt. Für die Binomialverteilung wurde oben bereits gezeigt, dass die Likelihood-Funktion von der Form

ist. Daher ist

.

Leitet man diese Funktion nach ab, so fällt der erste Term als Konstante weg und mit den Ableiteregeln für den Logarithmus (siehe Logarithmus#Ableitung und Integral) folgt

für die Score-Funktion.

Pseudo-Likelihood-Funktion[Bearbeiten | Quelltext bearbeiten]

Für die Lösung des Maximum-Likelihood-Problems ist nur das Auffinden des Maximums der Likelihood-Funktion von Belang. Dies ist einer der Gründe, warum die Maximum-Likelihood-Methode oft auch funktioniert, obwohl die Voraussetzungen nicht erfüllt sind. In den folgenden Fällen spricht man von einer Pseudo-Likelihood-Funktion:

  • die Verteilungsvoraussetzungen für die Maximum-Likelihood-Methode sind nicht erfüllt: Man nennt dann die Likelihood-Funktion eine Pseudo-Likelihood-Funktion und
  • die eigentliche Likelihood-Funktion oder Log-Likelihood-Funktion ist zu schwierig zu maximieren und wird z. B. durch eine geglättete Version ersetzt und diese Pseudo-Likelihood-Funktion wird dann maximiert.

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. a b Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, S. 203, doi:10.1515/9783110215274.
  2. Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, S. 162, doi:10.1007/978-3-642-41997-3.
  3. a b Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. Für Studium, Berufspraxis und Lehramt. 8. Auflage. Vieweg, Wiesbaden 2005, ISBN 3-8348-0063-5, S. 62, doi:10.1007/978-3-663-09885-0.
  4. Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, S. 85, doi:10.1007/978-3-642-17261-8.
  5. Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, S. 201, doi:10.1515/9783110215274.