Likelihood-Funktion

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Bei der Likelihood-Funktion (von engl. likelihood ‚Wahrscheinlichkeit‘) handelt es sich um eine mathematische Funktion, die im Rahmen der Maximum-Likelihood-Methode verwendet wird, um Parameter einer Dichte- bzw. Wahrscheinlichkeitsfunktion zu schätzen. Die Log-Likelihood-Funktion ist die logarithmierte Likelihood-Funktion, die Score-Funktion die Ableitung der Log-Likelihood-Funktion nach dem Parameter.

Definition[Bearbeiten | Quelltext bearbeiten]

Es bezeichnen reelle Zufallsvariablen mit zugehöriger gemeinsamer Dichte- bzw. Wahrscheinlichkeitsfunktion . Hierbei ist ein (möglicherweise mehrdimensionaler) unbekannter Parameter. Weiterhin seien Realisierungen dieser Zufallsvariablen. Die Likelihood-Funktion dieser Stichprobe ist definiert als die Funktion, die jedem Parameterwert den Wert

,

also die gemeinsame Dichte- bzw. Wahrscheinlichkeitsfunktion, zuordnet.[1]

Log-Likelihood-Funktion[Bearbeiten | Quelltext bearbeiten]

Die Log-Likelihood-Funktion ist die logarithmierte Likelihood-Funktion. Sie wird meist im Zusammenhang mit der Bestimmung einer Maximum-Likelihood-Schätzung verwendet. Zur Bestimmung des Maximums der Likelihood-Funktion müssen die ersten und zweiten Ableitungen nach berechnet werden, sowie die Nullstellen der ersten Ableitung bestimmt werden. Um die Berechnung dieser Ableitungen zu erleichtern, verwendet man die Log-Likelihood-Funktion

,

da in vielen Fällen die Ableitung der Log-Likelihood nach einfacher zu bestimmen ist als die Ableitung der Likelihood nach . Generell gilt: Ist ein Maximum der Log-Likelihood-Funktion so ist es auch ein Maximum der Likelihood-Funktion und umgekehrt.

Eine deutliche Vereinfachung bringt die Verwendung der Log-Likelihood, wenn die unabhängige Zufallsvariable sind. Dann ergibt sich die Likelihood-Funktion als

,

d. h. als das Produkt der eindimensionalen Dichte- bzw. Wahrscheinlichkeitsfunktionen. Die Log-Likelihood erhält man in diesem Fall durch die Summe

Score-Funktion[Bearbeiten | Quelltext bearbeiten]

In einparametrigen Modellen definiert man die Score-Funktion als

Sie muss nicht immer existieren und taucht beispielsweise bei der Fisher-Information auf.

Beispiel[Bearbeiten | Quelltext bearbeiten]

Die Normalverteilung mit Mittelwert und Varianz besitzt die Wahrscheinlichkeitsdichte

Sind nun unabhängige Realisierungen einer Normalverteilung mit unbekanntem Mittelwert und Varianz, so erhält man die entsprechende Likelihood-Funktion mit zu

und die Log-Likelihood-Funktion zu

Pseudo-Likelihood-Funktion[Bearbeiten | Quelltext bearbeiten]

Für die Lösung des Maximum-Likelihood Problems ist nur das Auffinden des Maximums der Likelihood-Funktion von Belang. Dies ist einer der Gründe, warum die Maximum-Likelihood-Methode oft auch funktioniert, obwohl die Voraussetzungen nicht erfüllt sind. In den folgenden Fällen spricht man von einer Pseudo-Likelihood-Funktion:

  • die Verteilungsvoraussetzungen für die Maximum-Likelihood-Methode sind nicht erfüllt: man nennt dann die Likelihood-Funktion eine Pseudo-Likelihood-Funktion und
  • die eigentliche Likelihood-Funktion oder Log-Likelihood-Funktion ist zu schwierig zu maximieren und wird z. B. durch eine geglättete Version ersetzt und diese Pseudo-Likelihood-Funktion wird dann maximiert.

Literatur[Bearbeiten | Quelltext bearbeiten]

Weblinks[Bearbeiten | Quelltext bearbeiten]

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Ulrich Krengel (1988), S. 157.