Likelihood-Funktion

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Bei der Likelihood-Funktion (von engl. likelihood ‚Wahrscheinlichkeit‘) handelt es sich um eine mathematische Funktion, die im Rahmen der Maximum-Likelihood-Methode verwendet wird, um Parameter einer Dichte- bzw. Wahrscheinlichkeitsfunktion zu schätzen. Die Log-Likelihood-Funktion ist die logarithmierte Likelihood-Funktion.

Definition[Bearbeiten]

Es bezeichne X eine Zufallsvariable mit zugehöriger Dichte- bzw. Wahrscheinlichkeitsfunktion f(x;\theta ). Hierbei ist \theta ein (möglicherweise mehrdimensionaler) unbekannter Parameter. Weiterhin seien x_1, x_2, \dots, x_n verschiedene Realisierungen dieser Zufallsvariablen. Die Likelihood-Funktion L(\theta | x_1, x_2, \dots, x_n) dieser Stichprobe ist definiert als die Funktion, die jedem Parameterwert \theta den Wert

L(\theta|x_1,x_2,\cdots,x_n) = f(x_1,x_2,\cdots,x_n;\theta) ,

also die gemeinsame Dichte- bzw. Wahrscheinlichkeitsfunktion, zuordnet. [1]

Log-Likelihood-Funktion[Bearbeiten]

Die Log-Likelihood-Funktion ist die logarithmierte Likelihood-Funktion. Sie wird meist im Zusammenhang mit der Bestimmung einer Maximum-Likelihood-Schätzung verwendet. Zur Bestimmung des Maximums der Likelihood-Funktion müssen die ersten und zweiten Ableitungen nach \theta berechnet werden, sowie die Nullstellen der ersten Ableitung bestimmt werden. Um die Berechnung dieser Ableitungen zu erleichtern, verwendet man die Log-Likelihood-Funktion

\log(L(\theta)) = \log(f(x_1,x_2,\cdots,x_n;\theta)),

da in vielen Fällen die Ableitung der Log-Likelihood nach \theta einfacher zu bestimmen ist als die Ableitung der Likelihood nach \theta. Generell gilt: Ist \theta^* ein Maximum der Log-Likelihood-Funktion so ist es auch ein Maximum der Likelihood-Funktion und umgekehrt.

Eine deutliche Vereinfachung bringt die Verwendung der Log-Likelihood z. B. wenn x_1, x_2, \dots, x_n unabhängige Realisierungen der Zufallsvariablen X sind. Dann ergibt sich die Likelihood-Funktion als

L(\theta) = f(x_1;\theta) \cdot f(x_2;\theta) \cdot \cdots \cdot f(x_n;\theta),

d.h. als das Produkt der eindimensionalen Dichte- bzw. Wahrscheinlichkeitsfunktionen. Die Log-Likelihood erhält man in diesem Fall durch die Summe

\log(L(\theta)) = \log(f(x_1;\theta)) + \log(f(x_2;\theta)) + \cdots + \log(f(x_n;\theta))

Beispiel[Bearbeiten]

Die Normalverteilung \mathcal{N}(\mu, \sigma^2) mit Mittelwert \mu und Varianz \sigma^2 besitzt die Wahrscheinlichkeitsdichte

f\left(x ; \mu,\sigma^2\right) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\left(-\frac {(x-\mu)^2}{2\sigma^2} \right)}.

Sind nun x_1,\ldots,x_n unabhängige Realisierungen einer Normalverteilung \mathcal{N}(m, s^2) mit unbekanntem Mittelwert und Varianz, so erhält man die entsprechende Likelihood-Funktion mit \theta = (m,s) zu

L(m,s^2; x_{i}) = \prod_{i=1}^{n} f\left( x_{i};  m, s^2\right) = \left( \frac{1}{2\pi s^2} \right)^{n/2} \exp\left( -\frac{ \sum_{i=1}^{n}(x_i-m)^2}{2 s^2}\right)

und die Log-Likelihood-Funktion zu

\log L(m,s^2; x_{i}) = -\tfrac{n}{2} \log(2\pi s^2) - \frac{ \sum_{i=1}^{n}(x_i-m)^2}{2 s^2}.

Pseudo-Likelihood-Funktion[Bearbeiten]

Für die Lösung des Maximum-Likelihood Problems ist nur das Auffinden des Maximums der Likelihood-Funktion von Belang. Dies ist einer der Gründe, warum die Maximum-Likelihood-Methode oft auch funktioniert, obwohl die Voraussetzungen nicht erfüllt sind. In den folgenden Fällen spricht man von einer Pseudo-Likelihood-Funktion:

  • die Verteilungsvoraussetzungen für die Maximum-Likelihood-Methode sind nicht erfüllt: man nennt dann die Likelihood-Funktion eine Pseudo-Likelihood-Funktion und
  • die eigentliche Likelihood-Funktion oder Log-Likelihood-Funktion ist zu schwierig zu maximieren und wird z. B. durch eine geglättete Version ersetzt und diese Pseudo-Likelihood-Funktion wird dann maximiert.

Einzelnachweise[Bearbeiten]

  1. Ulrich Krengel (1988), S. 157.

Literatur[Bearbeiten]