Fisher-Information

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Fisher-Information (benannt nach dem Statistiker Ronald Fisher) ist eine Kenngröße aus der mathematischen Statistik, die für eine Familie von Wahrscheinlichkeitsdichten definiert werden kann und Aussagen über die bestmögliche Qualität von Parameterschätzungen in diesem Modell liefert.

Definition[Bearbeiten]

Das zugrunde liegende statistische Modell bestehe aus einer Familie \mathcal P von Wahrscheinlichkeitsdichten f_{\vartheta} mit unbekanntem Parameter \vartheta \in \Theta, wobei \Theta eine offene Teilmenge der reellen Zahlen ist. Dann ist die Fisher-Information einer Zufallsvariablen X definiert als


\mathcal{I}(\vartheta)
=
\operatorname{E}_{\vartheta}
\left[
 \left(
  \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X)
 \right)^2
\right]

mit \operatorname{E}_{\vartheta} dem Erwartungswert bezüglich der Dichte f_{\vartheta}. Mit g_\vartheta(x) := \left(\frac{\partial}{\partial\vartheta} \log f_{\vartheta}(x)\right)^2 als Abkürzung gilt also im Falle einer stetigen Verteilung

\mathcal{I}(\vartheta) = \int g_\vartheta(x) \, f_\vartheta(x) \, dx.

Bei einer diskreten Verteilung ist das Integral durch die Summe über alle Werte x zu ersetzen.

Eigenschaften und Anwendungen[Bearbeiten]

Die Fisher-Information ist im Fall unabhängig und identisch verteilter Zufallsvariabler unter der Regularitätsbedingung


\int\frac{\partial}{\partial\vartheta}\, f_{\vartheta}(x) \, dx =
\frac{\partial}{\partial\vartheta} \int f_{\vartheta}(x) \, dx

additiv, das heißt für die Fisher-Information \mathcal{I}^{(n)} einer Stichprobe X_1,\dotsc,X_n unabhängiger und identisch verteilter Zufallsvariabler mit Fisher-Information \mathcal{I} gilt

\mathcal{I}^{(n)}(\vartheta) = n \cdot \mathcal{I}(\vartheta).

Diese Eigenschaft folgt direkt aus der Gleichung von Bienaymé. Unter dieser Regularitätsbedingung ist die Fisher-Information nämlich die Varianz der sogenannten Score-Funktion

U_{\vartheta}(X) = \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X),

also der Ableitung der Log-Likelihood-Funktion. Wegen \operatorname{E}_{\vartheta}(U_{\vartheta}(X)) = 0 gilt dann

\mathcal{I}(\vartheta) = \operatorname{Var}_{\vartheta}(U_{\vartheta}(X)).

Unter der zusätzlichen Regularitätsbedingung


\int\frac{\partial^2}{\partial\vartheta^2}\, f_{\vartheta}(x) \, dx =
\frac{\partial^2}{\partial\vartheta^2} \int f_{\vartheta}(x) \, dx

lässt sich eine weitere Darstellung der Fisher-Information herleiten:

\mathcal{I}(\vartheta) = -\operatorname{E}_{\vartheta}\left[\frac{\partial^2}{\partial\vartheta^2} \log f_{\vartheta}(X)\right].

Ferner gilt für suffiziente Statistiken T, dass die Fisher-Information bezüglich f_{\vartheta}(X) dieselbe wie für g_{\vartheta}(T(X)) ist, wobei f_{\vartheta}(x) = h(x) g_{\vartheta}(T(x)) gilt.

Benutzt wird die Fisher-Information speziell in der Cramér-Rao-Ungleichung, wo ihr Kehrwert bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für \vartheta liefert: Ist T(X) ein erwartungstreuer Schätzer für den unbekannten Parameter \vartheta, dann gilt \operatorname{Var}_{\vartheta}(T(X)) \geq \mathcal{I}(\vartheta)^{-1}.

Erweiterungen auf höhere Dimensionen[Bearbeiten]

Falls das Modell von mehreren Parametern \vartheta_{i} mit 1 \leq i \leq k abhängt, lässt sich die Fisher-Information als symmetrische Matrix \mathcal{I}(\vartheta) = (\mathcal{I}_{ij}(\vartheta))_{i,j=1,\dotsc,k} definieren, wobei


\mathcal{I}_{ij}(\vartheta)
=
\operatorname{E}_{\vartheta}
\left[
  \frac{\partial}{\partial\vartheta_{i}} \log f_{\vartheta}(X) \cdot \frac{\partial}{\partial\vartheta_{j}} \log f_{\vartheta}(X)
\right]

gilt. Die Eigenschaften bleiben im Wesentlichen erhalten. Unter der Regularitätsbedingung ist \mathcal{I}(\vartheta) die Kovarianzmatrix der Score-Funktion.

Beispiele[Bearbeiten]

Bernoulli- und Binomialverteilung[Bearbeiten]

Ist X Bernoulli-verteilt mit P(X=1) = 1 - P(X=0) = \vartheta mit \vartheta \in (0,1), dann gilt f_{\vartheta}(0) = 1 - \vartheta und f_{\vartheta}(1) = \vartheta. Es folgt

\frac{\partial^2}{\partial\vartheta^2} \log f_{\vartheta}(0) = -\frac{1}{(1-\vartheta)^2} und \frac{\partial^2}{\partial\vartheta^2} \log f_{\vartheta}(1) = -\frac{1}{\vartheta^2},

also

\mathcal{I}(\vartheta) = -\operatorname{E}_{\vartheta}\left[\frac{\partial^2}{\partial\vartheta^2} \log f_{\vartheta}(X)\right] = \frac{1}{(1-\vartheta)^2} \cdot P(X=0) + \frac{1}{\vartheta^2} \cdot P(X=1) = \frac{1}{\vartheta(1-\vartheta)}.

Für eine Stichprobe X_1,\dotsc,X_n unabhängiger und identisch Bernoulli-verteilter Zufallsvariabler gilt also

\mathcal{I}^{(n)}(\vartheta) = \frac{n}{\vartheta(1-\vartheta)}.

Weil die Summe S_n = X_1 + \ldots + X_n eine suffiziente Statistik für \vartheta ist, gilt auch

\mathcal{I}_{S_n}(\vartheta) = \frac{n}{\vartheta(1-\vartheta)}

für die binomialverteilte Variable S_n mit Parameter \vartheta und festem n \in \N.

Poisson-Verteilung[Bearbeiten]

Ist X Poisson-verteilt mit Parameter \vartheta > 0, dann gilt f_{\vartheta}(x) = \mathrm{e}^{-\vartheta} \frac{\vartheta^x}{x!}, also

\frac{\partial}{\partial \vartheta} \log f_{\vartheta}(x) = \frac{x - \vartheta}{\vartheta}.

Wegen \operatorname{Var}(X) = \vartheta ergibt sich

\mathcal{I}(\vartheta) = \operatorname{Var}\left(\frac{X - \vartheta}{\vartheta}\right) = \frac{1}{\vartheta}.

Normalverteilung[Bearbeiten]

Ist X normalverteilt mit Erwartungswert \vartheta als Parameter und bekannter Varianz v > 0, dann ist f_{\vartheta}(x) = \frac{1}{\sqrt{2 \pi v}} \mathrm{e}^{-\frac{(x-\vartheta)^2}{2v}}. Es folgt

\frac{\partial}{\partial \vartheta} \log f_{\vartheta}(x) = \frac{x-\vartheta}{v},

also

\mathcal{I}(\vartheta) = \operatorname{Var}\left(\frac{X - \vartheta}{v}\right) = \frac{1}{v}.

Betrachtet man dagegen sowohl den Erwartungswert \mu also auch die Varianz v als unbekannte Parameter, so ergibt sich

\mathcal{I}(\mu,v) = \begin{pmatrix} \dfrac{1}{v} & 0 \\ 0 & \dfrac{1}{2v^2}\end{pmatrix}

als Fisher-Informationsmatrix.

Literatur[Bearbeiten]

  • Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.