Fisher-Information

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Fisher-Information (benannt nach dem Statistiker Ronald Fisher) ist eine Kenngröße aus der mathematischen Statistik, die für eine Familie von Wahrscheinlichkeitsdichten definiert werden kann und Aussagen über die bestmögliche Qualität von Parameterschätzungen in diesem Modell liefert.

Definition[Bearbeiten]

Das zugrunde liegende statistische Modell bestehe aus einer Familie \mathcal P von Wahrscheinlichkeitsdichten f_{\vartheta} mit unbekanntem Parameter \vartheta \in \Theta, wobei \Theta eine offene Teilmenge der reellen Zahlen ist. Dann ist die Fisher-Information einer Zufallsvariablen X definiert als


\mathcal{I}(\vartheta)
=
\mathrm{E}
\left[
 \left(
  \frac{\partial}{\partial\vartheta} \log f(X;\vartheta)
 \right)^2
\right]
,

mit \mathrm{E} dem Erwartungswert.

Sind die Zufallsvariablen X_1, \ldots, X_n unabhängig und identisch verteilt (i.i.d.), so ergibt sich für die gemeinsame Dichte f(X;\vartheta) = \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell) und somit für die Fisher-Information


\mathcal{I}(\vartheta)
=
\mathrm{E}
\left[
 \left(
  \frac{\partial}{\partial\vartheta} \log \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell)
 \right)^2
\right]
.

Eigenschaften und Anwendungen[Bearbeiten]

Die Fisher-Information ist im i.i.d. Fall unter der Regularitätsbedingung


\mathrm{E}
\left[
   \frac{\partial}{\partial\vartheta} \log \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell)
\right]
= 0

additiv, d. h. für unabhängige Zufallsvariablen X_{1}\; und X_{2}\; gilt \mathcal{I}_{X_1, X_2}(\vartheta) = \mathcal{I}_{X_1}(\vartheta) + \mathcal{I}_{X_2}(\vartheta). Diese Eigenschaft ist eine einfache Anwendung der Tatsache, dass sich die Varianzen unabhängiger Zufallsvariablen additiv verhalten.

Ferner gilt für suffiziente Statistiken T\;, dass die Fisher-Information bezüglich f_{\vartheta}(X) dieselbe wie für g_{\vartheta}(T(X)) ist, wobei f_{\vartheta}(x) = h(x) g_{\vartheta}(T(x)) gilt.

Benutzt wird die Fisher-Information speziell in der Cramér-Rao-Ungleichung, wo sie bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für \vartheta liefert.

Erweiterungen auf höhere Dimensionen[Bearbeiten]

Falls das Modell von mehreren Parametern \vartheta_{i} mit 1 \leq i \leq k abhängt, lässt sich die Fisher-Information als symmetrische Matrix definieren, wobei


\mathcal{I}_{ij}(\vartheta)
=
\mathrm{E}
\left[
  \frac{\partial}{\partial\vartheta_{i}} \log \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell) \frac{\partial}{\partial\vartheta_{j}} \log \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell)
\right]

gilt. Die Eigenschaften bleiben im Wesentlichen erhalten.

Literatur[Bearbeiten]

  • Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.