Fisher-Information

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Fisher-Information (benannt nach dem Statistiker Ronald Fisher) ist eine Kenngröße aus der mathematischen Statistik, die für eine Familie von Wahrscheinlichkeitsdichten definiert werden kann und Aussagen über die bestmögliche Qualität von Parameterschätzungen in diesem Modell liefert.

Definition[Bearbeiten | Quelltext bearbeiten]

Gegeben sei ein einparametriges statistisches Standardmodell , das heißt

  • es ist
  • die besitzen alle eine Dichtefunktion bezüglich eines festen σ-endlichen Maßes , das heißt sie bilden eine dominierte Verteilungsklasse.

Des Weiteren sei eine offene Menge und es existiere die Score-Funktion

und sei endlich. Dann wird die Fisher-Information des Modells entweder definiert als [1]

oder als[2]

.

Dabei bezeichnet die Varianz bezüglich der Wahrscheinlichkeitsverteilung . Unter der Regularitätsbedingung

fallen die beiden Definitionen zusammen. Gilt zusätzlich die Regularitätsbedingung

,

so ist die Fisher-Information gegeben durch

.

Bemerkungen zur Definition[Bearbeiten | Quelltext bearbeiten]

Folgende Dinge sind bei der Definition zu beachten:

  • Daraus, dass das Modell einparametrisch ist, folgt nicht, dass es sich um Wahrscheinlichkeitsverteilungen über einem eindimensionalen Grundraum handelt. Einparametrig bedeutet lediglich, dass die Verteilungen durch einen eindimensionalen Parameter bestimmt werden. An die Dimension des Grundraumes werden keine Anforderungen gestellt.
  • In den meisten Fällen ist das Maß , bezüglich dem die Dichtefunktionen definiert sind, entweder das Lebesgue-Maß oder das Zählmaß. Handelt es sich um das Zählmaß, so sind die Dichtefunktionen Wahrscheinlichkeitsfunktionen, das Integral wird dementsprechend durch eine Summe ersetzt. Handelt es sich um das Lebesgue-Maß, so ist das Integral ein Lebesgue-Integral, kann jedoch in den meisten Fällen durch das herkömmlich Riemann-Integral ersetzt werden. Man schreibt dann dementsprechend anstelle von .
  • Hinreichend für die Existenz der Score-Funktion ist beispielsweise, dass auf ganz positiv ist und stetig differenzierbar nach .
  • Die erste Regularitätsbedingung gilt beispielsweise per Definition in regulären statistischen Modellen. Meist zeigt man die Vertauschbarkeit von Integration und Differentiation mit den klassischen Aussagen der Analysis.
  • Unter der ersten Regularitätsbedingung ist die Score-Funktion zentriert, das heißt es ist . Daraus folgt mittels des Verschiebungssatzes der Varianz die Äquivalenz der ersten beiden Definition der Fisher-Information.

Beispiele[Bearbeiten | Quelltext bearbeiten]

Diskreter Grundraum: Poisson-Verteilung[Bearbeiten | Quelltext bearbeiten]

Als statistisches Modell sei der Grundraum gegeben, versehen mit der σ-Algebra , der Potenzmenge. Für sei die Poisson-Verteilung. Demnach ist die Dichtefunktion, hier bezüglich des Zählmaßes, gegeben durch

.

Damit ergibt sich die Score-Funktion zu

Damit ist die Fisher-Information nach den Rechenregeln für die Varianz unter linearen Transformationen

.

Stetiger Grundraum: Exponentialverteilung[Bearbeiten | Quelltext bearbeiten]

Als statistisches Modell sei diesmal und gewählt. Die seien Exponentialverteilt zum Parameter . Somit besitzen sie die Dichtefunktion (bezüglich des Lebesgue-Maßes)

.

Demnach ist die Score-Funktion

,

folglich ist die Fisher-Information

Fisher-Information einer Exponentialfamilie[Bearbeiten | Quelltext bearbeiten]

Ist durch eine einparametrige Exponentialfamilie gegeben, besitzt also die Dichtefunktion

,

so ist die Score-Funktion gegeben durch

.

Daraus folgt für die Fisher-Information

.

Ist die Exponentiafamilie in der natürlichen Parametrisierung gegeben, als , so vereinfacht sich dies zu

In diesem Fall ist also die Varianz der kanonischen Statistik die Fisher-Information.

Eigenschaften und Anwendungen[Bearbeiten | Quelltext bearbeiten]

Additivität[Bearbeiten | Quelltext bearbeiten]

Die Fisher-Information ist im Fall unabhängig und identisch verteilter Zufallsvariablen unter der ersten Regularitätsbedingung additiv, das heißt für die Fisher-Information einer Stichprobe unabhängiger und identisch verteilter Zufallsvariabler mit Fisher-Information gilt

.

Diese Eigenschaft folgt direkt aus der Gleichung von Bienaymé.

Suffizienz[Bearbeiten | Quelltext bearbeiten]

Ferner gilt für suffiziente Statistiken , dass die Fisher-Information bezüglich dieselbe wie für ist, wobei gilt.

Verwendung[Bearbeiten | Quelltext bearbeiten]

Benutzt wird die Fisher-Information speziell in der Cramér-Rao-Ungleichung, wo ihr Kehrwert bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für liefert: Ist ein erwartungstreuer Schätzer für den unbekannten Parameter , dann gilt .

Erweiterungen auf höhere Dimensionen[Bearbeiten | Quelltext bearbeiten]

Falls das Modell von mehreren Parametern mit abhängt, lässt sich die Fisher-Information als symmetrische Matrix definieren, wobei

gilt. Sie wird die Fisher-Informationsmatrix genannt. Die Eigenschaften bleiben im Wesentlichen erhalten. Unter der Regularitätsbedingung ist die Kovarianzmatrix der Score-Funktion.

Beispiel: Normalverteilung[Bearbeiten | Quelltext bearbeiten]

Ist normalverteilt mit Erwartungswert als Parameter und bekannter Varianz , dann ist . Es folgt

,

also

.

Betrachtet man dagegen sowohl den Erwartungswert als auch die Varianz als unbekannte Parameter, so ergibt sich

als Fisher-Informationsmatrix.

Literatur[Bearbeiten | Quelltext bearbeiten]

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Georgii: Stochastik. 2009, S. 210.
  2. Czado Schmidt: Mathematische Statistik. 2011, S. 116.