Cramér-Rao-Ungleichung

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Cramér-Rao-Ungleichung, benannt nach den beiden Mathematikern Harald Cramér und Calyampudi Radhakrishna Rao, liefert in der mathematischen Statistik zu jedem zu schätzenden Parameter eine untere Schranke für die Varianz eines Schätzers bzgl. dieses Parameters.

Definition[Bearbeiten]

Sei \vartheta\in\Theta Parameter, X\; Zufallsvariable mit unbekannter Dichte f_{\vartheta} und T(X)\; Schätzer. Sei I(\vartheta) die Fisher-Information. Dann gilt die Cramér-Rao-Ungleichung

\mathrm{Var}_{\vartheta}(T(X)) \geq \frac{(\frac{\partial}{\partial \vartheta} \mathrm{E}_{\vartheta}[T(X)])^2}{I(\vartheta)} ,

sofern die folgenden Regularitätsbedingungen erfüllt sind:

Effizienz und Optimalität[Bearbeiten]

Wenn für einen Schätzer T(X)\; die Identität

\mathrm{Var}_{\vartheta}(T(X)) = \frac{(\frac{\partial}{\partial \vartheta} E_{\vartheta}[T(X)])^2}{I(\vartheta)}

gilt, so heißt er effizient. Wenn er zudem erwartungstreu ist, so ist er bezüglich der mittleren quadratischen Abweichung optimal. Für einen erwartungstreuen Schätzer vereinfacht sich die untere Schranke zur inversen Fisher-Information.

Regularitätsbedingungen und Beweisidee[Bearbeiten]

Der Beweis der Cramér-Rao-Ungleichung beruht im Wesentlichen auf der Cauchy-Schwarz-Ungleichung und zwei Modellannahmen, die die Vertauschbarkeit von Differentiation und Integration regeln.

Einerseits soll


\mathrm{E}_{\vartheta}
\left[
  \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X_i)
\right]
= 0

gelten und andererseits nehmen wir


\mathrm{E}_{\vartheta}
\left[
  T(X) \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X_i)
\right]
= 
\frac{\partial}{\partial\vartheta} \mathrm{E}_{\vartheta}
\left[
  T(X)
\right]

an. Direktes Einsetzen in die Cauchy-Schwarz-Ungleichung liefert dann die Behauptung.

Mehrdimensionale Formulierung[Bearbeiten]

Unter ähnlichen Regularitätsbedingungen ist die Cramér-Rao-Ungleichung auch im Falle mehrdimensionaler Parameter formulierbar. Die Aussage überträgt sich dann auf die Betrachtung der Kovarianzmatrix des mehrdimensionalen Schätzers und liefert eine \leq-Relation im Sinne der Löwner-Ordnung für Matrizen.

Sei \underline{\vartheta} := \left[\vartheta_1, \vartheta_2, ... , \vartheta_n\right]^T der Vektor der unbekannten Parameter und \mathbf{X} eine multivariate Zufallsvariable mit zugehöriger Wahrscheinlichkeitsdichte f(\mathbf{X}; \underline{\vartheta}).


Der Schätzer

\underline{T}(\mathbf{X}) 
:= 
\left[T_1(\mathbf{X}), T_2(\mathbf{X}), ... , T_n(\mathbf{X}) \right]^T

für den Parametervektor \underline{\vartheta} besitzt eine Kovarianzmatrix

\mathrm{Cov}[\underline{T}(\mathbf{X})] 
= 
\mathrm{E}[(\underline{T}(\mathbf{X}) - \underline{\vartheta}) (\underline{T}(\mathbf{X}) - \underline{\vartheta})^T].


Die Cramér-Rao-Ungleichung lautet in diesem Fall

\mathrm{Cov}[\underline{T}(\mathbf{X})] 
\geq 
\mathcal{I}^{-1}(\underline{\vartheta})

wobei \mathcal{I} die Fisher-Information-Matrix


\mathcal{I}_{ij}(\underline{\vartheta})
=
\mathrm{E}
\left[
  \frac{\partial}{\partial\vartheta_{i}} \log \prod_{\ell=1}^{n} f(X_\ell; \underline{\vartheta}) \frac{\partial}{\partial\vartheta_{j}} \log \prod_{\ell=1}^{n} f(X_\ell; \underline{\vartheta})
\right]

ist.

Anwendungen[Bearbeiten]

Mit Hilfe der Cramér-Rao-Ungleichung lässt sich die dynamische Permeabilitätszahl von Membranen abschätzen, was vor allem in der Bio- und Nanotechnologie rege Anwendung findet.

Literatur[Bearbeiten]

  • Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.