Erwartungstreue

Erwartungstreue (selten Unverzerrtheit, englisch unbiasedness) bezeichnet in der mathematischen Statistik eine Eigenschaft einer Schätzfunktion (kurz: eines Schätzers). Ein Schätzer heißt erwartungstreu, wenn sein Erwartungswert gleich dem wahren Wert des zu schätzenden Parameters ist. Ist eine Schätzfunktion nicht erwartungstreu, spricht man davon, dass der Schätzer verzerrt ist. Das Ausmaß der Abweichung seines Erwartungswerts vom wahren Wert nennt man Verzerrung oder Bias.

Erwartungstreue zählt neben Konsistenz, Suffizienz und (asymptotischer) Effizienz zu den vier gebräuchlichen Kriterien zur Beurteilung der Qualität von Schätzern.

Bedeutung

Die Erwartungstreue ist eine wichtige Eigenschaft eines Schätzers, da die Varianz der meisten Schätzer mit steigendem Stichprobenumfang gegen Null konvergiert. D.h. die Verteilung zieht sich um den Erwartungswert des Schätzers, und damit bei erwartungstreuen Schätzern um den gesuchten wahren Parameter der Grundgesamtheit, zusammen. Bei erwartungstreuen Schätzern können wir erwarten, dass die Differenz zwischen dem aus der Stichprobe berechneten Schätzwert und dem wahren Parameter umso kleiner ist je größer der Stichprobenumfang ist.

Außer zur praktischen Beurteilung der Qualität von Schätzern ist der Begriff der Erwartungstreue auch für die mathematische Schätztheorie von großer Bedeutung. In der Klasse aller erwartungstreuen Schätzer gelingt es – unter geeigneten Voraussetzungen an das zugrundeliegende Verteilungsmodell – Existenz und Eindeutigkeit bester Schätzer zu beweisen. Das sind erwartungstreue Schätzer, die unter allen möglichen erwartungstreuen Schätzern minimale Varianz haben.

Grundidee und einführende Beispiele

Um einen unbekannten reellen Parameter $\gamma$ einer Grundgesamtheit zu schätzen, berechnet man in der mathematischen Statistik aus einer zufälligen Stichprobe $X_1,\ldots,X_n$ mit Hilfe einer geeignet gewählten Funktion $g$ eine Schätzung $g(X_1,\ldots,X_n)$. Allgemein lassen sich geeignete Schätzfunktionen mit Hilfe von Schätzmethoden, z. B. der Maximum-Likelihood-Methode, gewinnen.

Da die Stichprobenvariablen $X_1,\ldots,X_n$ Zufallsvariablen sind, ist auch der Schätzer $g(X_1,\ldots,X_n)$ selbst eine Zufallsvariable. Er wird erwartungstreu genannt, wenn der Erwartungswert dieser Zufallsvariable stets gleich dem Parameter $\gamma$ ist, egal welchen Wert $\gamma$ in Wirklichkeit hat.

Beispiel Stichprobenmittel

Zur Schätzung des Erwartungswertes $\gamma = \mu$ der Grundgesamtheit wird üblicherweise das Stichprobenmittel

$g(X_1,\ldots,X_n) = \overline{X}_n = \frac{1}{n} \sum_{i=1}^{n} X_i$

verwendet. Werden alle Stichprobenvariablen $X_i$ zufällig aus der Grundgesamtheit gezogen, so haben alle den Erwartungswert $E(X_i) = \mu$. Damit berechnet sich der Erwartungswert des Stichprobenmittels zu

$E(\overline{X}_n) = E\left(\frac{1}{n} \sum_{i=1}^{n} X_i\right) = \frac{1}{n} \sum_{i=1}^{n} E(X_i) = \frac{1}{n} \cdot n \cdot \mu = \mu.$

Das Stichprobenmittel ist also ein erwartungstreuer Schätzer des unbekannten Verteilungsparameters $\mu$.

Verteilung des Schätzers $\overline{X}_n$ für verschiedene Stichprobenumfänge $n$.

Falls die Grundgesamtheit normalverteilt ist mit Erwartungswert $\mu$ und Varianz $\sigma^2$, dann lässt sich die Verteilung von $\overline{X}_n$ genau angeben. In diesem Fall gilt

$\overline{X}_n \sim N(\mu, \sigma^2/n),$

das heißt, das Stichprobenmittel ist ebenfalls normalverteilt mit Erwartungswert $\mu$ und Varianz $\tfrac{\sigma^2}{n}$. Ist der Stichprobenumfang $n$ groß, so gilt aufgrund des zentralen Grenzwertsatzes diese Verteilungsaussage zumindest näherungsweise, auch wenn die Grundgesamtheit nicht normalverteilt ist. Die Varianz dieses Schätzers konvergiert also gegen 0, wenn der Stichprobenumfang $n$ gegen unendlich geht. Die Grafik rechts zeigt, wie sich für verschiedene Stichprobenumfänge die Verteilung der Stichprobenmittel immer weiter auf einen festen Wert zusammenzieht. Aufgrund der Erwartungstreue ist sichergestellt, dass dieser Wert der gesuchte Parameter $\mu$ ist.

Beispiel relative Häufigkeit

Um zu schätzen, mit welcher Wahrscheinlichkeit $p$ ein bestimmtes Merkmal in der Grundgesamtheit auftritt, wird daraus eine Stichprobe von Umfang $n$ zufällig ausgewählt und die absolute Häufigkeit $X$ des Merkmals in der Stichprobe ausgezählt. Die Zufallsvariable $X$ ist dann binomialverteilt mit den Parametern $p$ und $n$, insbesondere gilt für ihren Erwartungswert $E(X) = np$. Für die relative Häufigkeit

$h_n = \frac{X}{n}$

folgt dann $E(h_n) = \tfrac{1}{n}E(X) = \tfrac{np}{n} = p,$ das heißt, sie ist ein erwartungstreuer Schätzer der unbekannten Wahrscheinlichkeit $p$.

Mathematische Definition

In der modernen, maßtheoretisch begründeten mathematischen Statistik wird ein statistisches Experiment durch ein statistisches Modell $(\mathcal{X}, \mathcal{F}, P_\vartheta : \vartheta \in \Theta)$ beschrieben. Dieses besteht aus einer Menge $\mathcal{X}$, dem Stichprobenraum, zusammen mit einer σ-Algebra $\mathcal{F}$ und einer Familie $(P_\vartheta)_{\vartheta \in \Theta}$ von Wahrscheinlichkeitsmaßen auf $\mathcal{X}$. Ein Schätzer für eine durch eine Funktion $\gamma \colon \Theta \to \R$ gegebene reelle Kenngröße $\gamma(\vartheta)$ des Verteilungsparameters $\vartheta$ ist eine messbare Funktion $T \colon \mathcal{X} \to \R$.

Eine Schätzer $T$ für $\gamma(\vartheta)$ heißt erwartungstreu, wenn für alle $\vartheta \in \Theta$

$E_{\vartheta}(T) = \gamma(\vartheta)$

gilt, wobei $E_{\vartheta}$ den Erwartungswert bezüglich des Wahrscheinlichkeitsmaßes $P_{\vartheta}$ bezeichnet.

In Anwendungen ist $P_{\vartheta}$ oft die Verteilung einer (reellen oder vektorwertigen) Zufallsvariable $X \colon \Omega \to \mathcal{X}$ auf einem Wahrscheinlichkeitsraum $(\Omega, \Sigma, Q)$ mit einem unbekannten Parameter oder Parametervektor $\vartheta$. Ein Schätzer $T$ für $\gamma(\vartheta)$ ist dann gegeben durch eine Funktion $g(X)$ und diese heißt analog erwartungstreu, wenn gilt

$E(g(X)) = \gamma(\vartheta),$

wobei der Erwartungswert nun bezüglich $Q$ gebildet wird.

Schätzer mit Verzerrung

Es ergibt sich aus der Definition, dass „gute“ Schätzer zumindest näherungsweise erwartungstreu sein, sich also dadurch auszeichnen sollen, dass sie im Mittel nah am zu schätzenden Wert liegen. Üblicherweise ist Erwartungstreue jedoch nicht das einzige wichtige Kriterium für die Qualität eines Schätzers; so sollte er beispielsweise auch eine kleine Varianz haben, also möglichst gering um den zu schätzenden Wert schwanken. Zusammengefasst ergibt sich das klassische Kriterium einer minimalen mittleren quadratischen Abweichung für optimale Schätzer.

Die Verzerrung $\mathrm{Bias}_{\vartheta}(T)$ eines Schätzers $T$ ist definiert als Differenz zwischen seinem Erwartungswert und der zu schätzenden Größe:

$\mathrm{Bias}_{\vartheta}(T):=E_{\vartheta}(T)-\gamma(\vartheta)=E_{\vartheta}(T-\gamma(\vartheta)).$

Sein mittlerer quadratischer Fehler $\mathrm{MSE}_{\vartheta}(T)$ ist

$\mathrm{MSE}_{\vartheta}(T) := E_{\vartheta}\bigl( (T-\gamma(\vartheta))^2 \bigr).$

Der mittlere quadratische Fehler ist gleich der Summe des Quadrats der Verzerrung und der Varianz des Schätzers:

$\mathrm{MSE}_{\vartheta}(T) = \bigl(\mathrm{Bias}_{\vartheta}(T)\bigr)^2 + \operatorname{Var}_{\vartheta}(T).$

In der Praxis kann eine Verzerrung zwei Ursachen haben:

• einen systematischen Fehler, beispielsweise ein nicht-zufälliger Messfehler in der Apparatur, oder
• einen zufälligen Fehler, dessen Erwartungswert ungleich 0 ist.

Zufällige Fehler können tolerabel sein, wenn sie dazu beitragen, dass der Schätzer eine kleinere minimale quadratische Abweichung als ein unverzerrter besitzt.

Asymptotische Erwartungstreue

In der Regel ist es nicht von Bedeutung, dass ein Schätzer erwartungstreu ist. Die meisten Resultate der mathematischen Statistik gelten erst asymptotisch, also wenn der Stichprobenumfang ins Unendliche wächst. Daher ist es in der Regel ausreichend, wenn Erwartungstreue im Grenzwert gilt, d. h. für eine Folge von Schätzern $T_n$ die Konvergenzaussage $\textstyle \lim_{n \rightarrow \infty} E_{\vartheta}(T_n) = \gamma(\vartheta)$ gilt.

Weiteres Beispiel: Stichprobenvarianz im Normalverteilungsmodell

Ein typisches Beispiel sind Schätzer für die Parameter von Normalverteilungen. Man betrachtet in diesem Fall die parametrische Familie

$P_{\vartheta}, \; \vartheta \in \Theta$ mit $\vartheta = (\mu, \sigma^2)\;$ und $\;\Theta = \mathbb R \times \mathbb R^{+}$,

wobei jedes $_{\vartheta} \;$ einer Wahrscheinlichkeitsverteilung entspricht, die normalverteilt mit Erwartungswert $\mu\;$ und Varianz $\sigma^2\;$ ist. Üblicherweise sind Beobachtungen $X_1, \ldots, X_n\;$ gegeben, die stochastisch unabhängig sind und jeweils die Verteilung $P_{\vartheta}\;$ besitzen.

Wie bereits gesehen, ist das Stichprobenmittel $\overline{X}_n$ ein erwartungstreuer Schätzer von $\gamma_1(\vartheta) = \mu$.

Für die Varianz $\gamma_2(\vartheta) = \sigma^2$ erhält man als Maximum-Likelihood-Schätzer $\textstyle s_n^2 = \frac 1n \sum_{i=1}^n (X_i - \overline{X}_n)^2$. Dieser Schätzer ist allerdings nicht erwartungstreu, da sich $\textstyle E(s_n^2) = \frac{n-1}{n} \sigma^2\;$ zeigen lässt. Die Verzerrung beträgt also $\textstyle E(s_n^2) - \sigma^2 = -\frac{1}{n} \sigma^2$. Da diese asymptotisch, also für $n \rightarrow \infty\;$, verschwindet, ist der Schätzer allerdings asymptotisch erwartungstreu.

Darüber hinaus kann man in diesem Fall den Erwartungswert der Verzerrung genau angeben und folglich die Verzerrung korrigieren, in dem man mit $\tfrac{n}{n-1}$ multipliziert (sog. Besselsche Korrektur, siehe korrigierte Stichprobenvarianz), und erhält so einen Schätzer für die Varianz, der auch für kleine Stichproben erwartungstreu ist.

Im Allgemeinen ist es jedoch nicht möglich, die erwartete Verzerrung exakt zu bestimmen und somit vollständig zu korrigieren. Es gibt aber Verfahren, um die Verzerrung eines asymptotisch erwartungstreuen Schätzers für endliche Stichproben zumindest zu verringern, zum Beispiel das sogenannten Jackknife.

Beste erwartungstreue Schätzer

Eine wichtige Anwendung der Erwartungstreue besteht darin, dass oft gleichmäßig beste Schätzer konstruiert werden können, wenn man sich dabei auf den Fall erwartungstreuer Schätzer beschränkt. Das Ziel dabei ist es, Schätzer zu finden, die eine gegebene Risikofunktion, häufig gesetzt als die mittlere quadratische Abweichung, über eine ganze Klasse von Schätzern minimieren. Meist gibt es jedoch keine Schätzer, die über die Klasse aller beliebigen Schätzer optimal sind, so dass man sich auf Teilklassen beschränken muss. Eine typische Teilklasse sind dabei die erwartungstreuen Schätzer. Für diese Schätzer ist die mittlere quadratische Abweichung gleich der Varianz. Ein erwartungstreuer Schätzer $T$ ist daher in diesem Sinne optimal, wenn für alle erwartungstreuen Schätzer $S$ und für alle $\vartheta \in \Theta$ die Ungleichung

$\operatorname{Var}_{\vartheta}(T) \leq \operatorname{Var}_{\vartheta}(S)$

gilt, also wenn seine Varianz über alle Parameterwerte gleichmäßig kleiner ist als bei allen anderen erwartungstreuen Schätzern. Beste erwartungstreue Schätzer werden deswegen auch UMVU-Schätzer genannt, für uniformly minimum variance unbiased.

Nach dem Satz von Lehmann–Scheffé ist ein erwartungstreuer Schätzer genau dann ein bester Schätzer, wenn er als Funktion einer suffizienten und vollständigen Statistik dargestellt werden kann. Beispielsweise lässt sich zeigen, dass die Summe $\textstyle S = \sum_{i=1}^n X_i$ aller Stichprobenvariablen eine suffiziente und vollständige Statistik für den Erwartungswert $\mu$ einer normalverteilten Grundgesamtheit ist. Daraus folgt, dass das Stichprobenmittel $\overline{X}_n = \tfrac{S}{n}$ als Funktion von $S$ ein bester erwartungstreuer Schätzer für $E(\overline{X}_n) = \mu$ ist.

Literatur

• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik. de Gruyter Lehrbuch 2004, ISBN 3-11-018282-3.
• Herrmann Witting: Mathematische Statistik, Bd. 1. Parametrische Verfahren bei festem Stichprobenumfang. Vieweg+Teubner, Stuttgart 1985, ISBN 978-3-519-02026-4.
• M. Hardy: „An Illuminating Counterexample“ (PDF; 78 kB)