Satz von Gauß-Markow

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Der Satz von Gauß-Markow oder Gauß-Markow-Theorem ist ein mathematischer Satz aus dem Bereich der Statistik. Er ist nach den Mathematikern Carl Friedrich Gauß und Andrei Andrejewitsch Markow benannt. Der Satz besagt, dass in einem linearen Regressionsmodell, in dem die Fehlerterme einen Erwartungswert von Null und eine konstante Varianz haben sowie unkorreliert sind, der beste lineare erwartungstreue Schätzer (BLUE (engl. BLUE für Best Linear Unbiased Estimator)) gegeben ist durch den Kleinste-Quadrate-Schätzer (vorausgesetzt er existiert). „Der Beste“ bedeutet in diesem Fall, dass er innerhalb der Klasse der linearen erwartungstreuen Schätzer die kleinste Kovarianzmatrix aufweist. Die Fehlerterme müssen nicht notwendigerweise normalverteilt sein und sie müssen auch nicht unabhängig und identisch verteilt sein.

Satz[Bearbeiten | Quelltext bearbeiten]

In Worten lautet dieser Satz: Der Kleinste-Quadrate-Schätzer ist ein minimalvarianter linearer erwartungstreuer Schätzer in einem linearen Modell, wenn die zufälligen Fehler (die folgenden Formeln beziehen sich auf die Einfache lineare Regression):[1]

.
Unabhängige Zufallsvariablen sind immer auch unkorreliert. Man spricht in diesem Zusammenhang auch von Abwesenheit von Autokorrelation.
  • im Mittel null sind: :
Das bedeutet, dass das betrachtete Modell im Mittel dem wahren Modell entspricht. Wäre der Erwartungswert nicht null, dann gäbe es wieder eine Struktur in den Fehlertermen und dies widerspräche der Zerlegung von in eine eindeutige systematische und zufällige Komponente.
  • eine endliche konstante Varianz haben (Homoskedastizität):
Wenn die Varianz der Residuen (und somit die Varianz der erklärten Variablen selbst) für alle Ausprägungen der Regressoren nicht unterschiedlich ist, liegt Homoskedastizität ((Residuen-)Varianzhomogenität) vor.

Alle oben genannten Annahmen über die Fehlerterme lassen sich so zusammenfassen:

,

d. h. alle Fehlerterme folgen der Verteilung mit Erwartungswert und der Varianz . Hierbei ist die Verteilung anfangs nicht näher spezifiziert.

Diese Annahmen werden auch als Gauß-Markow-Annahmen bezeichnet. In der Ökonometrie wird das Gauß-Markow-Theorem oft abweichend dargestellt und es werden weiteren Annahmen getroffen.

Allgemeine Formulierung des Satz von Gauß-Markow[Bearbeiten | Quelltext bearbeiten]

Als Ausgangslage betrachten wir ein typisches multiples lineares Regressionsmodell mit gegebenen Daten für statistische Einheiten und Regressoren. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden

.

In Matrixnotation auch

mit . In kompakter Schreibweise

.

Hier stellt einen Vektor von unbekannten Parametern dar (bekannt als Regressionskoeffizienten), die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Fehlerterme im Mittel null sind: , was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist.Hierbei nimmt man von der Datenmatrix an, dass sie vollen (Spalten-)Rang hat, das heißt, es gilt bzw. . Ferner erwartet man für die Kovarianzmatrix der Fehler, dass gilt. Die Gauß-Markow-Annahmen lassen sich im multiplen Fall also zusammenfassen als

wobei der Erwartungswert der Fehlerterme der Nullvektor und die Kovarianzmatrix den Erwartungswert des dyadischen Produkts der Fehlterterme

darstellt.

Diese Annahme ist die Homoskedastizitätsannahme im multiplen Fall. Durch obige Spezifikation des linearen Modells erhält man damit für den Zufallsvektor

.[2]

Durch diese Annahmen erhält man:

  1. Dass der Kleinste-Quadrate-Schätzer für , der lautet, BLUE ist,
  2. Dass die Kovarianzmatrix des Kleinste-Quadrate-Schätzers ist,
  3. Dass die Varianz der Fehlerterme ein unverzerrter Schätzer für ist,

wobei die Residuenquadratsumme bezeichnet.

Bester linearer unverzerrter Schätzer[Bearbeiten | Quelltext bearbeiten]

„Der Beste“[Bearbeiten | Quelltext bearbeiten]

"Der Beste" Schätzer zeichnet sich dadurch aus, dass er die kleinste Kovarianzmatrix aufweist (ist somit minimalvariant). Ein Schätzer der diese Eigenschaft aufweist wird deshalb auch minimalvarianter oder effizienter Schätzer genannt. Bei zusätzlicher Annahme von Erwartungstreue spricht man auch vom minimalvarianten erwartungstreuen Schätzer.

Bezeichne

(Linearität)

einen beliebigen Punktschätzer aus der Klasse der linearen Punktschätzern der erwartungstreu bzw. unverzerrt ist, d.h.

.

Unter den oben genannten Voraussetzungen gilt dann die Ungleichung:

(Effizienzeigenschaft)

für alle Vektoren

, wobei der KQ-Schätzer ist, also der Schätzer der mittels der Methode der kleinsten Quadrate ermittelt wurde. Diese Effizienzeigenschaft kann auch umgeschrieben werden in

oder

.[3]

Diese Eigenschaft wird positiv semidefinit genannt (siehe auch Kovarianzmatrix#Kovarianzmatrix als Effizienzkriterium). Wenn also obige Ungleichung zutrifft, dann kann man sagen dass besser ist als .

Linearität[Bearbeiten | Quelltext bearbeiten]

Für den KQ-Schätzer gilt, dass er ebenfalls linear ist

.

Die obige Ungleichung besagt, dass nach dem Satz von Gauß-Markow , BLUE (Best Linear Unbiased Estimator) bzw. ein minimalvarianter linearer erwartungstreuer Schätzer ist, das heißt in der Klasse der linearen erwartungstreuen Schätzern ist er derjenige Schätzer, der die kleinste Varianz bzw. Varianz-Kovarianz-Matrix besitzt. Für diese Eigenschaft der Schätzfunktion braucht keine Verteilungsinformation der Störgröße vorzuliegen. Eine Steigerung der BLUE Eigenschaft stellt die sogenannte BUE (engl. Best Unbiased Estimator) Eigenschaft dar, bei der eine Beschränkung auf lineare Schätzer nicht gegeben ist. Oft stellt der Maximum-Likelihood-Schätzer eine Lösung dar, die BUE ist.

Methode der verallgemeinerten kleinsten Quadrate[Bearbeiten | Quelltext bearbeiten]

Die Methode der verallgemeinerten kleinsten Quadrate (GLS), die von Aitken[4] entwickelt, erweitert das Gauß–Markov-Theorem auf den Fall bei dem der Fehlervektor eine nicht-skalare Kovarianzmatrix hat.[5] Der GLS-Schätzer ist ebenfalls BLUE.

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Von Auer: Ökonometrie. Eine Einführung. 6. Auflage, S. 49.
  2. G. Judge, R. Carter Hill: Introduction to the Theory and Practice of Econometrics. 1998, S. 202.
  3. G. Judge, R. Carter Hill: Introduction to the Theory and Practice of Econometrics. 1998, S. 203.
  4. A. C. Aitken: On Least Squares and Linear Combinations of Observations. In: Proceedings of the Royal Society of Edinburgh. 55, 1935, S. 42–48.
  5. David S. Huang: Regression and Econometric Methods.. John Wiley & Sons, New York 1970, ISBN 0-471-41754-8, S. 127–147.

Siehe auch[Bearbeiten | Quelltext bearbeiten]

Weblinks[Bearbeiten | Quelltext bearbeiten]