Dieser Artikel ist im Entstehen und noch nicht Bestandteil der freien Enzyklopädie Wikipedia .
Solltest du über eine Suchmaschine darauf gestoßen sein, bedenke, dass der Text noch unvollständig sein und Fehler oder ungeprüfte Aussagen enthalten kann. Wenn du Fragen zum Thema hast, nimm Kontakt mit dem Autor JonskiC auf.
Die gewöhnliche Kleinste-Quadrate-Schätzung (englisch ordinary least squares , kurz: OLS ), gewöhnliche MKQ-Schätzung (MKQ für Methode der kleinsten Quadrate ) auch verkürzt Kleinste-Quadrate-Schätzung oder lediglich KQ-Schätzung ist in der Regressionsanalyse der Standardlösungsansatz zur Schätzung von unbekannten Parameter in linearen Einzelgleichungsmodellen (Modell bei der eine Antwortvariable durch eine oder mehrere unabhängige Variablen erklärt wird). Diese Schätzmethode baut auf der numerischen Methode der kleinsten Quadrate auf einer Methode um eine Näherungslösung für überbestimmte lineare Gleichungssysteme (d. h. ein System von Gleichungen in dem mehr Gleichungen als unbekannte sind) zu finden. Bei der Kleinste-Quadrate-Schätzung werden die Schätzer (auch Kleinste-Quadrate-Schätzer gennant) gewonnen, indem die Residuenquadratsumme minimiert wird. Der Zusatz "gewöhnliche" wird zur Abgrenzung von daraus abgeleiteten Erweiterungen wie z. B. der verallgemeinerten Kleinste-Quadrate-Schätzung , oder der zweistufigen leinste-Quadrate-Schätzung abzugrenzen. Die mit der gewöhnlichen Kleinste-Quadrate-Schätzung gewonnenen Parameterschätzer heißen (gewöhnliche) Kleinste-Quadrate-Schätzer. Im Gegensatz zur Maximum-Likelihood-Methode (Methode der größten Plausibilität) ist die gewöhnliche Kleinste-Quadrate-Schätzung unabhängig von der Wahrscheinlichkeitsverteilung der Störgrößen.
Sei die zu minimierende Zielfunktion die folgende Quadratsumme
Q
(
β
)
=
∑
i
=
1
n
(
Y
i
−
β
0
−
∑
j
=
1
k
β
j
x
i
j
)
2
{\displaystyle Q(\beta )=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\sum _{j=1}^{k}\beta _{j}x_{ij}\right)^{2}}
.
In einem linearen Modell, heißt jedes heißt jede Wahl von
β
^
K
Q
{\displaystyle {\hat {\beta }}^{KQ}}
für die gilt[1]
β
^
K
Q
:∈
arg
min
β
∈
R
k
+
1
Q
(
β
)
{\displaystyle {\hat {\beta }}^{KQ}:\in {\underset {\beta \in \mathbb {R} ^{k+1}}{\arg \min }}\,Q(\beta )}
Kleinste-Quadrate-Schätzer (oder kurz: KQ-Schätzer) des unbekannten Parametervektors
β
=
(
β
0
,
β
1
,
…
,
β
k
)
(
k
+
1
×
1
)
⊤
{\displaystyle {\boldsymbol {\beta }}=(\beta _{0},\beta _{1},\ldots ,\beta _{k})_{(k+1\times 1)}^{\top }}
.
Parameterschätzung im einfachen linearen Regressionsmodell [ Bearbeiten | Quelltext bearbeiten ]
Im Fall der linearen Einfachregression , bei der Ziel ist den Achsenabschnitt
β
0
{\displaystyle \beta _{0}}
und die Steigung
β
1
{\displaystyle \beta _{1}}
der Regressionsgeraden sowie die Schätzung der Varianz der Störgrößen zu schätzen ergeben sich die Kleinste-Quadrate-Schätzer durch das folgende Minimierungsproblem
(
β
^
0
K
Q
,
β
^
1
K
Q
)
=
arg
min
β
0
,
β
1
∈
R
Q
(
β
0
,
β
1
)
=
arg
min
β
0
,
β
1
∈
R
∑
i
=
1
n
(
Y
i
−
(
β
0
+
β
1
x
i
)
)
2
{\displaystyle \left({\hat {\beta }}_{0}^{KQ},{\hat {\beta }}_{1}^{KQ}\right)={\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\,Q(\beta _{0},\beta _{1})={\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\sum _{i=1}^{n}\left(Y_{i}-(\beta _{0}+\beta _{1}x_{i})\right)^{2}}
.
Die Lösung dieses Minimierungsproblem ist gegeben durch die beiden Schätzfunktionen
β
^
1
=
∑
i
=
1
n
(
x
i
−
x
¯
)
(
Y
i
−
Y
¯
)
∑
i
=
1
n
(
x
i
−
x
¯
)
2
{\displaystyle {\hat {\beta }}_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}
und
β
^
0
=
Y
¯
−
β
^
1
x
¯
{\displaystyle \;{\hat {\beta }}_{0}={\overline {Y}}-{\hat {\beta }}_{1}{\overline {x}}}
,
Diese beiden Schätzfunktionen der Regressionsparameter hängen linear von
Y
i
{\displaystyle Y_{i}}
ab, da
β
^
1
=
∑
i
=
1
n
(
x
i
−
x
¯
)
(
Y
i
−
Y
¯
)
∑
i
=
1
n
(
x
i
−
x
¯
)
2
=
∑
i
=
1
n
w
i
Y
i
−
Y
¯
∑
i
=
1
n
w
i
⏟
=
0
{\displaystyle {\hat {\beta }}_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}=\sum \nolimits _{i=1}^{n}w_{i}Y_{i}-{\overline {Y}}\underbrace {\sum \nolimits _{i=1}^{n}w_{i}} _{=0}}
mit der Gewichtsfunktion
w
i
=
w
i
(
x
i
)
=
(
x
i
−
x
¯
)
∑
j
=
1
n
(
x
j
−
x
¯
)
2
{\displaystyle w_{i}=w_{i}(x_{i})={\frac {(x_{i}-{\overline {x}})}{\sum \nolimits _{j=1}^{n}(x_{j}-{\overline {x}})^{2}}}}
β
^
0
=
Y
¯
−
β
^
1
x
¯
=
∑
i
=
1
n
(
1
n
−
x
¯
w
i
)
Y
i
{\displaystyle {\hat {\beta }}_{0}={\overline {Y}}-{\hat {\beta }}_{1}{\overline {x}}=\sum \nolimits _{i=1}^{n}({\tfrac {1}{n}}-{\overline {x}}w_{i})Y_{i}}
.
Beweis
Dass die Kleinste-Quadrate-Schätzer sich im Falle der linearen Einfachregression durch () ergeben kann wie folgt gezeigt werden:
Es sind die Parameterschätzer
β
^
0
K
Q
{\displaystyle {\hat {\beta }}_{0}^{KQ}}
und
β
^
1
K
Q
{\displaystyle {\hat {\beta }}_{1}^{KQ}}
gesucht, die Lösung des folgenden Mnimierungsproblems sind
arg
min
β
0
,
β
1
∈
R
Q
(
β
0
,
β
1
)
=
arg
min
β
0
,
β
1
∈
R
∑
i
=
1
n
(
Y
i
−
(
β
0
+
β
1
x
i
)
)
2
{\displaystyle {\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\,Q(\beta _{0},\beta _{1})={\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\sum _{i=1}^{n}\left(Y_{i}-(\beta _{0}+\beta _{1}x_{i})\right)^{2}}
.
Um das Minimum zu finden gilt es die Quadratsumme partiell nach
β
^
0
{\displaystyle {\hat {\beta }}_{0}}
und
β
^
{\displaystyle {\hat {\beta }}}
abzuleiten. Die Bedingungen erster Ordnung (notwendige Bedingungen ) lauten:
∂
Q
(
β
0
,
β
1
)
∂
β
0
|
β
^
0
=
−
2
∑
i
=
1
n
(
Y
i
−
β
^
0
−
β
1
x
i
)
=
!
0
{\displaystyle \left.{\frac {\partial \,Q(\beta _{0},\,\beta _{1})}{\partial \beta _{0}}}\right|_{{\hat {\beta }}_{0}}=-2\sum _{i=1}^{n}\left(Y_{i}-{\hat {\beta }}_{0}-\beta _{1}x_{i}\right){\overset {\mathrm {!} }{=}}\;0\quad }
und
∂
Q
(
β
0
,
β
1
)
∂
β
1
|
β
^
1
=
−
2
∑
i
=
1
n
x
i
(
Y
i
−
β
0
−
β
^
1
x
i
)
=
!
0
{\displaystyle \quad \left.{\frac {\partial \,Q(\beta _{0},\,\beta _{1})}{\partial \beta _{1}}}\right|_{{\hat {\beta }}_{1}}=-2\sum _{i=1}^{n}x_{i}\left(Y_{i}-\beta _{0}-{\hat {\beta }}_{1}x_{i}\right){\overset {\mathrm {!} }{=}}\;0}
.
Zunächst berechnet man die partielle Ableitung nach
β
^
0
{\displaystyle {\hat {\beta }}_{0}}
∂
Q
(
β
0
,
β
1
)
∂
β
0
|
β
^
0
=
−
2
∑
i
=
1
n
(
Y
i
−
β
^
0
−
β
1
x
i
)
=
!
0
⇒
∑
i
=
1
n
(
Y
i
−
β
^
0
−
β
^
1
x
i
)
=
0
⇒
∑
i
=
1
n
Y
i
=
∑
i
=
1
n
β
^
0
+
β
^
1
∑
i
=
1
n
x
i
{\displaystyle \left.{\frac {\partial \,Q(\beta _{0},\,\beta _{1})}{\partial \beta _{0}}}\right|_{{\hat {\beta }}_{0}}=-2\sum _{i=1}^{n}\left(Y_{i}-{\hat {\beta }}_{0}-\beta _{1}x_{i}\right){\overset {\mathrm {!} }{=}}\;0\Rightarrow \sum _{i=1}^{n}\left(Y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}\right)=0\Rightarrow \sum _{i=1}^{n}Y_{i}=\sum _{i=1}^{n}{\hat {\beta }}_{0}+{\hat {\beta }}_{1}\sum _{i=1}^{n}x_{i}}
⇒
∑
i
=
1
n
Y
i
=
n
β
^
0
+
β
^
1
∑
i
=
1
n
x
i
⇒
1
n
∑
i
=
1
n
y
i
=
β
^
0
+
1
n
β
^
1
∑
i
=
1
n
x
i
⇒
Y
¯
=
β
^
0
+
β
^
1
x
¯
{\displaystyle \Rightarrow \sum _{i=1}^{n}Y_{i}=n{\hat {\beta }}_{0}+{\hat {\beta }}_{1}\sum _{i=1}^{n}x_{i}\Rightarrow {\frac {1}{n}}\sum _{i=1}^{n}y_{i}={\hat {\beta }}_{0}+{\frac {1}{n}}{\hat {\beta }}_{1}\sum _{i=1}^{n}x_{i}\Rightarrow {\overline {Y}}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}{\overline {x}}}
.
Bevor man die partielle Ableitung in Bezug auf
β
^
1
{\displaystyle {\hat {\beta }}_{1}}
bildet, setzt man zunächst das Ergebnis für
β
^
0
{\displaystyle {\hat {\beta }}_{0}}
ein:
arg
min
β
0
,
β
1
∈
R
∑
i
=
1
n
(
Y
i
−
(
Y
¯
−
β
^
1
x
¯
)
−
β
^
x
i
)
2
=
arg
min
β
0
,
β
1
∈
R
∑
i
=
1
n
(
(
Y
i
−
y
¯
)
−
β
^
1
(
x
i
−
x
¯
)
)
2
{\displaystyle {\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\sum _{i=1}^{n}\left(Y_{i}-\left({\overline {Y}}-{\hat {\beta }}_{1}{\overline {x}}\right)-{\hat {\beta }}x_{i}\right)^{2}={\underset {\beta _{0},\beta _{1}\in \mathbb {R} }{\arg \min }}\sum _{i=1}^{n}\left(\left(Y_{i}-{\overline {y}}\right)-{\hat {\beta }}_{1}\left(x_{i}-{\overline {x}}\right)\right)^{2}}
.
Nun gilt es die partielle Ableitung nach
β
^
1
{\displaystyle {\hat {\beta }}_{1}}
zu bilden:
∂
∂
β
^
1
Q
(
β
^
0
,
β
^
1
)
=
−
2
∑
i
=
1
n
[
(
Y
i
−
y
¯
)
−
β
^
1
(
x
i
−
x
¯
)
]
(
x
i
−
x
¯
)
=
0
⇒
∑
i
=
1
n
(
Y
i
−
y
¯
)
(
x
i
−
x
¯
)
−
β
^
1
∑
i
=
1
n
(
x
i
−
x
¯
)
2
=
0
⇒
β
^
1
=
∑
i
=
1
n
(
Y
i
−
Y
¯
)
(
x
i
−
x
¯
)
∑
i
=
1
n
(
x
i
−
x
¯
)
2
{\displaystyle {\frac {\partial }{\partial {\hat {\beta }}_{1}}}Q({\hat {\beta }}_{0},{\hat {\beta }}_{1})=-2\sum _{i=1}^{n}\left[\left(Y_{i}-{\overline {y}}\right)-{\hat {\beta }}_{1}\left(x_{i}-{\overline {x}}\right)\right]\left(x_{i}-{\overline {x}}\right)=0\Rightarrow \sum _{i=1}^{n}\left(Y_{i}-{\overline {y}}\right)\left(x_{i}-{\overline {x}}\right)-{\hat {\beta }}_{1}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}=0\Rightarrow {\hat {\beta }}_{1}={\frac {\sum _{i=1}^{n}(Y_{i}-{\overline {Y}})\left(x_{i}-{\overline {x}}\right)}{\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}}
.
Schließlich muss
β
^
{\displaystyle {\hat {\beta }}}
ersetzt werden, um
β
^
0
{\displaystyle {\hat {\beta }}_{0}}
zu bestimmen. Die beiden Lösungen, d. h. die KQ-Schätzer lauten somit:
β
^
1
=
∑
i
=
1
n
(
x
i
−
x
¯
)
(
Y
i
−
Y
¯
)
∑
i
=
1
n
(
x
i
−
x
¯
)
2
{\displaystyle {\hat {\beta }}_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(Y_{i}-{\overline {Y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\;}
und
β
^
0
=
Y
¯
−
β
^
1
x
¯
{\displaystyle \;{\hat {\beta }}_{0}={\overline {Y}}-{\hat {\beta }}_{1}{\overline {x}}}
.
Die mit dieser Methode gewonnene Gerade wird Kleinste-Quadrate-Gerade (KQ-gerade) genannt.
Parameterschätzung im multiplen linearen Regressionsmodell [ Bearbeiten | Quelltext bearbeiten ]
Auch im multiplen linearen Regressionsmodell wird der Vektor der Störgrößen mithilfe der Kleinste-Quadrate-Schätzung (KQ-Schätzung) minimiert, das heißt, es soll
β
{\displaystyle {\boldsymbol {\beta }}}
so gewählt werden, dass die euklidische Norm
‖
y
−
X
β
‖
2
{\displaystyle \|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\|_{2}}
minimal wird. Im Folgenden wird der Ansatz benutzt, dass die Residuenquadratsumme minimiert wird. Dazu wird vorausgesetzt, dass
X
{\displaystyle \mathbf {X} }
den Rang
K
{\displaystyle K}
hat. Dann ist
X
⊤
X
{\displaystyle \mathbf {X} ^{\top }\mathbf {X} }
invertierbar und man erhält als Minimierungsproblem :
a
r
g
m
i
n
β
Q
(
β
)
=
a
r
g
m
i
n
β
∑
t
=
1
T
(
y
t
−
x
t
⊤
β
)
2
=
a
r
g
m
i
n
β
(
y
−
X
β
)
⊤
(
y
−
X
β
)
=
a
r
g
m
i
n
β
(
y
⊤
y
−
2
β
⊤
X
⊤
y
+
β
⊤
X
⊤
X
β
)
{\displaystyle {\underset {\boldsymbol {\beta }}{\rm {arg\,min}}}\,Q({\boldsymbol {\beta }})={\underset {\boldsymbol {\beta }}{\rm {arg\,min}}}\,\sum _{t=1}^{T}(y_{t}-\mathbf {x} _{t}^{\top }{\boldsymbol {\beta }})^{2}={\underset {\boldsymbol {\beta }}{\rm {arg\,min}}}\,(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\top }(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})={\underset {\boldsymbol {\beta }}{\rm {arg\,min}}}\,\left(\mathbf {y} ^{\top }\mathbf {y} -2{\boldsymbol {\beta }}^{\top }\mathbf {X} ^{\top }\mathbf {y} +{\boldsymbol {\beta }}^{\top }\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }}\right)}
Die Bedingung erster Ordnung (Nullsetzen des Gradienten ) lautet:
∂
Q
(
β
)
∂
β
=
(
∂
Q
(
β
)
∂
β
1
∂
Q
(
β
)
∂
β
2
⋮
∂
Q
(
β
)
∂
β
K
)
=
!
0
{\displaystyle {\frac {\partial \,Q({\boldsymbol {\beta }})}{\partial {\boldsymbol {\beta }}}}={\begin{pmatrix}{\frac {\partial \,Q({\boldsymbol {\beta }})}{\partial \beta _{1}}}\\{\frac {\partial \,Q({\boldsymbol {\beta }})}{\partial \beta _{2}}}\\\vdots \\{\frac {\partial \,Q({\boldsymbol {\beta }})}{\partial \beta _{K}}}\end{pmatrix}}{\overset {\mathrm {!} }{=}}\;\mathbf {0} }
Die Kleinste-Quadrate-Schätzung kann als eine Projektion auf die Ebene, die durch die Regressoren aufgespannt wird, interpretiert werden.
Die partiellen Ableitungen erster Ordnung lauten:
∂
Q
(
β
)
∂
β
1
=
∂
(
y
⊤
y
)
∂
β
1
−
∂
(
2
β
⊤
X
⊤
y
)
∂
β
1
+
∂
(
β
⊤
X
⊤
X
β
)
∂
β
1
=
−
2
x
(
1
)
⊤
y
+
2
x
(
1
)
⊤
X
β
∂
Q
(
β
)
∂
β
2
=
∂
(
y
⊤
y
)
∂
β
2
−
∂
(
2
β
⊤
X
⊤
y
)
∂
β
2
+
∂
(
β
⊤
X
⊤
X
β
)
∂
β
2
=
−
2
x
(
2
)
⊤
y
+
2
x
(
2
)
⊤
X
β
⋮
∂
Q
(
β
)
∂
β
K
=
∂
(
y
⊤
y
)
∂
β
K
−
∂
(
2
β
⊤
X
⊤
y
)
∂
β
K
+
∂
(
β
⊤
X
⊤
X
β
)
∂
β
K
=
−
2
x
(
K
)
⊤
y
+
2
x
(
K
)
⊤
X
β
{\displaystyle {\begin{aligned}{\frac {\partial \,Q({\boldsymbol {\beta }})}{\partial \beta _{1}}}&={\frac {\partial (\mathbf {y} ^{\top }\mathbf {y} )}{\partial \beta _{1}}}-{\frac {\partial (2{\boldsymbol {\beta }}^{\top }\mathbf {X} ^{\top }\mathbf {y} )}{\partial \beta _{1}}}+{\frac {\partial ({\boldsymbol {\beta }}^{\top }\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }})}{\partial \beta _{1}}}=-2\mathbf {x} _{(1)}^{\top }\mathbf {y} +2\mathbf {x} _{(1)}^{\top }\mathbf {X} {\boldsymbol {\beta }}\\{\frac {\partial \,Q({\boldsymbol {\beta }})}{\partial \beta _{2}}}&={\frac {\partial (\mathbf {y} ^{\top }\mathbf {y} )}{\partial \beta _{2}}}-{\frac {\partial (2{\boldsymbol {\beta }}^{\top }\mathbf {X} ^{\top }\mathbf {y} )}{\partial \beta _{2}}}+{\frac {\partial ({\boldsymbol {\beta }}^{\top }\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }})}{\partial \beta _{2}}}=-2\mathbf {x} _{(2)}^{\top }\mathbf {y} +2\mathbf {x} _{(2)}^{\top }\mathbf {X} {\boldsymbol {\beta }}\\\vdots \\{\frac {\partial \,Q({\boldsymbol {\beta }})}{\partial \beta _{K}}}&={\frac {\partial (\mathbf {y} ^{\top }\mathbf {y} )}{\partial \beta _{K}}}-{\frac {\partial (2{\boldsymbol {\beta }}^{\top }\mathbf {X} ^{\top }\mathbf {y} )}{\partial \beta _{K}}}+{\frac {\partial ({\boldsymbol {\beta }}^{\top }\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }})}{\partial \beta _{K}}}=-2\mathbf {x} _{(K)}^{\top }\mathbf {y} +2\mathbf {x} _{(K)}^{\top }\mathbf {X} {\boldsymbol {\beta }}\end{aligned}}}
Dies zeigt, dass sich die Bedingung erster Ordnung für den Vektor
b
{\displaystyle \mathbf {b} }
der geschätzten Regressionsparameter kompakt darstellen lässt als:
∂
Q
(
β
)
∂
β
|
b
=
−
2
X
⊤
y
+
2
X
⊤
X
b
=
!
0
{\displaystyle \left.{\frac {\partial Q({\boldsymbol {\beta }})}{\partial \mathbf {\beta } }}\right|_{\mathbf {b} }=-2\mathbf {X} ^{\top }\mathbf {y} +2\mathbf {X} ^{\top }\mathbf {X} \mathbf {b} \;{\overset {\mathrm {!} }{=}}\;\mathbf {0} }
bzw.
X
⊤
X
b
=
X
⊤
y
{\displaystyle \mathbf {X} ^{\top }\mathbf {X} \mathbf {b} =\mathbf {X} ^{\top }\mathbf {y} }
.
Dieses lineare Gleichungssystem wird in der Regel (Gaußsches) Normalgleichungssystem genannt.
Da die Matrix
X
{\displaystyle \mathbf {X} }
den Rang
K
{\displaystyle K}
hat, ist die quadratische symmetrische Matrix
X
⊤
X
{\displaystyle \mathbf {X} ^{\top }\mathbf {X} }
nichtsingulär und die Inverse für
X
⊤
X
{\displaystyle \mathbf {X} ^{\top }\mathbf {X} }
existiert. Daher erhält man nach linksseitiger Multiplikation mit der Inversen der Produktsummenmatrix
(
X
⊤
X
)
−
1
{\displaystyle (\mathbf {X} ^{\top }\mathbf {X} )^{-1}}
als Lösung des Minimierungsproblems den folgenden Vektor der geschätzten Regressionskoeffizienten:[2]
b
=
(
b
1
b
2
b
2
⋮
b
K
)
=
(
X
⊤
X
)
−
1
X
⊤
y
{\displaystyle \mathbf {b} ={\begin{pmatrix}b_{1}\\b_{2}\\b_{2}\\\vdots \\b_{K}\end{pmatrix}}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} }
Wenn der Rang von
X
{\displaystyle \mathbf {X} }
kleiner als
K
{\displaystyle K}
ist, dann ist
X
⊤
X
{\displaystyle \mathbf {X} ^{\top }\mathbf {X} }
nicht invertierbar, also das Normalgleichungssystem nicht eindeutig lösbar, mithin
b
{\displaystyle \mathbf {b} }
nicht identifizierbar , siehe hierzu aber den Begriff der Schätzbarkeit . Da
b
{\displaystyle \mathbf {b} }
die Residuenquadratsumme minimiert, wird
b
{\displaystyle \mathbf {b} }
auch Kleinste-Quadrate-Schätzer (kurz: KQ-Schätzer) genannt.[3] Alternativ kann der Kleinste-Quadrate-Schätzer durch Einsetzen des wahren Modells
y
=
X
β
+
ε
{\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}
auch dargestellt werden als[4]
b
=
(
X
⊤
X
)
−
1
X
⊤
(
X
β
+
ε
)
=
β
+
(
X
⊤
X
)
−
1
X
⊤
ε
{\displaystyle \mathbf {b} =(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }(\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }})={\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}}
Für die Kovarianzmatrix des Kleinste-Quadrate-Schätzers ergibt sich (dargestellt in kompakter Form):[5]
Cov
(
b
)
=
β
+
(
X
⊤
X
)
−
1
X
⊤
ε
=
(
X
⊤
X
)
−
1
X
⊤
Cov
(
Y
)
X
(
X
⊤
X
)
−
1
=
σ
2
(
X
⊤
X
)
−
1
=
Σ
b
{\displaystyle \operatorname {Cov} (\mathbf {b} )={\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\operatorname {Cov} (\mathbf {Y} )\ \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\Sigma _{\mathbf {b} }}
Im Fall der linearen Einfachregression (
β
=
(
β
1
,
β
2
)
⊤
{\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2})^{\top }}
) reduziert sich die obigen Formel auf die bekannten Ausdrücke für die Varianzen der KQ-Schätzer
Var
(
β
2
)
=
σ
2
∑
t
=
1
T
(
x
t
2
−
x
¯
2
)
2
{\displaystyle \operatorname {Var} (\beta _{2})={\frac {\sigma ^{2}}{\sum _{t=1}^{T}(x_{t2}-{\overline {x}}_{2})^{2}}}}
und
Var
(
β
1
)
=
σ
2
∑
t
=
1
T
x
t
2
2
T
∑
t
=
1
T
(
x
t
2
−
x
¯
2
)
2
{\displaystyle \operatorname {Var} (\beta _{1})={\frac {\sigma ^{2}\sum _{t=1}^{T}x_{t2}^{2}}{T\sum _{t=1}^{T}(x_{t2}-{\overline {x}}_{2})^{2}}}}
(siehe Statistische Eigenschaften der Kleinste-Quadrate-Schätzer ).[6]
Beweis
σ
2
(
X
⊤
X
)
−
1
=
σ
2
(
(
1
1
⋯
x
12
x
22
⋯
)
(
1
x
12
1
x
22
⋮
⋮
)
)
−
1
=
σ
2
(
∑
t
=
1
T
(
1
x
t
2
x
t
2
x
t
2
2
)
)
−
1
=
σ
2
(
T
∑
x
t
2
∑
x
t
2
∑
x
t
2
2
)
−
1
=
σ
2
⋅
1
T
∑
x
t
2
2
−
(
∑
x
i
2
)
2
(
∑
x
t
2
2
−
∑
x
t
2
−
∑
x
t
2
T
)
=
σ
2
⋅
1
T
∑
(
x
t
2
−
x
¯
)
2
(
∑
x
t
2
2
−
∑
x
t
2
−
∑
x
t
2
T
)
⇒
Var
(
β
1
)
=
σ
2
(
X
⊤
X
)
11
−
1
=
σ
2
∑
t
=
1
T
x
t
2
2
T
∑
t
=
1
T
(
x
t
2
−
x
¯
2
)
2
⇒
Var
(
β
2
)
=
σ
2
(
X
⊤
X
)
22
−
1
=
σ
2
∑
t
=
1
T
(
x
t
2
−
x
¯
2
)
2
.
{\displaystyle {\begin{aligned}\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}&=\sigma ^{2}\left({\begin{pmatrix}1&1&\cdots \\x_{12}&x_{22}&\cdots \end{pmatrix}}{\begin{pmatrix}1&x_{12}\\1&x_{22}\\\vdots &\vdots \,\,\,\end{pmatrix}}\right)^{-1}\\[6pt]&=\sigma ^{2}\left(\sum _{t=1}^{T}{\begin{pmatrix}1&x_{t2}\\x_{t2}&x_{t2}^{2}\end{pmatrix}}\right)^{-1}\\[6pt]&=\sigma ^{2}{\begin{pmatrix}T&\sum x_{t2}\\\sum x_{t2}&\sum x_{t2}^{2}\end{pmatrix}}^{-1}\\[6pt]&=\sigma ^{2}\cdot {\frac {1}{T\sum x_{t2}^{2}-(\sum x_{i2})^{2}}}{\begin{pmatrix}\sum x_{t2}^{2}&-\sum x_{t2}\\-\sum x_{t2}&T\end{pmatrix}}\\[6pt]&=\sigma ^{2}\cdot {\frac {1}{T\sum {(x_{t2}-{\overline {x}})^{2}}}}{\begin{pmatrix}\sum x_{t2}^{2}&-\sum x_{t2}\\-\sum x_{t2}&T\end{pmatrix}}\\[8pt]\Rightarrow \operatorname {Var} (\beta _{1})&=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )_{11}^{-1}={\frac {\sigma ^{2}\sum _{t=1}^{T}x_{t2}^{2}}{T\sum _{t=1}^{T}(x_{t2}-{\overline {x}}_{2})^{2}}}\\\Rightarrow \operatorname {Var} (\beta _{2})&=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )_{22}^{-1}={\frac {\sigma ^{2}}{\sum _{t=1}^{T}(x_{t2}-{\overline {x}}_{2})^{2}}}.\end{aligned}}}
Man erhält mit Hilfe des Kleinste-Quadrate-Schätzers
b
{\displaystyle \mathbf {b} }
das Gleichungssystem
y
^
=
X
b
=
y
−
ε
^
{\displaystyle {\hat {\mathbf {y} }}=\mathbf {X} \mathbf {b} =\mathbf {y} -{\hat {\boldsymbol {\varepsilon }}}}
,
wobei
ε
^
{\displaystyle {\hat {\boldsymbol {\varepsilon }}}}
der Vektor der Residuen und
y
^
{\displaystyle {\hat {\mathbf {y} }}}
die Schätzung für
y
{\displaystyle \mathbf {y} }
ist. Das Interesse der Analyse liegt oft in der Schätzung
y
^
0
{\displaystyle {\hat {\mathbf {y} }}_{0}}
oder in der Vorhersage der abhängigen Variablen
y
{\displaystyle \mathbf {y} }
für ein gegebenes Tupel von
x
0
{\displaystyle {\mathbf {x} }_{0}}
.
Der Vorhersagevektor berechnet sich als
y
^
0
=
x
01
b
1
+
x
02
b
2
+
…
+
x
0
K
b
K
=
x
0
⊤
b
{\displaystyle {\hat {\mathbf {y} }}_{0}=x_{01}b_{1}+x_{02}b_{2}+\dotsc +x_{0K}b_{K}=\mathbf {x} _{0}^{\top }{\mathbf {b} }}
.
Im multiplen Fall kann man genauso wie im einfachen Fall zeigen, dass der Kleinste-Quadrate-Schätzvektor erwartungstreu für
β
{\displaystyle {\boldsymbol {\beta }}}
ist. Dies gilt allerdings nur, wenn die Annahme der Exogenität der Regressoren gegeben ist. Dies ist der Fall, wenn die möglicherweise zufälligen Regressoren und die Störgrößen unkorreliert sind, d. h. wenn
E
(
x
⊤
⋅
ε
)
=
0
{\displaystyle \operatorname {E} (\mathbf {x} ^{\top }\mathbf {\cdot } {\boldsymbol {\varepsilon }})\mathbf {=} 0}
gilt. Wenn man also hier voraussetzt, dass die exogenen Variablen keine Zufallsvariablen sind, sondern wie in einem Experiment kontrolliert werden können, gilt
∀
k
∈
{
1
,
…
,
K
}
:
E
(
x
t
k
ε
t
)
=
x
t
k
⋅
E
(
ε
t
)
=
0
{\displaystyle \forall k\in \{1,\dotsc ,K\}\colon \operatorname {E} (x_{tk}\varepsilon _{t})=x_{tk}\cdot \operatorname {E} (\varepsilon _{t})=0}
bzw.
E
(
x
⊤
⋅
ε
)
=
0
{\displaystyle \operatorname {E} (\mathbf {x} ^{\top }\mathbf {\cdot } {\boldsymbol {\varepsilon }})=\mathbf {0} }
und damit ist
b
{\displaystyle \mathbf {b} }
erwartungstreu für
β
{\displaystyle {\boldsymbol {\beta }}}
.
Beweis
E
(
b
)
=
E
(
(
X
⊤
X
)
−
1
X
⊤
y
)
=
E
(
(
X
⊤
X
)
−
1
X
⊤
(
X
β
+
ε
)
)
=
E
(
(
X
⊤
X
)
−
1
X
⊤
X
β
+
(
X
⊤
X
)
−
1
X
⊤
ε
)
)
=
(
X
⊤
X
)
−
1
(
X
⊤
X
)
⏟
=
I
β
+
(
X
⊤
X
)
−
1
E
(
X
⊤
ε
)
⏟
=
0
=
β
{\displaystyle {\begin{aligned}\operatorname {E} (\mathbf {b} )&=\operatorname {E} ((\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} )\\&=\operatorname {E} ((\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }(\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}))\\&=\operatorname {E} ((\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {X} {\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}))=\underbrace {(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\mathbf {X} )} _{=\mathbf {I} }{\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\underbrace {\operatorname {E} (\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }})} _{=\mathbf {0} }={\boldsymbol {\beta }}\end{aligned}}}
Falls die Exogenitätsannahme nicht zutrifft,
E
(
x
⊤
ε
)
≠
0
{\displaystyle \operatorname {E} (\mathbf {x} ^{\top }{\boldsymbol {\varepsilon }})\mathbf {\neq } 0}
, ist der Kleinste-Quadrate-Schätzer nicht erwartungstreu für
β
{\displaystyle {\boldsymbol {\beta }}}
. Es liegt also eine Verzerrung (englisch bias ) vor, d. h., „im Mittel“ weicht der Parameterschätzer vom wahren Parameter ab:
Bias
(
b
)
=
E
(
b
)
−
β
≠
0
{\displaystyle \operatorname {Bias} \left(\mathbf {b} \right)=\operatorname {E} (\mathbf {b} )-{\boldsymbol {\beta }}\neq \mathbf {0} }
.
Der Erwartungswert des Kleinste-Quadrate-Parametervektor für
b
{\displaystyle \mathbf {b} }
ist also nicht gleich dem wahren Parameter
β
{\displaystyle {\boldsymbol {\beta }}}
, siehe dazu auch unter Regression mit stochastischen Regressoren .
Der Kleinste-Quadrate-Schätzer ist linear:
b
=
(
X
⊤
X
)
−
1
X
⊤
⏟
:=
A
y
=
A
y
{\displaystyle \mathbf {b} =\underbrace {(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }} _{:=\mathbf {A} }\mathbf {y} =\mathbf {A} \mathbf {y} }
.
Nach dem Satz von Gauß-Markow ist der Schätzer
b
{\displaystyle \mathbf {b} }
, bester linearer erwartungstreuer Schätzer (BLES bzw. englisch Best Linear Unbiased Estimator , kurz: BLUE ), das heißt, er ist derjenige lineare erwartungstreue Schätzer, der unter allen linearen erwartungstreuen Schätzern die kleinste Varianz bzw. Kovarianzmatrix besitzt. Für diese Eigenschaften der Schätzfunktion
b
{\displaystyle \mathbf {b} }
braucht keine Verteilungsinformation der Störgröße vorzuliegen. Wenn die Störgrößen normalverteilt sind, ist
b
{\displaystyle \mathbf {b} }
Maximum-Likelihood-Schätzer und nach dem Satz von Lehmann-Scheffé beste erwartungstreue Schätzung (BES bzw. englisch Best Unbiased Estimator , kurz: BUE ).
Der KQ-Schätzer ist unter den bisherigen Annahmen erwartungstreu für
β
{\displaystyle {\boldsymbol {\beta }}}
(
E
(
b
)
=
β
{\displaystyle \operatorname {E} (\mathbf {b} )={\boldsymbol {\beta }}}
), wobei die Stichprobengröße
T
{\displaystyle T}
keinen Einfluss auf die Erwartungstreue hat (schwaches Gesetz der großen Zahlen ). Ein Schätzer ist genau dann konsistent für den wahren Wert, wenn er in Wahrscheinlichkeit gegen den wahren Wert konvergiert (englisch probability limit , kurz: plim ). Die Eigenschaft der Konsistenz bezieht also das Verhalten des Schätzers mit ein, wenn die Anzahl der Beobachtungen größer wird.
Für die Folge
(
b
t
)
t
∈
N
{\displaystyle (\mathbf {b} _{t})_{t\in \mathbb {N} }}
gilt, dass sie in Wahrscheinlichkeit gegen den wahren Parameterwert
β
{\displaystyle {\boldsymbol {\beta }}}
konvergiert
∀
ϵ
>
0
:
lim
t
→
∞
P
(
|
b
t
−
β
|
≥
ϵ
)
=
0
{\displaystyle \forall \epsilon >0\colon \lim _{t\to \infty }\mathbb {P} (|\mathbf {b} _{t}-{\boldsymbol {\beta }}|\geq \epsilon )=0}
oder vereinfacht ausgedrückt
b
⟶
p
β
{\displaystyle \quad \mathbf {b} \;{\stackrel {p}{\longrightarrow }}\;\mathbf {\boldsymbol {\beta }} \quad }
bzw.
plim
(
b
)
=
β
{\displaystyle \quad \operatorname {plim} (\mathbf {b} )={\boldsymbol {\beta }}}
Die Grundlegende Annahme, um die Konsistenz des KQ-Schätzers sicherzustellen lautet
lim
T
→
∞
(
X
T
⊤
X
T
T
)
=
Q
{\displaystyle \lim _{T\to \infty }\left({\frac {\mathbf {X} _{T}^{\top }\mathbf {X} _{T}}{T}}\right)=\mathbf {Q} }
,
d. h. man geht davon aus, dass das durchschnittliche Quadrat der beobachteten Werte der erklärenden Variablen auch bei einem ins Unendliche gehendem Stichprobenumfang endlich bleibt (siehe Produktsummenmatrix#Asymptotische Resultate ). Außerdem nimmt man an, dass
plim
(
X
⊤
ε
T
)
=
0
{\displaystyle \operatorname {plim} \left({\frac {\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}}{T}}\right)=0}
.
Die Konsistenz für
β
{\displaystyle {\boldsymbol {\beta }}}
kann wie folgt gezeigt werden:[7]
Beweis
plim
(
b
)
=
plim
(
(
X
⊤
X
)
−
1
X
⊤
y
)
=
plim
(
β
+
(
X
⊤
X
)
−
1
X
⊤
ε
)
)
=
β
+
plim
(
(
X
⊤
X
)
−
1
X
⊤
ε
)
=
β
+
plim
(
(
(
X
⊤
X
)
−
1
/
T
)
)
⋅
plim
(
(
(
X
⊤
ε
)
/
T
)
)
=
β
+
[
plim
(
(
(
X
⊤
X
)
/
T
)
)
]
−
1
⋅
plim
(
(
(
X
⊤
ε
)
/
T
)
)
⏟
=
0
=
β
+
Q
−
1
⋅
0
=
β
{\displaystyle {\begin{aligned}\operatorname {plim} (\mathbf {b} )&=\operatorname {plim} ((\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} )\\&=\operatorname {plim} ({\boldsymbol {\beta }}+(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}))\\&={\boldsymbol {\beta }}+\operatorname {plim} ((\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }})\\&={\boldsymbol {\beta }}+\operatorname {plim} \left(((\mathbf {X} ^{\top }\mathbf {X} )^{-1}/T)\right)\cdot \operatorname {plim} \left(((\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }})/T)\right)\\&={\boldsymbol {\beta }}+[\operatorname {plim} \left(((\mathbf {X} ^{\top }\mathbf {X} )/T)\right)]^{-1}\cdot \underbrace {\operatorname {plim} \left(((\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }})/T)\right)} _{=0}={\boldsymbol {\beta }}+\mathbf {Q} ^{-1}\cdot 0={\boldsymbol {\beta }}\end{aligned}}}
Hierbei wurde das Slutsky-Theorem und die Eigenschaft verwendet, dass wenn
X
{\displaystyle \mathbf {X} }
deterministisch bzw. nichtstochastisch ist
plim
(
(
X
⊤
X
)
/
T
)
=
lim
(
(
X
⊤
X
)
/
T
)
{\displaystyle \operatorname {plim} \left((\mathbf {X} ^{\top }\mathbf {X} )/T\right)=\lim \left((\mathbf {X} ^{\top }\mathbf {X} )/T\right)}
gilt.
Folglich ist der Kleinste-Quadrate-Schätzer konsistent für
β
{\displaystyle {\boldsymbol {\beta }}}
.
Die Eigenschaft besagt, dass mit steigender Stichprobengröße die Wahrscheinlichkeit, dass der Schätzer
b
{\displaystyle \mathbf {b} }
vom wahren Parameter
β
{\displaystyle {\boldsymbol {\beta }}}
abweicht, sinkt. Weiterhin lässt sich durch das Chintschin-Theorem zeigen, dass für die durch die KQ-Schätzung gewonnene Störgrößenvarianz gilt, dass sie konsistent für
σ
2
{\displaystyle \sigma ^{2}}
ist, d. h.
plim
(
σ
^
2
)
=
σ
2
{\displaystyle \operatorname {plim} ({\hat {\sigma }}^{2})=\sigma ^{2}}
.
Beweis
Dazu schreibt man zunächst die geschätzte Störgrößenvarianz wie folgt um
σ
^
2
=
(
y
−
X
b
)
⊤
(
y
−
X
b
)
T
−
K
=
1
T
−
K
ε
⊤
(
I
−
X
(
X
⊤
X
)
−
1
X
⊤
)
ε
=
(
T
T
−
K
)
(
ε
⊤
ε
T
−
ε
⊤
X
T
(
X
⊤
X
T
)
−
1
X
⊤
ε
T
)
{\displaystyle {\begin{aligned}{\hat {\sigma }}^{2}&={\frac {\left(\mathbf {y} -\mathbf {X} \mathbf {b} \right)^{\top }\left(\mathbf {y} -\mathbf {X} \mathbf {b} \right)}{T-K}}\\&={\frac {1}{T-K}}{\boldsymbol {\varepsilon }}^{\top }\left(\mathbf {I} -\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\right){\boldsymbol {\varepsilon }}\\&=\left({\frac {T}{T-K}}\right)\left({\frac {{\boldsymbol {\varepsilon }}^{\top }{\boldsymbol {\varepsilon }}}{T}}-{\frac {{\boldsymbol {\varepsilon }}^{\top }\mathbf {X} }{T}}\left({\frac {\mathbf {X} ^{\top }\mathbf {X} }{T}}\right)^{-1}{\frac {\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}}{T}}\right)\end{aligned}}}
Damit ergibt sich als Wahrscheinlichkeitslimes
plim
(
σ
^
2
)
=
plim
(
(
T
T
−
K
)
(
ε
⊤
ε
T
−
ε
⊤
X
T
(
X
⊤
X
T
)
−
1
X
⊤
ε
T
)
)
=
σ
2
−
0
⋅
Q
−
1
⋅
0
=
σ
2
{\displaystyle \operatorname {plim} ({\hat {\sigma }}^{2})=\operatorname {plim} \left(\left({\frac {T}{T-K}}\right)\left({\frac {{\boldsymbol {\varepsilon }}^{\top }{\boldsymbol {\varepsilon }}}{T}}-{\frac {{\boldsymbol {\varepsilon }}^{\top }\mathbf {X} }{T}}\left({\frac {\mathbf {X} ^{\top }\mathbf {X} }{T}}\right)^{-1}{\frac {\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}}{T}}\right)\right)=\sigma ^{2}-0\cdot \mathbf {Q} ^{-1}\cdot 0=\sigma ^{2}}
Somit ist
σ
^
2
{\displaystyle {\hat {\sigma }}^{2}}
ein konsistenter Schätzer für
σ
2
{\displaystyle \sigma ^{2}}
.
↑
arg
min
(
⋅
)
{\displaystyle \arg \min(\cdot )}
bezeichnet analog zu
arg
max
(
⋅
)
{\displaystyle \arg \max(\cdot )}
(Argument des Maximums ) das Argument des Minimums
↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee: Introduction to the Theory and Practice of Econometrics. 2nd Ed. John Wiley & Sons, New York/Chichester/Brisbane/Toronto/Singapur 1988, ISBN 0-471-62414-4 S. 192.
↑ Alvin C. Rencher, G. Bruce Schaalje: Linear models in statistics. , John Wiley & Sons, 2008, S. 143
↑ Peter Hackl : Einführung in die Ökonometrie. 2. aktualisierte Auflage, Pearson, 2008., ISBN 978-3-86894-156-2 , S. 48.
↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl , T.C. Lee: Introduction to the Theory and Practice of Econometrics. 2nd Ed. John Wiley & Sons, New York/Chichester/Brisbane/Toronto/Singapur 1988, ISBN 0-471-62414-4 S. 201.
↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee: Introduction to the Theory and Practice of Econometrics. 2nd Ed. John Wiley & Sons, New York/Chichester/Brisbane/Toronto/Singapur 1988, ISBN 0-471-62414-4 S. 168.
↑ George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee: Introduction to the Theory and Practice of Econometrics. 2nd Ed. John Wiley & Sons, New York/Chichester/Brisbane/Toronto/Singapur 1988, ISBN 0-471-62414-4 S. 266.