Lineare Regression

Die lineare Regression, die einen Spezialfall des allgemeinen Konzepts der Regressionsanalyse darstellt, ist ein statistisches Verfahren, mit dem versucht wird, eine beobachtete abhängige Variable durch eine oder mehrere unabhängige Variablen zu erklären. Das Beiwort „linear“ ergibt sich dadurch, dass die abhängige Variable eine Linearkombination der Regressionskoeffizienten darstellt (aber nicht notwendigerweise der unabhängigen Variablen). Der Begriff Regression bzw. Regression zur Mitte wurde vor allem durch den Statistiker Francis Galton geprägt.

Einfache lineare Regression

Das einfache lineare Regressionsmodell geht von zwei metrischen Größen aus: einer Einflussgröße $X$ und einer Zielgröße $Y$. Es liegen $n$ Paare $(x_{1},y_{1}),\dotsc ,(x_{n},y_{n})$ von Messwerten vor, die in einem funktionalen Zusammenhang stehen, der sich aus einem systematischen und einem stochastischen Teil zusammensetzt:

$y_{i}=\underbrace {m(x_{i})} _{\text{systematische Komponente}}+\underbrace {\varepsilon _{i}} _{\text{stochastische Komponente}}$

Beispiel einer Regressionsgerade einer linearen Einfachregression, die durch die Punktwolke der Messung gelegt wird

Die einfache lineare Regression versucht, statt mit einer beliebigen Anzahl von Parametern $\theta _{1},\theta _{2},\dotsc ,\theta _{K}$, einen linearen Zusammenhang zwischen der Einfluss- und der Zielgröße mithilfe von zwei linearen Parametern $\theta _{1}$ und $\theta _{2}$ herzustellen ($K=2$). Aus diesem Grund wird die Regressionsfunktion $m$ wie folgt spezifiziert:

$m(x)=\theta _{1}+\theta _{2}x$ (Linearität)

Daraus ergibt sich das einfache lineare Regressionsmodell:

$y_{i}=\theta _{1}+\theta _{2}\ x_{i}+\varepsilon _{i},\quad i=1,\dotsc ,n$

Bildlich gesprochen wird eine Gerade durch die Punktwolke der Messung gelegt. In der gängigen Literatur wird die Gerade oft durch den Achsenabschnitt $\beta _{1}$ und die Steigung $\beta _{2}$ beschrieben. Die abhängige Variable (in diesem Kontext oft auch endogene Variable genannt) $y$ kann dadurch in Abhängigkeit vom Regressor (oft auch exogene Variable genannt) $x$, bei oben genannter Notation, wie folgt dargestellt werden:

$y_{i}=\beta _{1}+\beta _{2}\ x_{i}+\varepsilon _{i},\quad i=1,\dotsc ,n$

Dabei ist $\varepsilon _{i}$ ein additiver stochastischer Fehlerterm, der Abweichungen vom idealen Zusammenhang – also der Geraden – achsenparallel misst. Im Gegensatz zur exogenen und endogenen Variablen ist die Zufallskomponente $\varepsilon _{i}$ nicht direkt beobachtbar. Ihre Realisationen sind nur indirekt über die Regression beobachtbar und heißen Residuen.

Modellannahmen

In Bezug auf den Fehlerterm werden folgende Annahmen getroffen:

• Die Fehlerterme sind unabhängig: $\varepsilon _{i},\dotsc ,\varepsilon _{n}$ sind voneinander unabhängige Zufallsvariablen.
• Der Erwartungswert der additiven Fehlerterme ist null: $\forall i\colon \operatorname {E} (\varepsilon _{i})=0$
• Die Fehlerterme sind unkorreliert: $\forall i\neq j\colon \operatorname {Cov} (\varepsilon _{i},\varepsilon _{j})=\operatorname {E} [(\varepsilon _{i}-\operatorname {E} (\varepsilon _{i}))((\varepsilon _{j}-\operatorname {E} (\varepsilon _{j}))]=\operatorname {E} (\varepsilon _{i}\varepsilon _{j})=0$
• und besitzen eine konstante Varianz (Homoskedastizität): $\forall i\colon \operatorname {Var} (\varepsilon _{i})=\operatorname {E} [(\varepsilon _{i}-\operatorname {E} (\varepsilon _{i}))^{2}]=\sigma ^{2}=\mathrm {const.}$

Alle oben genannten Annahmen über die Fehlerterme lassen sich so zusammenfassen:

$\forall i\colon \varepsilon _{i}{\stackrel {i.i.d.}{\sim }}(0,\sigma ^{2})$

Optionale Annahme:

• Die Fehlerterme sind normalverteilt: $\varepsilon _{i}\sim {\mathcal {N}}(0,\sigma ^{2})$

Aus der Normalverteilung der Fehlerterme folgt, dass auch $y_{i}$ normalverteilt ist:

$y_{i}\sim {\mathcal {N}}(\operatorname {E} (y_{i}),\operatorname {Var} (y_{i}))$

Die Verteilung der $y_{i}$ hängt also von der Verteilung der Fehlerterme ab. Der Erwartungswert der abhängigen Variablen, bei gegebenen Daten $x_{i}$ lautet:

$\operatorname {E} (y_{i}|x_{i})=\operatorname {E} (\beta _{1}+\beta _{2}x_{i}+\varepsilon _{i})=\beta _{1}+\beta _{2}x_{i}$

Für die Varianz der abhängigen Variablen gilt:

$\operatorname {Var} (y_{i})=\operatorname {Var} (\beta _{1}+\beta _{2}x_{i}+\varepsilon _{i})=\sigma ^{2}$

Damit ergibt sich für die Verteilung der abhängigen bzw. endogenen Variablen:

$y_{i}\sim {\mathcal {N}}(\beta _{1}+\beta _{2}x_{i},\sigma ^{2})$

Da aufgrund der Annahme, dass die Fehlerterme im Mittel null sein müssen, der bedingte Erwartungswert von $y_{i}$ ($\operatorname {E} (y_{i}|x_{i})$) dem wahren Modell

$y_{i}=\beta _{1}+\beta _{2}x_{i}$

entspricht, stellen wir mit der Annahme über die Fehlerterme die Forderung, dass unser Modell im Mittel korrekt sein muss.

In Bezug auf die exogene Variable werden folgende Annahmen getroffen:

• Die exogene Variable $x_{i}$ kann wie in einem Experiment kontrolliert werden und ist damit keine Zufallsvariable (Exogenität der Regressoren).

• Die exogene Variable weist bzgl. aller Beobachtungen nicht den gleichen Wert auf. Dies impliziert, dass die Variation der exogenen Variablen positiv sein muss: $\operatorname {Var} (x_{i})>0$.

Schätzung der Regressionskoeffizienten

Um nun die Parameter der Gerade zu bestimmen, wird die Summe der quadrierten Fehlerterme mittels der Methode der kleinsten Quadrate minimiert.

$(b_{1},\,b_{2})={\underset {\beta _{1},\,\beta _{2}\in \mathbb {R} }{\operatorname {arg\,min} }}\ S(\beta _{1},\,\beta _{2})={\underset {\beta _{1},\,\beta _{2}\in \mathbb {R} }{\operatorname {arg\,min} }}\sum _{i=1}^{n}\varepsilon _{i}^{2}={\underset {\beta _{1},\,\beta _{2}\in \mathbb {R} }{\operatorname {arg\,min} }}\sum _{i=1}^{n}(y_{i}-(\beta _{1}+\beta _{2}x_{i}))^{2}$

Die Bedingungen erster Ordnung (notwendige Bedingungen) lauten:

$\left.{\frac {\partial S(\beta _{1},\,\beta _{2})}{\partial \beta _{1}}}\right|_{b_{1}}{\overset {\mathrm {!} }{=}}\;0$

$\left.{\frac {\partial S(\beta _{1},\,\beta _{2})}{\partial \beta _{2}}}\right|_{b_{2}}{\overset {\mathrm {!} }{=}}\;0$

Durch Nullsetzen der partiellen Ableitungen nach $\beta _{1}$ und $\beta _{2}$ ergeben sich die gesuchten Parameterschätzer, bei denen die Residuenquadratsumme minimal wird:

$b_{2}={\frac {n\cdot \mathbf {x} ^{T}\mathbf {y} -1\!\!1^{T}\mathbf {x} \cdot 1\!\!1^{T}\mathbf {y} }{n\cdot \mathbf {x} ^{T}\mathbf {x} -(1\!\!1^{T}\mathbf {x} )^{2}}}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\operatorname {Cov} [x,y]}{\operatorname {Var} [x]}}$

$b_{1}={\frac {1}{n}}(1\!\!1^{T}\mathbf {y} -b_{2}\cdot 1\!\!1^{T}\mathbf {x} )={\bar {y}}-b_{2}{\bar {x}}$

Dabei ist der Vektor $1\!\!1^{T}=(1\dots 1)^{T}$ der $n$-dimensionale Einsvektor. Für einen Vektor $\mathbf {x}$ ist also $1\!\!1^{T}\mathbf {x}$ die Summe seiner Komponenten. Des Weiteren ergibt sich die zweite Gleichheit, bei der Berechnung von $b_{2}$, durch Anwenden des Verschiebungssatzes.

Erwartungstreue des Kleinste-Quadrate-Schätzers

Für die Regressionsgleichung $y_{i}=\beta _{1}+\beta _{2}x_{i}+\varepsilon _{i}$ lässt sich zeigen, dass die Schätzer $b_{2}$ für $\beta _{2}$ und $b_{1}$ für $\beta _{1}$ erwartungstreu sind, das heißt, es gilt $\operatorname {E} (b_{1})=\beta _{1}$ und $\operatorname {E} (b_{2})=\beta _{2}$. Der Kleinste-Quadrate-Schätzer schätzt also die wahren Werte der Koeffizienten „im Mittel richtig“. Das folgt aus der Linearität des Erwartungswerts und der Voraussetzung $\operatorname {E} (\varepsilon _{i})=0$. Damit folgt nämlich

$\operatorname {E} (y_{i})=\beta _{1}+\beta _{2}x_{i}$

und

$\operatorname {E} ({\bar {y}})=\beta _{1}+\beta _{2}{\bar {x}}$.

Als Erwartungswert von $b_{2}$ ergibt sich daher:

$\operatorname {E} (b_{2})=\operatorname {E} \left({\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum \limits _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}\right)={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})\operatorname {E} (y_{i}-{\bar {y}})}{\sum \limits _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(\beta _{1}+\beta _{2}x_{i}-(\beta _{1}+\beta _{2}{\bar {x}}))}{\sum \limits _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}=\beta _{2}$

Für den Erwartungswert von $\beta _{1}$ erhält man schließlich:

$\operatorname {E} (b_{1})=\operatorname {E} ({\bar {y}}-\beta _{1}{\bar {x}})=\operatorname {E} ({\bar {y}})-\operatorname {E} (\beta _{2}){\bar {x}}=\beta _{1}+\beta _{2}{\bar {x}}-\beta _{2}{\bar {x}}=\beta _{1}$

Beispiel

Im Folgenden wird die einfache lineare Regression anhand eines Beispiels dargestellt.

Eine renommierte Sektkellerei möchte einen hochwertigen Rieslingsekt auf den Markt bringen. Für die Festlegung des Abgabepreises soll zunächst eine Preis-Absatz-Funktion ermittelt werden. Dazu wird in $n=6$ Geschäften ein Testverkauf durchgeführt und man erhält sechs Wertepaare mit dem jeweiligen Ladenpreis einer Flasche $x$ (in Euro) sowie der Zahl der jeweils verkauften Flaschen $y$:

Geschäft $i$	1	2	3	4	5	6
Flaschenpreis $x_{i}$	20	16	15	16	13	10
verkaufte Menge $y_{i}$	0	3	7	4	6	10

In Matrixform kann das Beispiel verallgemeinert wie folgt dargestellt werden:

${\begin{pmatrix}y_{1}\\y_{2}\\y_{3}\\y_{4}\\y_{5}\\y_{6}\end{pmatrix}}={\begin{pmatrix}1&x_{1}\\1&x_{2}\\1&x_{3}\\1&x_{4}\\1&x_{5}\\1&x_{6}\end{pmatrix}}{\begin{pmatrix}\beta _{1}\\\beta _{2}\end{pmatrix}}+{\begin{pmatrix}\epsilon _{1}\\\epsilon _{2}\\\epsilon _{3}\\\epsilon _{4}\\\epsilon _{5}\\\epsilon _{6}\end{pmatrix}}$

Als Streudiagramm von Preis und abgesetzter Menge an Sektflaschen ergibt sich folgendes Preis-Mengen-Diagramm

Datei:Preis-Absatz-Diagramm.png

Streudiagramm von Preis und abgesetzter Menge an Sektflaschen

Berechnung der Regressionsgeraden

Man geht von folgendem statistischen Modell aus:

Betrachtet werden zwei Variablen $y$ und $x$, die vermutlich ungefähr in einem linearen Zusammenhang

$y\approx \beta _{1}+\beta _{2}x$

stehen. Auf die Vermutung, dass es sich um einen linearen Zusammenhang handelt, kommt man, wenn man das obige Streudiagramm betrachtet. Dort erkennt man, dass die eingetragenen Datenpunkte nahezu auf einer Linie liegen. Im Weiteren sind $x$ als unabhängige und $y$ als abhängige Variable definiert. Es existieren von $x$ und $y$ je $n$ Beobachtungen $x_{i}$ und $y_{i}$, wobei $i$ von $1$ bis $n$ geht. Der funktionale Zusammenhang $y=f(x)$ zwischen $x$ und $y$ kann nicht exakt festgestellt werden, da $\beta _{1}+\beta _{2}x$ von einer Störgröße $\varepsilon$ überlagert wird. Diese Störgröße ist als Zufallsvariable (der Grundgesamtheit) konzipiert, die nicht direkt erfassbare Einflüsse (unbeobachtete Heterogenität, menschliches Verhalten oder Messungenauigkeiten oder Ähnliches) darstellt. Es ergibt sich also das Modell

$y=\beta _{1}+\beta _{2}x+\varepsilon \;$ oder genauer $y_{i}=\beta _{1}+\beta _{2}x_{i}+\varepsilon _{i}.$

Da $\beta _{1}$ und $\beta _{2}$ nicht bekannt sind, kann $y$ nicht in die Komponenten $\beta _{1}+\beta _{2}x$ und $\varepsilon$ zerlegt werden. Des Weiteren soll eine mathematische Schätzung für die Parameter $\beta _{1}$ und $\beta _{2}$ durch ${\hat {\beta }}_{1}$ und ${\hat {\beta }}_{2}$ gefunden werden, damit ergibt sich

$y_{i}={\hat {\beta }}_{1}+{\hat {\beta }}_{2}x_{i}+{\hat {\varepsilon }}_{i}$

mit dem Residuum ${\hat {\varepsilon }}_{i}$ der Stichprobe. Das Residuum gibt die Differenz zwischen den Messwerten $y_{i}$ und der Regressionsgerade ${\hat {\beta }}_{1}+{\hat {\beta }}_{2}x_{i}$ an. Des Weiteren bezeichnet man mit ${\hat {y}}_{i}$ den Schätzwert für $y_{i}$. Es gilt

${\hat {y}}_{i}={\hat {\beta }}_{1}+{\hat {\beta }}_{2}x_{i}$

und somit kann man das Residuum schreiben als ${\hat {\varepsilon }}_{i}=y_{i}-{\hat {y}}_{i}$.

Es gibt verschiedene Möglichkeiten, die Gerade zu schätzen. Man könnte eine Gerade so durch die Punktwolke legen, dass die Quadratsumme der Residuen, also der senkrechten Abweichungen ${\hat {\varepsilon }}_{i}$ der Punkte von dieser Ausgleichsgeraden minimiert wird. Trägt man die wahre unbekannte und die geschätzte Regressionsgerade in einer gemeinsamen Grafik ein, dann ergibt sich folgende Abbildung.

Datei:Wahre unbekannte und geschätzte Gerade.png

Wahre unbekannte und geschätzte Regressionsgerade

Diese herkömmliche Methode ist die Minimum-Quadrat-Methode oder Methode der kleinsten Quadrate. Man minimiert wie folgt die Residuenquadratsumme:

$RSS=SS_{\mathrm {Res} }=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}=\sum _{i=1}^{n}(y_{i}-({\hat {\beta }}_{1}+{\hat {\beta }}_{2}x_{i}))^{2}\rightarrow \mathrm {Min!}$

bezüglich ${\hat {\beta }}_{1}$ und ${\hat {\beta }}_{2}$. Durch partielles Differenzieren und Nullsetzen der Ableitungen erster Ordnung erhält man ein System von Normalengleichungen.

Die gesuchten Regressionskoeffizienten sind die Lösungen

${\hat {\beta }}_{2}={\frac {SS_{xy}}{SS_{xx}}}={\frac {{\frac {1}{n}}\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{{\frac {1}{n}}\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {n\sum \limits _{i=1}^{n}x_{i}y_{i}-\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}$

und

${\hat {\beta }}_{1}={\bar {y}}-{\hat {\beta }}_{2}{\bar {x}}={\frac {\sum \limits _{i=1}^{n}x_{i}^{2}\sum \limits _{i=1}^{n}y_{i}-\sum \limits _{i=1}^{n}x_{i}\sum \limits _{i=1}^{n}x_{i}y_{i}}{n\sum \limits _{i=1}^{n}x_{i}^{2}-\left(\sum \limits _{i=1}^{n}x_{i}\right)^{2}}}$

mit ${\bar {x}}$ als arithmetischem Mittel der $x$-Werte und ${\bar {y}}$ als arithmetischem Mittel der $y$-Werte. $SS_{xy}$ stellt die empirische Kovarianz zwischen den $x_{i}$ und $y_{i}$ dar. $SS_{xx}$ bezeichnet die empirische Varianz der $x_{i}$. Man nennt diese Schätzer auch Kleinste-Quadrate-Schätzer (KQ) (englisch: Ordinary Least Squares-Estimator (OLS)).

Für das folgende Zahlenbeispiel ergibt sich ${\bar {x}}=15$ und ${\bar {y}}=5$. Somit erhält man die Schätzwerte für ${\hat {\beta }}_{1}$ und ${\hat {\beta }}_{2}$ durch einfaches Einsetzen in obige Formeln. Zwischenwerte in diesen Formeln sind in folgender Tabelle dargestellt.

$\ i$	Flaschenpreis $\ x_{i}$	verkaufte Menge $\ y_{i}$	$\ (x_{i}-{\bar {x}})$	$\ (y_{i}-{\bar {y}})$	$\ (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})$	$(x_{i}-{\bar {x}})^{2}$	$(y_{i}-{\bar {y}})^{2}$	$\ {\hat {y}}_{i}$
1	20	0	5	−5	−25	25	25	0,09
2	16	3	1	−2	−2	1	4	4,02
3	15	7	0	2	0	0	4	5,00
4	16	4	1	−1	−1	1	1	4,02
5	13	6	−2	1	−2	4	1	6,96
6	10	10	−5	5	−25	25	25	9,91
Summe	90	30	0	0	−55	56	60	30,00

Es ergibt sich in dem Beispiel

${\hat {\beta }}_{2}={\frac {-55}{56}}=-0{,}98$ und ${\hat {\beta }}_{1}=5-(-0{,}98)\cdot 15=19{,}73$.

Die geschätzte Regressionsgerade lautet somit

${\hat {y}}_{i}=19{,}73-0{,}98x_{i}$,

sodass man vermuten kann, dass bei jedem Euro mehr der Absatz im Durchschnitt ceteris paribus um ungefähr eine Flasche sinkt.

Bildliche Darstellung und Interpretation

Regressionsgeraden für $y=g_{x}(x)$ [rot] und $x=g_{y}(y)$ [blau]; hier werden die Parameter ${\hat {\beta }}_{1}$ und ${\hat {\beta }}_{2}$ durch $a$ und $b$ dargestellt

Wie in der statistischen Literatur immer wieder betont wird, ist ein hoher Wert des Korrelationskoeffizienten zweier Zufallsvariablen $X$ und $Y$ allein noch kein hinreichender Beleg für den kausalen (d. h. ursächlichen) Zusammenhang von $X$ und $Y$, ebenso wenig für dessen mögliche Richtung.

Anders als gemeinhin beschrieben, sollte man es daher bei der linearen Regression zweier Zufallsvariablen $X$ und $Y$ stets mit nicht nur einer, sondern zwei voneinander unabhängigen Regressionsgeraden zu tun haben: der ersten für die vermutete lineare Abhängigkeit $y=g_{x}(x)$, der zweiten für die nicht minder mögliche Abhängigkeit $x=g_{y}(y)$.

Bezeichnet man die Richtung der $x$-Achse als Horizontale und die der $y$-Achse als Vertikale, läuft die Berechnung des Regressionskoeffizienten also im ersten Fall auf das üblicherweise bestimmte Minimum der vertikalen quadratischen Abweichungen hinaus, im zweiten Fall dagegen auf das Minimum der horizontalen quadratischen Abweichungen.

Rein äußerlich betrachtet bilden die beiden Regressionsgeraden $y=g_{x}(x)$ und $x=g_{y}(y)$ eine Schere, deren Schnitt- und Angelpunkt der Schwerpunkt der untersuchten Punktwolke $P({\bar {x}}|{\bar {y}})$ ist. Je weiter sich diese Schere öffnet, desto geringer ist die Korrelation beider Variablen, bis hin zur Orthogonalität beider Regressionsgeraden, zahlenmäßig ausgedrückt durch den Korrelationskoeffizienten $0$ bzw. Schnittwinkel $90^{\circ }$.

Umgekehrt nimmt die Korrelation beider Variablen umso mehr zu, je mehr sich die Schere schließt – bei Kollinearität der Richtungsvektoren beider Regressionsgeraden schließlich, also dann, wenn beide bildlich übereinander liegen, nimmt $r_{xy}$ je nach Vorzeichen der Kovarianz den Maximalwert $+1$ oder $-1$ an, was bedeutet, dass zwischen $X$ und $Y$ ein streng linearer Zusammenhang besteht und sich (wohlgemerkt nur in diesem einen einzigen Fall) die Berechnung einer zweiten Regressionsgeraden erübrigt.

Wie der nachfolgenden Tabelle zu entnehmen, haben die Gleichungen der beiden Regressionsgeraden große formale Ähnlichkeit, etwa, was ihre Anstiege ${{\hat {\beta }}_{2}}_{x}$ bzw. ${{\hat {\beta }}_{2}}_{y}$ angeht, die gleich den jeweiligen Regressionskoeffizienten sind und sich nur durch ihre Nenner unterscheiden: im ersten Fall die Varianz von $X$, im zweiten die von $Y$:

Regressionskoeffizient$_{x}$	Korrelationskoeffizient	Regressionskoeffizient$_{y}$
${{\hat {\beta }}_{2}}_{x}={\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (X)}}$	$\rho _{X,Y}={\frac {\operatorname {Cov} (X,Y)}{\sqrt {\operatorname {Var} (X)\cdot \operatorname {Var} (Y)}}}$	${{\hat {\beta }}_{2}}_{y}={\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (Y)}}$
Empirischer Regressionskoeffizient$_{x}$	Empirischer Korrelationskoeffizient	Empirischer Regressionskoeffizient$_{y}$
${\begin{aligned}{{\hat {\beta }}_{2}}_{x}&={\frac {SS_{xy}}{SS_{xx}}}\\&={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\end{aligned}}$	${\begin{aligned}r_{xy}&={\frac {SS_{xy}}{\sqrt {SS_{xx}\cdot SS_{yy}}}}\\&={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\cdot \sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}\end{aligned}}$	${\begin{aligned}{{\hat {\beta }}_{2}}_{y}&={\frac {SS_{xy}}{SS_{yy}}}\\&={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}\end{aligned}}$
Regressionsgerade$_{x}$	Bestimmtheitsmaß	Regressionsgerade$_{y}$
$y={{\hat {\beta }}_{1}}_{x}+{{\hat {\beta }}_{2}}_{x}\cdot x$	$R^{2}={\frac {SS_{xy}^{2}}{SS_{xx}\cdot SS_{yy}}}=r_{xy}^{2}={{\hat {\beta }}_{2}}_{x}{{\hat {\beta }}_{2}}_{y}$	$x={{\hat {\beta }}_{1}}_{y}+{{\hat {\beta }}_{2}}_{y}\cdot y$
$y={\bar {y}}+{{\hat {\beta }}_{2}}_{x}\cdot (x-{\bar {x}})$		$y={\bar {y}}+{\frac {1}{b_{y}}}\cdot (x-{\bar {x}})$

Zu erkennen ist außerdem die mathematische Mittelstellung des Korrelationskoeffizienten und seines Quadrats, des sogenannten Bestimmtheitsmaßes, gegenüber den beiden Regressionskoeffizienten, dadurch entstehend, dass man anstelle der Varianzen von $X$ bzw. $Y$ deren geometrisches Mittel

${\bar {x}}_{\mathrm {geom} }={\sqrt {\operatorname {Var} (X)\cdot \operatorname {Var} (Y)}}$

in den Nenner setzt. Betrachtet man die Differenzen $x_{i}-{\bar {x}}$ als Komponenten eines $n$-dimensionalen Vektors $\mathbf {x}$ und die Differenzen $y_{i}-{\bar {y}}$ als Komponenten eines $n$-dimensionalen Vektors $\mathbf {y}$, lässt sich der Korrelationskoeffizient schließlich auch als Kosinus des von beiden Vektoren eingeschlossenen Winkels $\theta$ interpretieren:

$r_{xy}:={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})\cdot (y_{i}-{\bar {y}})}{{\sqrt {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\cdot {\sqrt {\sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}}={\frac {\mathbf {x} \circ \mathbf {y} }{|\mathbf {x} |\cdot |\mathbf {y} |}}=\cos \theta$

Beispiel in Kurzdarstellung

Für das vorangegangene Sektkellerei-Beispiel ergab sich folgende Tabelle:

$\ i$	Flaschenpreis $\ x_{i}$	verkaufte Menge $\ y_{i}$	$\ (x_{i}-{\bar {x}})$	$\ (y_{i}-{\bar {y}})$	$\ (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})$	$(x_{i}-{\bar {x}})^{2}$	$(y_{i}-{\bar {y}})^{2}$	$\ {\hat {y}}_{i}$
1	20	0	5	−5	−25	25	25	0,09
2	16	3	1	−2	−2	1	4	4,02
3	15	7	0	2	0	0	4	5,00
4	16	4	1	−1	−1	1	1	4,02
5	13	6	−2	1	−2	4	1	6,96
6	10	10	−5	5	−25	25	25	9,91
Summe	90	30	0	0	−55	56	60	30,00

Daraus ergeben sich folgende Werte:

Koeffizient	Allgemeine Formel	Wert im Beispiel
Steigung der Regressionsgerade ${\hat {\beta }}_{2}$	${\hat {\beta }}_{2}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}$	${\hat {\beta }}_{2}={\frac {-55}{56}}=-0{,}98$
Achsenabschnitt der Regressionsgerade ${\hat {\beta }}_{1}$	${\hat {\beta }}_{1}={\bar {y}}-{\hat {\beta }}_{2}{\bar {x}}$	${\hat {\beta }}_{1}={\frac {30}{6}}-(-0{,}98)\cdot {\frac {90}{6}}=19{,}73$
Empirische Korrelation $r_{xy}$	$r_{xy}={\frac {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sqrt {\sum \limits _{i=1}^{n}(x_{i}-{\bar {x}})^{2}\cdot \sum \limits _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}$	$r_{xy}={\frac {-55}{\sqrt {56\cdot 60}}}=-0{,}95$
Bestimmtheitsmaß $R^{2}$	$R^{2}=r_{xy}^{2}$	$R^{2}=(-0{,}95)^{2}=0{,}90$

Die geschätzte Regressiongerade ist ${\hat {y}}={\hat {\beta }}_{1}+{\hat {\beta }}_{2}x=19{,}73-0{,}98\cdot x$ mit einem Bestimmtheitsmaß $R^{2}$ von etwa $0{,}9$. Das Bestimmtheitsmaß, das ein Zusammenhangsmaß darstellt, sagt aus, dass $90\,\%$ der Variation in der abhängigen Variablen durch den Regressor erklärt werden kann. Allerdings hat das $R^{2}$ im Allgemeinen nur eingeschränkte Aussagekraft, weshalb man das korrigierte Bestimmtheitsmaß

${\bar {R}}^{2}:=1-(1-R^{2}){\frac {n-1}{n-K}}$

heranziehen sollte.

Multiple lineare Regression

Im Folgenden wird ausgehend von der einfachen linearen Regression die multiple Regression eingeführt. Die Response bzw. endogene Variable $y$ hängt linear von mehreren fest vorgegebenen erklärenden Variablen $x_{1},\dotsc ,x_{k}$ ab:

Regressionsebene, die sich an eine Datenwolke im dreidimensionalen Raum anpasst (Fall K=2)

$y_{t}=x_{t1}\beta _{1}+x_{t2}\beta _{2}+\dotsb +x_{tK}\beta _{K}+\varepsilon _{t}$,

wobei $\varepsilon _{t}$ wieder die Störgröße repräsentiert. Also ist $\varepsilon _{t}$ eine Zufallsvariable und daher ist $y$ als lineare Transformation von $\varepsilon _{t}$ ebenfalls eine Zufallsvariable. Liegen für die $x_{tk}$, unsere Daten, und die endogenen Variablen $y_{t}$, $T$ Datenpaare vor:

$(y_{1};x_{11},\dotsc ,x_{1K}),(y_{2};x_{21},\dotsc ,x_{2K}),\dotsc ,(y_{T};x_{T1},\dotsc ,x_{TK})$,

ergibt sich folgendes Gleichungssystem:

${\begin{matrix}y_{1}=x_{11}\beta _{1}+x_{12}\beta _{2}\,+&\dotsb &+\,x_{1K}\beta _{K}+\varepsilon _{1}\\y_{2}=x_{21}\beta _{1}+x_{22}\beta _{2}\,+&\dotsb &+\,x_{2K}\beta _{K}+\varepsilon _{2}\\&\vdots &\\y_{T}=x_{T1}\beta _{1}+x_{T2}\beta _{2}\,+&\dotsb &+\,x_{TK}\beta _{K}+\varepsilon _{T}\\\end{matrix}}$

Ferner lässt sich das aus $T$ Gleichungen bestehende Gleichungssystem nun kompakter darstellen als

$\mathbf {y} =\mathbf {X} \mathbf {\beta } +{\boldsymbol {\varepsilon }}$

$K$ gibt somit die Anzahl der zu schätzenden Parameter $\beta _{1},\beta _{2},\dotsc ,\beta _{K}$ an. In der einfachen linearen Regression wurde nur der Fall $K=2$ betrachtet, ausgehend davon wird nun die multiple Regression als Verallgemeinerung dessen mit $K\geq 3$ präsentiert. Wie bei der einfachen linearen Regression ist $x_{t1}$ in Anwendungen meist konstant gleich $1$, woraus sich ergibt, dass im multiplen Fall die erste Spalte der Datenmatrix den Einsvektor der Dimension $T$ darstellt. Als stichprobentheoretischer Ansatz wird jedes Stichprobenelement $\varepsilon _{t}$ als eine eigene Zufallsvariable interpretiert und ebenso jedes $y_{t}$.

Da es sich hier um ein lineares Gleichungssystem handelt, können die Elemente des Systems in Matrix-Schreibweise zusammengefasst werden. Man erhält den $(T\times 1)$-Spaltenvektor der abhängigen Variablen $y$, den der Störgröße ${\boldsymbol {\varepsilon }}$ als Zufallsvektor und den $(K\times 1)$-Spaltenvektor der Regressionskoeffizienten $\beta _{k}$:

$\mathbf {y} ={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{t}\\\vdots \\y_{T}\end{pmatrix}}_{(T\times 1)}\;,\;\;\;\;\;$ ${\boldsymbol {\varepsilon }}={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{t}\\\vdots \\\varepsilon _{T}\end{pmatrix}}_{(T\times 1)}\;\;\;\;$ und $\;\;\;\mathbf {\beta } ={\begin{pmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{k}\\\vdots \\\beta _{K}\end{pmatrix}}_{(K\times 1)}$

Die Datenmatrix $\mathbf {X}$ lautet in ausgeschriebener Form:

$\mathbf {X} ={\begin{pmatrix}x_{11}&x_{12}&\cdots &x_{1k}&\cdots &x_{1K}\\x_{21}&x_{22}&\cdots &x_{2k}&\cdots &x_{2K}\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\x_{t1}&x_{t2}&\cdots &x_{tk}&\cdots &x_{tK}\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\x_{T1}&x_{T2}&\cdots &x_{Tk}&\cdots &x_{TK}\end{pmatrix}}_{(T\times K)}={\begin{pmatrix}\ \mathbf {x} _{1}^{T}\\\ \mathbf {x} _{2}^{T}\\\vdots \\\ \mathbf {x} _{t}^{T}\\\vdots \\\\\mathbf {x} _{T}^{T}\end{pmatrix}}_{(T\times K)}={\begin{pmatrix}\mathbf {x} _{(1)}\mathbf {x} _{(2)}&\cdots &\mathbf {x} _{(k)}&\cdots &\mathbf {x} _{(K)}\end{pmatrix}}_{(T\times K)}$, wobei $\mathbf {x} _{(1)}=1\!\!1_{T}={\begin{pmatrix}1\\1\\\vdots \\1\\\vdots \\1\end{pmatrix}}_{(T\times 1)}$

Aufgrund der unterschiedlichen Schreibweisen für $\mathbf {X}$ lässt sich erkennen, dass sich das Modell $\mathbf {y} =\mathbf {X} \mathbf {\beta } +{\boldsymbol {\varepsilon }}$ auch darstellen lässt als:

$y_{t}=x_{t1}\beta _{1}+x_{t2}\beta _{2}+\dotsb +x_{tK}\beta _{K}+\varepsilon _{t}=\mathbf {x} _{t}^{T}\mathbf {\beta } +\varepsilon _{t},\quad t=1,2,\dotsc ,T$

mit

$\mathbf {x} _{t}={\begin{pmatrix}\ x_{t1}\\\ x_{t2}\\\vdots \\\ x_{tk}\\\vdots \\\\x_{tK}\end{pmatrix}}_{(K\times 1)}$

Repräsentationen:

$y_{t}$ sind beobachtete Zufallsvariablen.

$x_{tk}$ sind beobachtbare, nicht zufällige, bekannte Variablen.

$\beta _{1},\beta _{2},\beta _{3},\dotsc ,\beta _{k}$ sind unbekannte skalare Parameter.

$\varepsilon _{t}$ sind unbeobachtbare Zufallsvariablen.

$\mathbf {x} _{t}^{T}$ ist der transponierte Vektor der Regressoren

Des Weiteren trifft man, wie bereits im Abschnitt zur einfachen linearen Regression erwähnt, dieselben Annahmen. Im Fall der multiplen Regression lauten sie:

$\operatorname {E} ({\boldsymbol {\varepsilon }})=\mathbf {0} \$, ${\mbox{Cov}}({\boldsymbol {\varepsilon }})=\sigma ^{2}\mathbf {I} _{T}$ und ${\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})$,

wobei wir nun, statt nur die Varianzen und Kovarianzen der Fehlerterme einzeln zu betrachten, diese beiden in folgender Varianz- Kovarianzmatrix zusammenfassen:

${\mbox{Cov}}({\boldsymbol {\varepsilon }}):=\operatorname {E} [({\boldsymbol {\varepsilon }}-E({\boldsymbol {\varepsilon }}))({\boldsymbol {\varepsilon }}-\operatorname {E} ({\boldsymbol {\varepsilon }})^{T}]=\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{T})={\begin{pmatrix}\operatorname {Var} [\varepsilon _{1}]&\operatorname {Cov} [\varepsilon _{1},\varepsilon _{2}]&\cdots &\operatorname {Cov} [\varepsilon _{1},\varepsilon _{T}]\\\\\operatorname {Cov} [\varepsilon _{2},\varepsilon _{1}]&\operatorname {Var} [\varepsilon _{2}]&\cdots &\operatorname {Cov} [\varepsilon _{2},\varepsilon _{T}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {Cov} [\varepsilon _{T},\varepsilon _{1}]&\operatorname {Cov} [\varepsilon _{T},\varepsilon _{2}]&\cdots &\operatorname {Var} [\varepsilon _{T}]\end{pmatrix}}=\sigma ^{2}{\begin{pmatrix}1&0&\cdots &0\\0&1&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&1\end{pmatrix}}_{(T\times T)}=\sigma ^{2}\mathbf {I} _{T}$

Somit gilt für $\mathbf {y}$

$\operatorname {E} (\mathbf {y} )=\mathbf {X} \mathbf {\beta }$ mit ${\mbox{Cov}}(\mathbf {y} )=\sigma ^{2}\mathbf {I} _{T}$.

Schätzung der Regressionskoeffizienten nach der Methode der kleinsten Quadrate

Auch im multiplen linearen Regressionsmodell wird nach der Methode der kleinsten Quadrate minimiert, das heißt, es soll $\mathbf {\beta }$ so gewählt werden, dass die euklidische Norm $\|\mathbf {y} -\mathbf {X} \mathbf {\beta } \|_{2}$ minimal wird. Im Folgenden wird jedoch der Ansatz benutzt, dass das matrizielle quadratische Pendant zur Residuenquadratsumme minimiert wird. Dazu wird vorausgesetzt, dass $\mathbf {X}$ den Rang $K$ hat. Dann ist $\mathbf {X} ^{T}\mathbf {X}$ invertierbar und man erhält als Minimierungsproblem:

$S(\mathbf {\beta } )={\boldsymbol {\varepsilon }}^{T}{\boldsymbol {\varepsilon }}=(\mathbf {y} -\mathbf {X} \mathbf {\beta } )^{T}(\mathbf {y} -\mathbf {X} \mathbf {\beta } )=\mathbf {y} ^{T}\mathbf {y} -2\mathbf {\beta } ^{T}\mathbf {X} ^{T}\mathbf {y} +\mathbf {\beta } ^{T}\mathbf {X} ^{T}\mathbf {X} \mathbf {\beta } \rightarrow \mathrm {Min!}$

Bedingung erster Ordnung (Nullsetzen des Gradienten):

${\frac {\partial S(\mathbf {\beta } )}{\partial \mathbf {\beta } }}={\begin{pmatrix}{\frac {\partial S(\mathbf {\beta } )}{\partial \beta _{1}}}\\{\frac {\partial S(\mathbf {\beta } )}{\partial \beta _{2}}}\\\vdots \\{\frac {\partial S(\mathbf {\beta } )}{\partial \beta _{K}}}\end{pmatrix}}{\overset {\mathrm {!} }{=}}\;0$

Die partiellen Ableitungen erster Ordnung lauten:

${\begin{aligned}{\frac {\partial S(\mathbf {\beta } )}{\partial \beta _{1}}}&={\frac {\partial (\mathbf {y} ^{T}\mathbf {y} )}{\partial \beta _{1}}}-{\frac {\partial (2\mathbf {\beta } ^{T}\mathbf {X} ^{T}\mathbf {y} )}{\partial \beta _{1}}}+{\frac {\partial (\mathbf {\beta } ^{T}\mathbf {X} ^{T}\mathbf {X} \mathbf {\beta } )}{\partial \beta _{1}}}=-2\mathbf {x} _{(1)}^{T}\mathbf {y} +2\mathbf {x} _{(1)}^{T}\mathbf {X} \mathbf {\beta } \\{\frac {\partial S(\mathbf {\beta } )}{\partial \beta _{2}}}&={\frac {\partial (\mathbf {y} ^{T}\mathbf {y} )}{\partial \beta _{2}}}-{\frac {\partial (2\mathbf {\beta } ^{T}\mathbf {X} ^{T}\mathbf {y} )}{\partial \beta _{2}}}+{\frac {\partial (\mathbf {\beta } ^{T}\mathbf {X} ^{T}\mathbf {X} \mathbf {\beta } )}{\partial \beta _{2}}}=-2\mathbf {x} _{(2)}^{T}\mathbf {y} +2\mathbf {x} _{(2)}^{T}\mathbf {X} \mathbf {\beta } \\\vdots \\{\frac {\partial S(\mathbf {\beta } )}{\partial \beta _{K}}}&={\frac {\partial (\mathbf {y} ^{T}\mathbf {y} )}{\partial \beta _{K}}}-{\frac {\partial (2\mathbf {\beta } ^{T}\mathbf {X} ^{T}\mathbf {y} )}{\partial \beta _{K}}}+{\frac {\partial (\mathbf {\beta } ^{T}\mathbf {X} ^{T}\mathbf {X} \mathbf {\beta } )}{\partial \beta _{K}}}=-2\mathbf {x} _{(K)}^{T}\mathbf {y} +2\mathbf {x} _{(K)}^{T}\mathbf {X} \mathbf {\beta } \end{aligned}}$

Dies zeigt, dass sich die Bedingung erster Ordnung wie folgt kompakt darstellen lässt:

$\left.{\frac {\partial S(\mathbf {\beta } )}{\partial \mathbf {\beta } }}\right|_{\mathbf {b} }=-2\mathbf {X} ^{T}\mathbf {y} +2\mathbf {X} ^{T}\mathbf {X} \mathbf {b} \;{\overset {\mathrm {!} }{=}}\;0$

Nach linksseitiger Multiplikation mit der Inversen der positiv definiten und symmetrischen Matrix $(\mathbf {X} ^{T}\mathbf {X} )$ erhält man als Lösung des Minimierungsproblems den Vektor der geschätzten Regressionskoeffizienten $\mathbf {b}$ mit der Inversen der Produktsummenmatrix:

$\mathbf {b} ={\begin{pmatrix}b_{1}\\b_{2}\\b_{3}\\\vdots \\b_{K}\end{pmatrix}}={\begin{pmatrix}\sum x_{t1}^{2}&\sum x_{t1}x_{t2}&\sum x_{t1}x_{t3}&\cdots &\sum x_{x1}x_{tK}\\\sum x_{t2}x_{t1}&\sum x_{t2}^{2}&\sum x_{t2}x_{t3}&\cdots &\sum x_{t2}x_{tK}\\\sum x_{t3}x_{t1}&\sum x_{t3}x_{t2}&\sum x_{t3}^{2}&\cdots &\sum x_{t3}x_{tK}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_{tK}x_{t1}&\sum x_{tK}x_{t2}&\sum x_{tK}x_{t3}&\cdots &\sum x_{tK}^{2}\end{pmatrix}}^{-1}\cdot {\begin{pmatrix}\sum x_{t1}y_{t}\\\sum x_{t2}y_{t}\\\sum x_{t3}y_{t}\\\vdots \\\sum x_{tK}y_{t}\end{pmatrix}}=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {y}$

Für die Varianz-Kovarianz-Matrix des Parameterschätzers ergibt sich (dargestellt in kompakter Form):

$\operatorname {Cov} (\mathbf {b} )=\operatorname {E} \left[(\mathbf {b} -\operatorname {E} (\mathbf {b} ))(\mathbf {b} -\operatorname {E} (\mathbf {b} ))^{T}\right]=\operatorname {E} \left[(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{T}\mathbf {X} (\mathbf {X} ^{T}\mathbf {X} )^{-1}\right]=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\underbrace {\operatorname {E} (\mathbf {\boldsymbol {\varepsilon }} {\boldsymbol {\varepsilon }}^{T})} _{\sigma ^{2}\mathbf {I} _{T}}\mathbf {\mathbf {X} } (\mathbf {X} ^{T}\mathbf {X} )^{-1}=\sigma ^{2}(\mathbf {X} ^{T}\mathbf {X} )^{-1}$

In Matrix-Notation:

${\begin{aligned}\operatorname {Cov} (\mathbf {b} )&={\begin{pmatrix}\operatorname {E} [(b_{1}-\operatorname {E} (b_{1}))(b_{1}-\operatorname {E} (b_{1}))]&\operatorname {E} [(b_{1}-\operatorname {E} (b_{1}))(b_{2}-\operatorname {E} (b_{2}))]&\cdots &\operatorname {E} [(b_{1}-\operatorname {E} (b_{1}))(b_{K}-\operatorname {E} (b_{K}))]\\\\\operatorname {E} [(b_{2}-\operatorname {E} (b_{2}))(b_{1}-\operatorname {E} (b_{1}))]&\operatorname {E} [(b_{2}-\operatorname {E} (b_{2}))(b_{2}-\operatorname {E} (b_{2}))]&\cdots &\operatorname {E} [(b_{2}-\operatorname {E} (b_{2}))(b_{K}-\operatorname {E} (b_{K}))]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {E} [(b_{K}-\operatorname {E} (b_{K}))(b_{1}-\operatorname {E} (b_{1}))]&\operatorname {E} [(b_{K}-\operatorname {E} (b_{K}))(b_{2}-\operatorname {E} (b_{2}))]&\cdots &\operatorname {E} [(b_{K}-\operatorname {E} (b_{K}))(b_{K}-\operatorname {E} (b_{K}))]\end{pmatrix}}\\\\&={\begin{pmatrix}\operatorname {Var} [b_{1}]&\operatorname {Cov} [b_{1},b_{2}]&\cdots &\operatorname {Cov} [b_{1},b_{K}]\\\\\operatorname {Cov} [b_{2},b_{1}]&\operatorname {Var} [b_{2}]&\cdots &\operatorname {Cov} [b_{2},b_{K}]\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {Cov} [b_{K},b_{1}]&\operatorname {Cov} [b_{K},b_{2}]&\cdots &\operatorname {Var} [b_{K}]\end{pmatrix}}_{(K\times K)}\end{aligned}}$

Da die geschätzte Varianz der KQ-Fehlerterme ${\hat {\sigma }}^{2}={\frac {(\mathbf {y} -\mathbf {X} \mathbf {b} )^{T}(\mathbf {y} -\mathbf {X} \mathbf {b} )}{T-K}}$ lautet, gilt für die geschätzte Varianz-Kovarianz-Matrix:

${\widehat {\operatorname {Cov} (\mathbf {b} )}}={\hat {\sigma }}^{2}(\mathbf {X} ^{T}\mathbf {X} )^{-1}={\frac {{\hat {\boldsymbol {\varepsilon }}}^{T}{\hat {\boldsymbol {\varepsilon }}}}{T-K}}(\mathbf {X} ^{T}\mathbf {X} )^{-1}$

Man erhält mit Hilfe des Kleinste-Quadrate-Schätzers $\mathbf {b}$ das Gleichungssystem

$\mathbf {y} =\mathbf {X} \mathbf {b} +{\boldsymbol {\varepsilon }}={\hat {\mathbf {y} }}+{\boldsymbol {\varepsilon }},$

wobei ${\boldsymbol {\varepsilon }}$ der Vektor der Residuen und ${\hat {\mathbf {y} }}$ die Schätzung für $\mathbf {y}$ ist. Das Interesse der Analyse liegt vor allem in der Schätzung ${\hat {\mathbf {y} }}_{0}$ oder in der Prognose der abhängigen Variablen $\mathbf {y}$ für ein gegebenes Tupel von ${\mathbf {x} }_{0}$. Diese berechnet sich als

${\hat {\mathbf {y} }}_{0}=b_{1}x_{01}+b_{2}x_{02}+\dotsb +b_{K}x_{0K}=\mathbf {x} _{0}^{T}{\mathbf {b} }$.

Eigenschaften des Kleinste-Quadrate-Schätzers

Erwartungstreue

Im multiplen Fall kann man ebenfalls zeigen, dass der Kleinste-Quadrate-Schätzer erwartungstreu ist. Dies gilt allerdings nur, wenn die Annahme der Exogenität der Regressoren gegeben ist. Wenn man also davon ausgeht, dass die exogenen Variablen keine Zufallsvariablen sind, sondern wie in einem Experiment kontrolliert werden können, gilt $\forall k\in \{1,\dotsc ,K\}\colon \operatorname {E} (x_{tk}\varepsilon _{t})=\operatorname {E} (x_{tk})\cdot \operatorname {E} (\varepsilon _{t})=0$ bzw. $\operatorname {E} (\mathbf {x} ^{T}\mathbf {\cdot } {\boldsymbol {\varepsilon }})=\mathbf {0}$ und damit

$\operatorname {E} (\mathbf {b} )=\operatorname {E} ((\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {y} )=\operatorname {E} ((\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}(\mathbf {X} \mathbf {\beta } +{\boldsymbol {\varepsilon }}))=\operatorname {E} ((\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {X} \mathbf {\beta } +(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}{\boldsymbol {\varepsilon }}))=\mathbf {\beta } .$

Falls die Exogenitätsannahme nicht zutrifft, $E(\mathbf {x} ^{T}\mathbf {\cdot } {\boldsymbol {\varepsilon }})\mathbf {\neq } 0$, ist der Kleinste-Quadrate-Schätzer nicht erwartungstreu, sondern verzerrt (englisch: biased), d. h., im Mittel weicht der Parameterschätzer vom wahren Parameter ab:

$\operatorname {Bias} (\mathbf {b} )=\operatorname {E} (\mathbf {b} )-\mathbf {\beta } \neq 0$

Der Erwartungswert des Parameterschätzers für $\mathbf {b}$ ist also nicht gleich dem wahren Parameter.

Effizienz

Der Kleinste-Quadrate-Schätzer ist linear:

$\mathbf {b} =\underbrace {(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}} _{\mathbf {A} }\mathbf {y} =\mathbf {A} \mathbf {y}$

Nach dem Satz von Gauß-Markow ist der Schätzer $\mathbf {b}$, BLUE (Best Linear Unbiased Estimator), das heißt, er ist derjenige lineare erwartungstreue Schätzer, der unter allen linearen erwartungstreuen Schätzern die kleinste Varianz bzw. Varianz-Kovarianz-Matrix besitzt. Für diese Eigenschaften der Schätzfunktion $\mathbf {b}$ braucht keine Verteilungsinformation der Störgröße vorzuliegen.

Konsistenz

Der KQ-Schätzer ist unter den bisherigen Annahmen unverzerrt $\operatorname {E} (\mathbf {b} )=0$, wobei die Stichprobengröße $T$ keinen Einfluss auf die Unverzerrtheit hat (schwaches Gesetz der großen Zahlen). Ein Schätzer ist genau dann konsistent, wenn er in Wahrscheinlichkeit gegen den wahren Wert konvergiert. Die Eigenschaft der Konsistenz bezieht also das Verhalten des Schätzers mit ein, wenn die Anzahl der Beobachtungen größer wird.

Für die Folge $(\mathbf {b} _{n})_{n\in \mathbb {N} }$ gilt, dass sie in Wahrscheinlichkeit gegen den wahren Wert konvergiert

$\forall \epsilon >0\colon \lim _{n\to \infty }P(|\mathbf {b} _{n}-\mathbf {\beta } |\geq \epsilon )=0$

oder vereinfacht ausgedrückt:

$\mathbf {b} _{n}{\stackrel {p}{\rightarrow }}\mathbf {\beta }$

bzw.

$\operatorname {plim} (\mathbf {b} )=\mathbf {\beta }$

Die Konsistenz kann wie folgt gezeigt werden:

$\operatorname {plim} (\mathbf {b} )=\operatorname {plim} ((\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {y} )=\mathbf {\beta } +\operatorname {plim} ((\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}{\boldsymbol {\varepsilon }})=\mathbf {\beta } +\operatorname {plim} \left({\frac {(\mathbf {X} ^{T}\mathbf {X} )^{-1}}{T}}\right)\cdot \operatorname {plim} \left({\frac {(\mathbf {X} ^{T}{\boldsymbol {\varepsilon }})}{T}}\right)=\mathbf {\beta }$

Folglich ist der Kleinste-Quadrate-Schätzer konsistent. Die Eigenschaft besagt, dass mit steigender Stichprobengröße die Wahrscheinlichkeit, dass der Schätzer $\mathbf {b}$ vom wahren Parameter $\mathbf {\beta }$ abweicht, sinkt.

Normal lineares Modell

Zu dem bisherigen Modell

$\mathbf {y} =\mathbf {X} \mathbf {\beta } +{\boldsymbol {\varepsilon }}$

$\operatorname {E} ({\boldsymbol {\varepsilon }})=\mathbf {0}$ bzw. $\operatorname {E} (\mathbf {\varepsilon } _{t})=0$

${\mbox{Cov}}({\boldsymbol {\varepsilon }})=\sigma ^{2}\mathbf {I} _{T}$,

dessen Annahmen sich wie folgt zusammenfassen ließen

${\boldsymbol {\varepsilon }}\sim (\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})$,

wird hier zusätzlich von der Annahme ausgegangen, dass die Fehlerterme normalverteilt sind:

${\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})$

Dadurch ergibt sich das normal lineare Modell:

$\mathbf {y} =\mathbf {X} \mathbf {\beta } +{\boldsymbol {\varepsilon }}$ mit ${\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})$ und $\mathbf {y} \sim {\mathcal {N}}(\mathbf {X} \mathbf {\beta } ,\sigma ^{2}\mathbf {I} _{T})$

Maximum-Likelihood-Schätzung

Das normal lineare Modell lässt sich mithilfe der Maximum-Likelihood-Methode schätzen. Dazu wird zunächst die einzelne Wahrscheinlichkeitsdichte des Fehlervektors, der einer Normalverteilung folgt, benötigt. Sie lautet:

$f(\varepsilon _{t}|\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\operatorname {exp} \left\{-{\frac {\left(y_{t}-\mathbf {x} _{t}^{T}\mathbf {\beta } \right)^{2}}{2\sigma ^{2}}}\right\}$, wobei $\sigma ^{2}=\sigma _{\varepsilon }^{2}$ darstellt.

Da sich der Fehlerterm auch als $\varepsilon _{t}=y_{t}-\mathbf {x} _{t}^{T}\mathbf {\beta }$ darstellen lässt, kann man die einzelne Dichte auch schreiben als

$f(y_{t}|\mathbf {x} _{t}^{T},\mathbf {\beta } ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\operatorname {exp} \left\{-{\frac {\left(y_{t}-\mathbf {x} _{t}^{T}\mathbf {\beta } \right)^{2}}{2\sigma ^{2}}}\right\}$.

Aufgrund der Unabhängigkeitsannahme lässt sich die gemeinsame Wahrscheinlichkeitsdichte $f$ als Produkt der einzelnen Randdichten $f_{1},\dotsc ,f_{T}$ darstellen. Die gemeinsame Dichte $f(y_{1},y_{2},\dotsc ,y_{T}|\mathbf {X} ,\mathbf {\beta } ,\sigma ^{2})=f(y_{1}|\mathbf {x} _{1}^{T},\mathbf {\beta } ,\sigma ^{2})\cdot f(y_{2}|\mathbf {x} _{2}^{T},\mathbf {\beta } ,\sigma ^{2})\cdot \dotsb \cdot f(y_{T}|\mathbf {x} _{T}^{T},\mathbf {\beta } ,\sigma ^{2})$ lautet bei unterstellter stochastischer Unabhängigkeit dann

$f(y_{1},y_{2},\dotsc ,y_{T}|\mathbf {X} ,\mathbf {\beta } ,\sigma ^{2})=\prod _{t=1}^{T}f_{t}(y_{t}|\mathbf {x} _{t},\mathbf {\beta } ,\sigma ^{2})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\operatorname {exp} \left\{-{\frac {\left(y_{1}-\mathbf {x} _{1}^{T}\mathbf {\beta } \right)^{2}}{2\sigma ^{2}}}\right\}\cdot \dotsb \cdot {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\operatorname {exp} \left\{-{\frac {\left(y_{T}-\mathbf {x} _{T}^{T}\mathbf {\beta } \right)^{2}}{2\sigma ^{2}}}\right\}$

$=(2\pi \sigma ^{2})^{-{\frac {T}{2}}}\operatorname {exp} \left\{-{\frac {\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)^{T}\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)}{2\sigma ^{2}}}\right\}$

Die gemeinsame Dichte lässt sich auch schreiben als:

$f(\mathbf {y} |\mathbf {X} ,\mathbf {\beta } ,\sigma ^{2})=(2\pi \sigma ^{2})^{-{\frac {T}{2}}}|\mathbf {I} _{T}|^{-{\frac {1}{2}}}\operatorname {exp} \left\{-{\frac {\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)^{T}\left|\mathbf {I} _{T}|(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)}{2\sigma ^{2}}}\right\}$

Da wir uns nun nicht für ein bestimmtes Ergebnis bei gegebenen Parametern interessieren, sondern diejenigen Parameter suchen, die am besten zu unseren Daten passen, denen also die größte Wahrscheinlichkeit zugeordnet wird, dass sie den wahren Parametern entsprechen, lässt sich nun die Likelihood-Funktion als gemeinsame Wahrscheinlichkeitsdichte in Abhängigkeit der Parameter formulieren.

$L(\mathbf {\beta } ,\sigma ^{2};\mathbf {y} ,\mathbf {X} )=(2\pi \sigma ^{2})^{-{\frac {T}{2}}}\operatorname {exp} \left\{-{\frac {\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)^{T}\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)}{2\sigma ^{2}}}\right\}$

Durch Logarithmieren der Likelihood-Funktion ergibt sich die Log-Likelihood-Funktion in Abhängigkeit von den Parametern:

$\ell (\mathbf {\beta } ,\sigma ^{2};\mathbf {y} ,\mathbf {X} )=\ln \left(L(\mathbf {\beta } ,\sigma ^{2};\mathbf {y} ,\mathbf {X} )\right)=-{\frac {T}{2}}\cdot \ln(2\pi )-{\frac {T}{2}}\cdot \ln(\sigma ^{2})-{\frac {\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)^{T}\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right)}{2\sigma ^{2}}}$

Diese Funktion gilt es nun bzgl. der Parameter zu maximieren. Es ergibt sich also folgendes Maximierungsproblem:

${\tilde {\sigma }}^{2}={\underset {\sigma ^{2}}{\operatorname {arg\,max} }}\ \ell (\mathbf {\beta } ,\sigma ^{2}|\mathbf {y} ,\mathbf {X} )$

${\tilde {\mathbf {\beta } }}={\underset {\beta }{\operatorname {arg\,max} }}\ \ell (\mathbf {\beta } ,\sigma ^{2}|\mathbf {y} ,\mathbf {X} )$

Die beiden Score-Funktionen lauten:

$\left.{\frac {\partial \ell (\mathbf {\beta } ,\sigma ^{2};\mathbf {y} ,\mathbf {X} )}{\partial \mathbf {\beta } }}\right|_{\begin{array}{ccc}\mathbf {\beta } ={\tilde {\mathbf {b} }}\\\sigma ^{2}={\tilde {\sigma }}^{2}\end{array}}=-{\frac {1}{2\sigma ^{2}}}\cdot \underbrace {\frac {\partial ((\mathbf {y} -\mathbf {X} \mathbf {\beta } )^{T}\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right))}{\partial \mathbf {\beta } }} _{2\mathbf {X} ^{T}\mathbf {y} +2\mathbf {X} \mathbf {X} \mathbf {\beta } }\;{\overset {\mathrm {!} }{=}}\;0$

$\left.{\frac {\partial \ell (\mathbf {\beta } ,\sigma ^{2};\mathbf {y} ,\mathbf {X} )}{\partial \sigma ^{2}}}\right|_{\begin{array}{ccc}\mathbf {\beta } ={\tilde {\mathbf {b} }}\\\sigma ^{2}={\tilde {\sigma }}^{2}\end{array}}=-{\frac {T}{2\sigma ^{2}}}+{\frac {1}{2\sigma ^{4}}}\cdot ((\mathbf {y} -\mathbf {X} \mathbf {\beta } )^{T}\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right))\;{\overset {\mathrm {!} }{=}}\;0$

Beim partiellen Ableiten wird ersichtlich, dass der Ausdruck

${\frac {\partial ((\mathbf {y} -\mathbf {X} \mathbf {\beta } )^{T}\left(\mathbf {y} -\mathbf {X} \mathbf {\beta } \right))}{\partial \mathbf {\beta } }}=2\mathbf {X} ^{T}\mathbf {y} +2\mathbf {X} \mathbf {X} \mathbf {\beta }$

bereits aus der Herleitung des KQ-Schätzers bekannt ist. Somit reduziert sich das Maximum-Likelihood-Opimierungsproblem auf das KQ-Optimierungsproblem. Daraus folgt, dass der KQ-Schätzer dem ML-Schätzer entspricht:

$\mathbf {\tilde {b}} =\mathbf {b} =(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {y}$

Der ML-Schätzer für die Varianz, der sich auch aus der zweiten partiellen Ableitung ergibt, lautet:

${\tilde {\sigma }}^{2}={\frac {(\mathbf {y} -\mathbf {X} {\tilde {\mathbf {\beta } }})^{T}(\mathbf {y} -\mathbf {X} {\tilde {\mathbf {\beta } }})}{T}}={\frac {(T-K){\hat {\sigma }}^{2}}{T}}$

Der Wert der Log-Likelihood-Funktion, bewertet an der Stelle der geschätzten Koeffizienten:

$\ell (\mathbf {b} ,{\tilde {\sigma }}^{2};\mathbf {y} ,\mathbf {X} )=\ln \left(L(\mathbf {b} ,{\tilde {\sigma }}^{2};\mathbf {y} ,\mathbf {X} )\right)=-{\frac {T}{2}}\cdot \ln(2\pi )-{\frac {T}{2}}\cdot \ln({\tilde {\sigma }}^{2})-{\frac {\left(\mathbf {y} -\mathbf {X} \mathbf {b} \right)^{T}\left(\mathbf {y} -\mathbf {X} \mathbf {b} \right)}{2{\tilde {\sigma }}^{2}}}$

Paneldatenregression

Das allgemeine lineare Paneldaten-Modell lässt zu, dass der Achsenabschnitt und die Steigungsparameter zum einen über die Individuen $i$ (in Querschnittsdimension) und zum anderen über die Zeit $t$ variieren (nicht-zeitinvariant). Das allgemeine lineare Paneldaten-Modell lautet:

$y_{it}=\alpha _{it}+\mathbf {x} _{it}^{T}\mathbf {\beta } _{it}+e_{it},\;\;i=1,\dotsc ,N;\;\;t=1,\dotsc ,T$

mit der Varianz-Kovarianz-Matrix:

$\operatorname {Cov} (\mathbf {e} )=\operatorname {E} (\mathbf {e} \mathbf {e} ^{T})=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi }$

Hierbei ist $y_{it}$ eine skalar vorliegende abhängige Variable, $\mathbf {x} _{it}^{T}$ ist ein $(K\times 1)$-Vektor von unabhängigen Variablen, $e_{it}$ ist ein skalar vorliegender Fehlerterm. Da dieses Modell zu allgemein ist und nicht schätzbar ist, wenn es mehr Parameter als Beobachtungen gibt, müssen bezüglich der Variation von $\alpha _{it}$ und$\beta _{it}$ mit $i$ und $t$ und bezüglich des Verhaltens des Fehlerterms einschränkende Annahmen getroffen werden. Diese zusätzlichen Restriktionen und die darauf aufbauenden Modelle sind Themen der linearen Paneldatenmodelle und der Paneldatenanalyse.

Schätzung des Varianzparameters

Die Schätzwerte der $y_{t}$ berechnen sich mithilfe des KQ-Schätzers $\mathbf {b}$ als

${\hat {\mathbf {y} }}=\mathbf {Xb} =\mathbf {X} (\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {y}$,

wobei man dies auch kürzer als

${\hat {\mathbf {y} }}=\mathbf {H} \mathbf {y}$ mit $\mathbf {H} \in \mathbb {R} ^{T\times T}$

schreiben kann. Die Matrix $\mathbf {H}$ ist die Matrix der Orthogonalprojektion auf den Spaltenraum von $\mathbf {X}$ und hat maximal den Rang $K$. Sie wird auch Hat-Matrix genannt, weil sie $\mathbf {y}$ "den Hut aufsetzt" und somit zum Schätzer macht.

Die Residuen werden ermittelt als

${\hat {\boldsymbol {\varepsilon }}}=\mathbf {y} -{\hat {\mathbf {y} }}=\mathbf {y} -\mathbf {Xb} =\mathbf {y} -\mathbf {H} \mathbf {y} =(I_{T}-\mathbf {H} )\mathbf {y}$,

wobei $(I_{T}-\mathbf {H} )$ mit $\mathbf {H}$ vergleichbare Eigenschaften hat.

Da $\mathbf {X}$ fest vorgegeben ist, kann man alle diese Variablen als lineare Transformation von $\mathbf {y}$ und damit von ${\hat {\boldsymbol {\varepsilon }}}$ darstellen, und deshalb können auch ihr Erwartungswertvektor und ihre Kovarianzmatrix unproblematisch ermittelt werden.

Die Quadratsumme $SS_{\mathrm {Res} }$ (von engl. „residual sum of squares“) der Residuen ergibt in Matrix-Notation

$SS_{\mathrm {Res} }={\hat {\boldsymbol {\varepsilon }}}^{T}{\hat {\boldsymbol {\varepsilon }}}=\mathbf {y} ^{T}(I_{T}-\mathbf {H} )^{T}(I_{T}-\mathbf {H} )\mathbf {y} =\mathbf {y} ^{T}(I_{T}-\mathbf {H} )\mathbf {y}$.

Dies kann auch geschrieben werden als

$SS_{\mathrm {Res} }={\hat {\boldsymbol {\varepsilon }}}^{T}{\hat {\boldsymbol {\varepsilon }}}=\|y-{\hat {y}}\|_{2}^{2}=\sum \limits _{t=1}^{T}(y_{t}-{\hat {y}}_{t})^{2}$.

Die Varianz wird mit Hilfe der Residuen geschätzt, und zwar als mittlere Quadratsumme der Residuen:

${\hat {\sigma }}^{2}={\frac {SS_{\mathrm {Res} }}{T-K}}={\frac {\sum \limits _{t=1}^{T}(y_{t}-{\hat {y}}_{t})^{2}}{T-K}}$

Schätzen und Testen

Für die inferentielle Regression (Schätzen und Testen) wird noch die Information über die Verteilung der Störgröße ${\boldsymbol {\varepsilon }}$ gefordert. Zusätzlich zu den bereits weiter oben aufgeführten Annahmen hat man hier als weitere Annahme:

• Die Störgröße ${\boldsymbol {\varepsilon }}$ ist normalverteilt.

${\boldsymbol {\varepsilon }}\sim {\mathcal {N}}(\mathbf {0} ,\sigma ^{2}\mathbf {I} _{T})$

D. h., die Störgrößen sind multivariat normalverteilt mit dem Erwartungswert $\mathbf {0}$ und der Varianz-Kovarianz-Matrix $\sigma ^{2}\mathbf {I} _{T}$, wobei $\mathbf {0}$ den Nullvektor und $\mathbf {I} _{T}$ die Einheitsmatrix der Dimension $T$ bezeichnet. Hier sind unkorrelierte Zufallsvariablen auch stochastisch unabhängig. Da die interessierenden Schätzer zum größten Teil lineare Transformationen von ${\boldsymbol {\varepsilon }}$ sind, sind sie ebenfalls normalverteilt mit den entsprechenden Parametern. Ferner ist die Quadratsumme der Residuen als nichtlineare Transformation $\chi ^{2}$-verteilt mit $T-K$ Freiheitsgraden.

Beweisskizze: Sei $\mathbf {w} =\mathbf {y} -\mathbf {X} \mathbf {\beta }$, damit erhält man ${\begin{aligned}\mathbf {w} ^{T}(I_{T}-\mathbf {H} )\mathbf {w} /\sigma ^{2}&=(\mathbf {y} -\mathbf {X} \mathbf {\beta } )^{T}(I_{T}-\mathbf {H} )(I_{T}-\mathbf {H} )(\mathbf {y} -\mathbf {X} \mathbf {\beta } )/\sigma ^{2}\\&=\mathbf {y} ^{T}(I_{T}-\mathbf {H} )\mathbf {y} /\sigma ^{2}\\&=SS_{\mathrm {Res} }/\sigma ^{2}\sim \chi _{T-K}^{2},\end{aligned}}$ wobei $(I_{T}-\mathbf {H} )\mathbf {X} =0$ und der Satz von Cochran verwendet wurden.

Ferner gilt ebenso

$\|{\hat {\mathbf {y} }}-\mathbf {X} \mathbf {\beta } \|_{2}^{2}/\sigma ^{2}\sim \chi _{K}^{2}$.

Güte des Regressionsmodells

Hat man eine Regression ermittelt, ist man auch an der Güte dieser Regression interessiert. Im Fall $x_{t1}=1$ für alle $t$ wird häufig als Maß für die Güte das Bestimmtheitsmaß $R^{2}$ verwendet. Generell gilt, je näher der Wert des Bestimmtheitsmaßes bei $1$ liegt, desto besser ist die Güte der Regression. Ist das Bestimmtheitsmaß klein, kann man seine Signifikanz durch das Hypothesenpaar $H_{0}\colon R^{2}=0$ gegen $H_{1}\colon R^{2}\neq 0$ mit der Prüfgröße

$F={\frac {SS_{\mathrm {Reg} }/(K-1)}{SS_{\mathrm {Res} }/(T-K)}}={\frac {{\frac {SS_{\mathrm {Reg} }}{SS_{\mathrm {Total} }}}/(K-1)}{{\frac {SS_{\mathrm {Res} }}{SS_{\mathrm {Total} }}}/(T-K)}}={\frac {R^{2}/(K-1)}{(1-R^{2})/(T-K)}}\sim F_{K-1,T-K}$

testen. Die Prüfgröße $F$ ist F-verteilt mit $K$ und $T-K$ Freiheitsgraden. Überschreitet die Prüfgröße bei einem Signifikanzniveau $\alpha$ den kritischen Wert $F(1-\alpha ,T-K)$, das $(1-\alpha )$-Quantil der F-Verteilung mit $K-1$ und $T-K$ Freiheitsgraden, wird $H_{0}$ abgelehnt. $R^{2}$ ist dann ausreichend groß, $x_{tk}$ trägt also vermutlich genügend viel Information zur Erklärung von $y$ bei.

Unter den Voraussetzungen des klassischen linearen Regressionsmodells ist der Test ein Spezialfall der einfaktoriellen ANOVA. Für jeden Beobachtungswert $t$ ist die Störgröße $\varepsilon _{t}\sim {\mathcal {N}}(0,\sigma ^{2})$ und damit $y_{t}\sim {\mathcal {N}}(\mu _{t}=x_{t1}\beta _{1}+x_{t2}\beta _{2}+\dotsb +x_{tK}\beta _{K},\sigma ^{2})$-verteilt (mit $\mu _{t}$ der wahre Regressionswert in der Grundgesamtheit), d. h., die Voraussetzungen der ANOVA sind erfüllt. Sind alle $\beta _{k}$-Koeffizienten gleich null, so ist dies äquivalent zur Nullhypothese der ANOVA: $H_{0}\colon \mu _{1}=\dotsb =\mu _{T}$.

Die Residualanalyse, bei der man die Residuen über den unabhängigen Variablen aufträgt, gibt Aufschluss über

• die Richtigkeit des angenommenen linearen Zusammenhangs,
• mögliche Ausreißer,
• Homoskedastizität, Heteroskedastizität.

Ein Ziel bei der Residualanalyse ist es, die Voraussetzung der unbeobachteten Residuen ${\hat {\varepsilon }}_{t}$ zu überprüfen. Hierbei ist es wichtig zu beachten, dass

${\hat {\varepsilon }}_{t}\neq \varepsilon _{t}$

gilt. ${\hat {\varepsilon }}_{t}$ ist mit der Formel ${\hat {\varepsilon }}_{t}=y_{t}-{\hat {y}}_{t}$ berechenbar. Im Gegensatz hierzu ist die Störgröße $\varepsilon _{t}$ nicht berechenbar oder beobachtbar. Nach den oben getroffenen Annahmen soll für das Modell gelten

$\operatorname {Var} (\varepsilon _{t})=\sigma ^{2}=\mathrm {const.}$

Es liegt somit eine Varianzhomogenität vor. Dieses Phänomen wird auch als Homoskedastizität bezeichnet und ist auf die Residuen übertragbar. Dies bedeutet: Wenn man die unabhängigen Variablen $x$ gegen die Residuen ${\hat {\varepsilon }}$ aufträgt, sollten keine systematischen Muster erkennbar sein.

• 
  Beispiel 1 zur Residualanalyse
• 
  Beispiel 2 zur Residualanalyse
• 
  Beispiel 3 zur Residualanalyse

In den obigen drei Grafiken wurden die unabhängigen Variablen $x$ gegen die Residuen ${\hat {\varepsilon }}$ geplottet, und im Beispiel 1 sieht man, dass hier tatsächlich kein erkennbares Muster in den Residuen vorliegt, d. h., dass die Annahme der Varianzhomogenität erfüllt ist. In den Beispielen 2 und 3 dagegen ist diese Annahme nicht erfüllt: Man erkennt ein Muster. Zur Anwendung der linearen Regression sind daher hier zunächst geeignete Transformationen durchzuführen. So ist im Beispiel 2 ein Muster zu erkennen, das an eine Sinus-Funktion erinnert, womit hier eine Daten-Transformation der Form $a\sin(tx_{t}+c)$ denkbar wäre, während im Beispiel 3 ein Muster zu erkennen ist, das an eine Parabel erinnert, in diesem Fall also eine Daten-Transformation der Form $a(x_{t}-c)^{2}$ angebracht sein könnte.

Beitrag der einzelnen Regressoren zur Erklärung der abhängigen Variablen

Man ist daran interessiert, ob man einzelne Parameter oder Regressoren aus dem Regressionsmodell entfernen kann, ob also ein Regressor nicht (oder nur gering) zur Erklärung von $\mathbf {y}$ beiträgt. Dies ist dann möglich, falls ein Parameter $\beta _{k}$ gleich null ist, somit testet man die Nullhypothese $H_{0}\colon \beta _{k}=0$. Das heißt, man testet, ob der $k$-te Parameter gleich Null ist. Wenn dies der Fall ist, kann der zugehörige $k$-te Regressor $x_{k}$ aus dem Modell entfernt werden. Der Vektor $\mathbf {b}$ ist als lineare Transformation von $\mathbf {y}$ wie folgt verteilt:

$\mathbf {b} \sim {\mathcal {N}}\left(\mathbf {\beta } ,\sigma ^{2}{(\mathbf {X} ^{T}\mathbf {X} )}^{-1}\right)$

Wenn man die Varianz der Störgröße schätzt, erhält man für die geschätzte Varianz-Kovarianz-Matrix

${\widehat {Cov}}(\mathbf {b} )={\hat {\sigma }}^{2}(\mathbf {X} ^{T}\mathbf {X} )^{-1}$.

Die geschätzte Varianz $\sigma ^{2}$ eines Regressionskoeffizienten $b_{k}$ steht als $k$-tes Diagonalelement in der geschätzten Varianz-Kovarianz-Matrix. Es ergibt sich die Prüfgröße

$t_{k}={\frac {b_{k}}{{\hat {\sigma }}_{b_{k}}}}\sim t_{T-K}$,

wobei die Wurzel der geschätzten Varianz ${\hat {\sigma }}_{b_{k}}^{2}={\hat {\sigma }}^{2}(\mathbf {X} ^{T}\mathbf {X} )_{kk}^{-1}$ des $k$-ten Parameters dessen geschätzten Standardfehler ${\hat {\sigma }}_{b_{k}}$ darstellt.

Die Prüf- bzw. Pivotgröße ist t-verteilt mit $T-K$ Freiheitsgraden. Ist $|t_{k}|$ größer als der kritische Wert $t_{(1-\alpha /2,T-K)}$, dem $(1-\alpha /2)$-Quantil der $t$-Verteilung mit $T-K$ Freiheitsgraden, wird die Hypothese abgelehnt. Somit wird der Regressor $x_{k}$ im Modell beibehalten und der Beitrag des Regressors $x_{k}$ zur Erklärung von $y$ ist signifikant groß, d. h. signifikant von null verschieden.

Prognose

Ein einfaches Modell zur Prognose von endogenen Variablen ergibt sich durch

$\mathbf {y} _{0}=\mathbf {X} _{0}\mathbf {\beta } +{\boldsymbol {\varepsilon }}_{0}$,

wobei $\mathbf {y} _{0}$ den Vektor von zukünftigen abhängigen Variablen und $\mathbf {X} _{0}$ die Matrix der erklärenden Variablen zum Zeitpunkt $T_{0}$ darstellt.

Die Voraussage wird wie folgt dargestellt: ${\hat {\mathbf {y} }}_{0}=\mathbf {X} _{0}\mathbf {b}$, woraus sich folgender Voraussagefehler ergibt: ${\hat {\mathbf {y} }}_{0}-\mathbf {y} _{0}$

Eigenschaften des Voraussagefehlers:

Der Voraussagefehler ist im Mittel null: $\operatorname {E} ({\hat {\mathbf {y} }}_{0}-\mathbf {y} _{0})=\operatorname {E} (\mathbf {X} _{0}(\mathbf {b} -\mathbf {\beta } )-{\boldsymbol {\varepsilon }}_{0})=0$

Die Varianz-Kovarianz-Matrix des Voraussagefehlers lautet: $\operatorname {E} [({\hat {\mathbf {y} }}_{0}-\mathbf {y} _{0}-\operatorname {E} ({\hat {\mathbf {y} }}_{0}-\mathbf {y} _{0}))(({\hat {\mathbf {y} }}_{0}-\mathbf {y} _{0}-\operatorname {E} ({\hat {\mathbf {y} }}_{0}-\mathbf {y} _{0}))^{T}]=\sigma ^{2}[\mathbf {X} _{0}(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} _{0}^{T}+\mathbf {I} ]$

Ermittelt man einen Prognosewert, möchte man möglicherweise wissen, in welchem Intervall sich die prognostizierten Werte mit einer festgelegten Wahrscheinlichkeit bewegen. Man wird also ein Konfidenzintervall für den durchschnittlichen Prognosewert $\operatorname {E} (\mathbf {y} _{0})$ ermitteln. Im Fall der linearen Einfachregression ergibt sich für die Varianz des Prognosefehlers

$\operatorname {Var} ({\hat {y}}_{0}-y_{0})=\sigma ^{2}\left(1+{\frac {1}{T}}+{\frac {(x_{0}-{\bar {x}})^{2}}{\sum \limits _{t=1}^{T}(x_{t}-{\bar {x}})^{2}}}\right)$.

Man erhält dann als $(1-\alpha )$-Konfidenzintervall für die Varianz des Prognosefehlers

$[{\hat {y}}_{0}-t_{1-\alpha /2;T-K}\cdot {\sqrt {\operatorname {Var} ({\hat {y}}_{0}-y_{0})}}\;;\;{\hat {y}}_{0}+t_{1-\alpha /2;T-K}\cdot {\sqrt {\operatorname {Var} ({\hat {y}}_{0}-y_{0})}}]$.

Speziell für den Fall der einfachen linearen Regression ergibt sich das Prognoseintervall:

$\left[{\hat {y}}_{0}-t_{1-\alpha /2;T-K}\cdot {\sqrt {\sigma ^{2}\left(1+{\frac {1}{T}}+{\frac {(x_{0}-{\bar {x}})^{2}}{\sum \limits _{t=1}^{T}(x_{t}-{\bar {x}})^{2}}}\right)}}\;;\;{\hat {y}}_{0}+t_{1-\alpha /2;T-K}\cdot {\sqrt {\sigma ^{2}\left(1+{\frac {1}{T}}+{\frac {(x_{0}-{\bar {x}})^{2}}{\sum \limits _{t=1}^{T}(x_{t}-{\bar {x}})^{2}}}\right)}}\right]$

Aus dieser Form des Konfidenzintervalls erkennt man sofort, dass das Konfidenzintervall breiter wird, wenn sich die exogene Prognosevariable $x_{0}$ vom „Gravitationszentrum“ der Daten entfernt. Schätzungen der endogenen Variablen sollten also im Beobachtungsraum der Daten liegen, sonst werden sie sehr unzuverlässig.

Modell mit einer nicht-skalaren Einheits-Kovarianzmatrix

Heteroskedastisches Modell

Falls die die Annahme der Homoskedastizität nicht erfüllt ist, d. h. die Diagonalelemente der Varianz-Kovarianz-Matrix nicht identisch sind, ergibt sich folgendes Modell:

$\forall t:y_{t}=\mathbf {x} _{t}^{T}\mathbf {\beta } +\varepsilon _{t}$ mit

$\operatorname {E} ({\boldsymbol {\varepsilon }})=\mathbf {0}$ und $\operatorname {Cov} ({\boldsymbol {\varepsilon }})=\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{T})=\sigma ^{2}\mathbf {\Psi } =\mathbf {\Phi }$

Allgemeine Varianz-Kovarianz-Matrix bei Heteroskedastizität:

$\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{T})={\begin{pmatrix}\sigma _{1}^{2}&0&\cdots &0\\0&\sigma _{2}^{2}&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&\sigma _{T}^{2}\end{pmatrix}}=\mathbf {\Phi }$

Hierbei wird angenommen, dass $\mathbf {\Psi }$ eine bekannte, reelle, positiv definite und symmetrische Matrix der Dimension $T\times T$ ist.

Falls die spezielle Form der multiplikativen Heteroskedastizität vorliegt, nimmt die allgemeine Varianz-Kovarianz-Matrix folgende Form an:

$\operatorname {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{T})={\begin{pmatrix}\operatorname {exp} (\mathbf {z} _{1}^{T}\mathbf {\alpha } )&0&\cdots &0\\0&\operatorname {exp} (\mathbf {z} _{2}^{T}\mathbf {\alpha } )&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&\operatorname {exp} (\mathbf {z} _{T}^{T}\mathbf {\alpha } )\end{pmatrix}}=\sigma ^{2}\mathbf {\Psi } =\mathbf {\Phi }$

Verallgemeinerte Kleinste-Quadrate-Methode

Um die unbekannten Parameter im linearen Regressionsmodell effizient zu schätzen, kann die GLS-Methode (englisch für Generalized Least Squares) herangezogen werden. Diese Methode kann benutzt werden, falls ein bestimmter Grad an Korrelation zwischen den Residuen vorliegt, oder wenn Heteroskedastizität vorliegt, oder beides. Die GLS-Methode minimiert im Gegensatz zur KQ-Methode eine gewichtete Summe der quadrierten Residuen. Der GLS-Schätzer für den Parametervektor lautet:

${\hat {\boldsymbol {\beta }}}_{\text{GLS}}=(\mathbf {X} ^{T}\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {\Psi } ^{-1}\mathbf {y}$

Der GLS-Schätzer ist ebenfalls BLUE. Weitere Eigenschaften:

Varianz-Kovarianz-Matrix des GLS-Schätzers:

$\operatorname {Cov} ({\hat {\boldsymbol {\beta }}}_{\text{GLS}})=\sigma ^{2}(\mathbf {X} ^{T}\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}$

Der GLS-Schätzer ist erwartungstreu:

$\operatorname {E} ({\hat {\boldsymbol {\beta }}}_{\text{GLS}})=\operatorname {E} ((\mathbf {X} ^{T}\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {\Psi } ^{-1}\mathbf {y} )=\beta +\operatorname {E} ((\mathbf {X} ^{T}\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {\Psi } ^{-1}{\boldsymbol {\varepsilon }})=\mathbf {\beta }$

Im Velgleich des GLS-Schätzers mit dem OLS-Schätzer ergibt sich zwischen den Schätzern folgende Differenz:

$\delta =\operatorname {Cov} ({\hat {\boldsymbol {\beta }}}_{\text{GLS}})-\operatorname {Cov} (\mathbf {b} )=\sigma ^{2}[(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {\Psi } \mathbf {X} (\mathbf {X} ^{T}\mathbf {X} )^{-1}-(\mathbf {X} ^{T}\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}]$

Im Falle einer nicht-skalaren Varianz-Kovarianz-Matrix, wie sie bei der verallgemeinerten Kleinste-Quadrate-Methode zum Einsatz kommt, lässt sich die gemeinsame Dichte aus einer Maximum-Likelihood-Schätzung eines normal-linearen Modells schreiben als:

$f(\mathbf {y} |\mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})=(2\pi \sigma ^{2})^{-{\frac {T}{2}}}|\mathbf {\Psi } |^{-{\frac {1}{2}}}\operatorname {exp} \left\{-{\frac {\left(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right)^{T}\mathbf {\Psi } ^{-1}\left(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right)}{2\sigma ^{2}}}\right\}$

Beispiel

Zur Illustration der multiplen Regression wird im folgenden Beispiel untersucht, wie die abhängige Variable $y$: Bruttowertschöpfung (in Preisen von 95; bereinigt, Mrd. Euro) von den unabhängigen Variablen „Bruttowertschöpfung nach Wirtschaftsbereichen Deutschland (in jeweiligen Preisen; Mrd. EUR)“ abhängt. Die Daten sind im Portal Statistik zu finden. Da man in der Regel die Berechnung eines Regressionsmodells am Computer durchführt, wird in diesem Beispiel exemplarisch dargestellt, wie eine multiple Regression mit der Statistik-Software R durchgeführt werden kann.

Variable	Beschreibung der Variablen
${\text{BWSb95}}$	Bruttowertschöpfung in Preisen von 95 (bereinigt)
${\text{BBLandFF}}$	Bruttowertschöpfung von Land- und Forstwirtschaft, Fischerei
${\text{BBProdG}}$	Bruttowertschöpfung des produzierenden Gewerbes ohne Baugewerbe
${\text{BBBau}}$	Bruttowertschöpfung im Baugewerbe
${\text{BBHandGV}}$	Bruttowertschöpfung von Handel, Gastgewerbe und Verkehr
${\text{BBFinVerm}}$	Bruttowertschöpfung durch Finanzierung, Vermietung und Unternehmensdienstleister
${\text{BBDienstOEP}}$	Bruttowertschöpfung von öffentlichen und privaten Dienstleistern

Zunächst lässt man sich ein Streudiagramm ausgeben. Es zeigt, dass die gesamte Wertschöpfung offensichtlich mit den Wertschöpfungen der wirtschaftlichen Bereiche positiv korreliert ist. Das erkennt man daran, dass die Datenpunkte in der ersten Spalte der Grafik in etwa auf einer Geraden mit einer positiven Steigung liegen. Auffällig ist, dass die Wertschöpfung im Baugewerbe negativ mit den anderen Sektoren korreliert. Dies erkennt man daran, dass in der vierten Spalte die Datenpunkte näherungsweise auf einer Geraden mit einer negativen Steigung liegen.

Streudiagramm der Regressionsvariablen

In einem ersten Schritt gibt man das Modell mit allen Regressoren in R ein:

lm(BWSb95~BBLandFF+BBProdG+BBBau+BBHandGV+BBFinVerm+BBDienstÖP)

Anschließend lässt man sich in R ein Summary des Modells mit allen Regressoren ausgeben, dann erhält man folgende Auflistung:

Residuals:
    Min     1Q      Median  3Q     Max
    −1.5465 −0.8342 −0.1684 0.5747 1.5564

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept) 145.6533 30.1373 4.833 0.000525 ***
BBLandFF      0.4952  2.4182 0.205 0.841493
BBProdG       0.9315  0.1525 6.107 7.67e−05 ***
BBBau         2.1671  0.2961 7.319 1.51e−05 ***
BBHandGV      0.9697  0.3889 2.494 0.029840 *
BBFinVerm     0.1118  0.2186 0.512 0.619045
BBDienstÖP    0.4053  0.1687 2.402 0.035086 *
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.222 on 11 degrees of freedom
Multiple R-Squared: 0.9889, Adjusted R-squared: 0.9828
F-statistic: 162.9 on 6 and 11 DF, p-value: 4.306e−10

Der Test auf Güte des gesamten Regressionsmodells ergibt eine Prüfgröße von $F=162{,}9$. Diese Prüfgröße hat einen p-Wert von $4{,}306\cdot 10^{-10}$, somit ist die Anpassung signifikant gut.

Die Analyse der einzelnen Beiträge der Variablen (Tabelle Coefficients) des Regressionsmodells ergibt bei einem Signifikanzniveau von $\alpha =0,05$, dass die Variablen ${\text{BBLandFF}}$ und ${\text{BBFinVerm}}$ offensichtlich die Variable ${\text{BWSb95}}$ nur unzureichend erklären können. Dies erkennt man daran, dass die zugehörigen $t$-Werte zu diesen beiden Variablen verhältnismäßig klein sind, und somit die Hypothese, dass die Koeffizienten dieser Variablen null sind, nicht verworfen werden kann.

Die Variablen ${\text{BBBau}}$ und ${\text{BBDienstOEP}}$ sind gerade noch signifikant. Besonders stark korreliert ist $y$ (in diesem Beispiel also ${\text{BWSb95}}$) mit den Variablen ${\text{BBProdG}}$ und ${\text{BBBau}}$, was man an den zugehörigen hohen $t$-Werten erkennen kann.

Im nächsten Schritt werden die nicht-signifikanten Regressoren ${\text{BBLandFF}}$ und ${\text{BBFinVerm}}$ aus dem Modell entfernt:

lm(BWSb95~BBProdG+BBBau+BBHandGV+BBDienstÖP)

Anschließend lässt man sich wiederum ein Summary des Modells ausgeben, dann erhält man folgende Auflistung:

Residuals:
     Min      1Q       Median   3Q      Max
     −1.34447 −0.96533 −0.05579 0.82701 1.42914

Coefficients:
             Estimate Std. Error t value Pr(>|t|)
(Intercept) 158.00900 10.87649 14.528 2.05e−09 ***
BBProdG       0.93203  0.14115  6.603 1.71e−05 ***
BBBau         2.03613  0.16513 12.330 1.51e−08 ***
BBHandGV      1.13213  0.13256  8.540 1.09e−06 ***
BBDienstÖP    0.36285  0.09543  3.802 0.0022 **
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.14 on 13 degrees of freedom
Multiple R-Squared: 0.9886, Adjusted R-squared: 0.985
F-statistic: 280.8 on 4 and 13 DF, p-value: 1.783e−12

Dieses Modell liefert eine Prüfgröße von $F=280{,}8$. Diese Prüfgröße hat einen p-Wert von $1{,}783\cdot 10^{-12}$, somit ist die Anpassung besser als im ersten Modell. Dies ist vor allem darauf zurückzuführen, dass in dem jetzigen Modell alle Regressoren signifikant sind.

Regularisierung der Regression

Um ein gewünschtes Verhalten der Regression zu gewährleisten und somit eine Überanpassung an den Trainingsdatensatz zu vermeiden, gibt es die Möglichkeit, den Regressionsterm mit Penalty-Termen zu versehen, die als Nebenbedingungen auftreten.

Zu den bekanntesten Regularisierungen gehören hierbei:

• Die $L_{1}$-Regularisierung (auch LASSO-Regularisierung genannt): Durch $\mathbf {\hat {\beta }} ={\underset {\mathbf {\beta } }{\operatorname {arg\ min} }}(\|\mathbf {y} -\mathbf {X} \mathbf {\beta } \|^{2}+\lambda \|\mathbf {\beta } \|_{1})$ werden bevorzugt einzelne Elemente des Vektors $\mathbf {\hat {\beta }}$ minimiert. Die übrigen Elemente des Vektors können jedoch (betragsmäßig) große Werte annehmen. Dies begünstigt die Bildung dünnbesetzter Matrizen, was effizientere Algorithmen ermöglicht.
• Die $L_{2}$-Regularisierung (auch Ridge-Regularisierung genannt): Durch $\mathbf {\hat {\beta }} ={\underset {\mathbf {\beta } }{\operatorname {arg\min } }}(\|\mathbf {y} -\mathbf {X} \mathbf {\beta } \|^{2}+\lambda \|\mathbf {\beta } \|^{2})$ wird der gesamte Vektor $\mathbf {\hat {\beta }}$ gleichmäßig minimiert, die Matrizen sind jedoch voller.
• Das elastische Netz: Hierbei wird durch den Ausdruck $\mathbf {\hat {\beta }} ={\underset {\mathbf {\beta } }{\operatorname {arg\min } }}(\|\mathbf {y} -\mathbf {X} \mathbf {\beta } \|^{2}+\lambda _{2}\|\mathbf {\beta } \|^{2}+\lambda _{1}\|\mathbf {\beta } \|_{1})$ sowohl die $L_{1}$- als auch die$L_{2}$-Regularisierung durchgeführt.

Generalisierte Lineare Modelle

→ Hauptartikel: Generalisierte Lineare Modelle

Lineare Modelle lassen sich dahingehend erweitern, dass keine feste Designmatrix untersucht wird, sondern auch diese zufallsbehaftet ist. Die Untersuchungsmethoden ändern sich in diesem Fall nicht substantiell, werden aber deutlich komplizierter und damit rechenaufwendiger.

Spezielle Anwendungen der Regressionsanalyse

Spezielle Anwendungen der Regressionsanalyse beziehen sich auch auf die Analyse von diskreten und im Wertebereich eingeschränkten abhängigen Variablen. Hierbei kann unterschieden werden nach Art der abhängigen Variablen und Art der Einschränkung des Wertebereichs. Im Folgenden werden die Regressionsmodelle, die an dieser Stelle angewandt werden können, aufgeführt. Nähere Angaben hierzu finden sich bei Frone (1997) sowie Long (1997).

Modelle für unterschiedliche Arten abhängiger Variablen (Generalisierte Lineare Modelle):

• Binär: Logistische Regression und Probit-Regression
• Ordinal: Ordinale logistische Regression und ordinale Probit-Regression
• Absolut: Poisson-Regression, negative binomiale Regression
• Nominal: Multinomiale logistische Regression

Modelle für unterschiedliche Arten eingeschränkter Wertebereiche:

• Zensiert: Tobit-Modell
• Trunkiert: trunkierte Regression
• Stichproben-selegiert (sample-selected): Stichproben-selegierte Regression

Anwendung in der Ökonometrie

Für quantitative Wirtschaftsanalysen im Rahmen der Regressionsanalyse, beispielsweise der Ökonometrie, sind besonders geeignet:

• Wachstumsfunktionen, wie zum Beispiel das Gesetz des organischen Wachstums oder die Zinseszinsrechnung,
• Abschwingfunktionen, wie zum Beispiel die hyperbolische Verteilungsfunktion oder die Korachsche Preisfunktion,
• Schwanenhalsfunktionen, wie zum Beispiel die im Rahmen der logistischen Regression verwendete logistische Funktion, die Johnson-Funktion oder die Potenzexponentialfunktion,
• degressive Saturationsfunktionen, wie zum Beispiel die Gompertz-Funktion oder die Törnquist-Funktion.

Siehe auch

• Messfehler
• Dummy-Variable
• Faktorenanalyse
• Ausgleichsrechnung
• Diskrete lineare L1-Approximation
• Response (Mathematik)
• Chow-Test
• Wahrscheinlichkeitsmaß
• Hausman-Test
• Statistisches Modell
• Skalenniveau
• Verteilung einer Zufallsvariablen
• Bedingte Verteilung
• Multivariate Verteilung
• Breusch-Pagan-Test
• Multikollinearität
• Autokorrelation
• Statistischer Test
• Liste univariater Wahrscheinlichkeitsverteilungen

Literatur

• Norman R. Draper, Harry Smith: Applied Regression Analysis. Wiley, New York 1998.
• Ludwig Fahrmeir, Thomas Kneib, Stefan Lang: Regression: Modelle, Methoden und Anwendungen. Springer Verlag, Berlin / Heidelberg/ New York 2007, ISBN 978-3-540-33932-8.
• Gerhard Opfer: Numerische Mathematik für Anfänger. 2. Auflage. Vieweg Verlag, 1994.
• Volker Oppitz, Volker Nollau: Taschenbuch Wirtschaftlichkeitsrechnung. Carl Hanser Verlag, 2003, ISBN 3-446-22463-7.
• Volker Oppitz: Gabler Lexikon Wirtschaftlichkeitsrechnung. Gabler-Verlag, 1995, ISBN 3-409-19951-9.
• Peter Schönfeld: Methoden der Ökonometrie. Berlin/Frankfurt 1969.
• Dieter Urban, Jochen Mayerl: Regressionsanalyse: Theorie, Technik und Anwendung. 2. überarb. Auflage. VS Verlag, Wiesbaden 2006, ISBN 3-531-33739-4.
• E. Zeidler (Hrsg.): Taschenbuch der Mathematik. (Bekannt als Bronstein und Semendjajew.) Stuttgart/Leipzig/Wiesbaden 2003.
• K. Backhaus, B. Erichson, W. Plinke, R. Weiber: Multivariate Analysemethoden. Eine anwendungsorientierte Einführung. 12. Auflage. Berlin u. a. 2008.
• W. Zucchini, A. Schlegel, O. Nenadíc, S. Sperlich: Statistik für Bachelor- und Masterstudenten. Springer Verlag, Berlin/ Heidelberg 2009.
• A. Colin Cameron, Pravin K. Trivedi: Microeconometrics. Methods and Applications. Cambridge University Press, 2005, ISBN 0521848059.
• G. Judge, R. Carter Hill: Introduction to the Theory and Practice of Econometrics. 1998.

Weblinks

Wikibooks: Einführung in die Regressionsrechnung – Lern- und Lehrmaterialien

Commons: Lineare Regression – Sammlung von Bildern, Videos und Audiodateien

• Auswerten bivariater Datenerhebungen (Regressionsgerade, Korrelationskoeffizient)
• Beispiele zur Kreisregression und Exponentialregression