Lineare Regression

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die lineare Regression ist ein Spezialfall des allgemeinen Konzepts der Regressionsanalyse, mit der versucht wird, eine abhängige Variable durch eine oder mehrere unabhängige Variablen zu erklären – das Beiwort „linear“ ergibt sich dabei daraus, dass die Regressionskoeffizienten (nicht unbedingt auch die Variablen selbst) in diesem Fall in erster Potenz in das Regressionsmodell eingehen.

Einfache lineare Regression[Bearbeiten | Quelltext bearbeiten]

Das einfache lineare Regressionsmodell geht von zwei metrischen Größen aus: einer Einflussgröße und einer Zielgröße . Zu beiden liegen Messungen vor. Die einfache lineare Regression versucht, statt mit einer beliebigen Anzahl von Parametern , einen linearen Zusammenhang zwischen der Einfluss- und der Zielgröße mithilfe von zwei linearen Parametern und herzustellen (). Allgemein lautet das einfache lineare Regressionsmodell:

Dabei ist ein additiver stochastischer Fehlerterm, der Abweichungen vom idealen Zusammenhang – also der Geraden – achsenparallel misst.

Bildlich gesprochen wird eine Gerade durch die Punktwolke der Messung gelegt. In der gängigen Literatur wird die Gerade oft durch den Achsenabschnitt und die Steigung beschrieben. Die abhängige Variable (in diesem Kontext oft auch endogene Variable genannt) kann dadurch in Abhängigkeit vom Regressor (oft auch exogene Variable genannt) , bei oben genannter Notation, wie folgt dargestellt werden:

In Bezug auf den Fehlerterm werden folgende Annahmen getroffen:

  • Die Fehlerterme sind normalverteilt:
  • Der Erwartungswert der additiven Fehlerterme ist Null:
  • Die Fehlerterme sind unkorreliert
  • und besitzen eine konstante Varianz (Homoskedastizität):

Aus der Normalverteilung der Fehlerterme folgt, dass auch ebenfalls normalverteilt ist . Die Verteilung der hängt also von der Verteilung der Fehlerterme ab. Der Erwartungswert der abhängigen Variablen, gegeben den Daten () lautet: . Die Varianz der abhängigen Variablen lautet:. Damit ergibt sich für die Verteilung der abhängigen bzw. endogenen Variablen . Da aufgrund der Annahme, dass die Fehlerterme im Mittel Null sein müssen, der bedingte Erwartungswert von – dem wahren Modell () entspricht, stellen wir mit der Annahme über die Fehlerterme die Forderung, dass unser Modell im Mittel korrekt sein muss.

Schätzung der Regressionskoeffizienten[Bearbeiten | Quelltext bearbeiten]

Um nun die Parameter der Gerade zu bestimmen, wird die Summe der quadrierten Fehlerterme mittels der Methode der kleinsten Quadrate minimiert.

Die Bedingungen erster Ordnung lauten:

Durch Nullsetzen der partiellen Ableitungen nach und ergeben sich die gesuchten Parameter bei der die Residuenqudratsumme minimal wird:

Dabei ist der Vektor der n-dimensionale Einsvektor. Für einen Vektor ist also die Summe seiner Komponenten.

Beispiel[Bearbeiten | Quelltext bearbeiten]

Hier wird die einfache lineare Regression anhand eines Beispiels dargestellt, wobei die Variablen durch ersetzt werden.

Eine renommierte Sektkellerei möchte einen hochwertigen Rieslingsekt auf den Markt bringen. Für die Festlegung des Abgabepreises soll zunächst eine Preis-Absatz-Funktion ermittelt werden. Dazu wird in Geschäften ein Testverkauf durchgeführt, und man erhält sechs Wertepaare mit dem jeweiligen Ladenpreis einer Flasche (in Euro) sowie der Zahl der jeweils verkauften Flaschen :

Geschäft 1 2 3 4 5 6
Flaschenpreis 20 16 15 16 13 10
verkaufte Menge 0 3 7 4 6 10

Als Streudiagramm von Preis und abgesetzter Menge an Sektflaschen ergibt sich folgende Grafik:

Streudiagramm von Preis und abgesetzter Menge an Sektflaschen

Berechnung der Regressionsgeraden[Bearbeiten | Quelltext bearbeiten]

Man geht von folgendem statistischen Modell aus:

Betrachtet werden zwei Variablen und , die vermutlich ungefähr in einem linearen Zusammenhang

stehen. Auf die Vermutung des linearen Zusammenhangs kommt man, wenn man das obige Streudiagramm betrachtet. Dort erkennt man, dass die eingetragenen Punkte nahezu auf einer Linie liegen. Im Weiteren sind als unabhängige und als abhängige Variable definiert. Es existieren von und je Beobachtungen und , wobei von 1 bis geht. Der funktionale Zusammenhang zwischen und kann nicht exakt festgestellt werden, da von einer Störgröße überlagert wird. Diese Störgröße ist als Zufallsvariable (der Grundgesamtheit) konzipiert, die nichterfassbare Einflüsse (menschliches Verhalten oder Messungenauigkeiten oder ähnliches) darstellt. Es ergibt sich also das Modell

oder genauer

Da und nicht bekannt sind, kann nicht in die Komponenten und zerlegt werden. Des Weiteren soll eine mathematische Schätzung für die Parameter und durch und gefunden werden, damit ergibt sich

mit dem Residuum der Stichprobe. Das Residuum gibt die Differenz zwischen der Regressionsgerade und den Messwerten an. Des Weiteren bezeichnet man mit den Schätzwert für und es gilt

und somit kann man das Residuum schreiben als .

Es gibt verschiedene Möglichkeiten, die Gerade zu schätzen. Man könnte eine Gerade so durch den Punkteschwarm legen, dass die Quadratsumme der Residuen, also der senkrechten Abweichungen der Punkte von dieser Ausgleichsgeraden minimiert wird. Trägt man die wahre unbekannte und die geschätzte Regressionsgerade in einer gemeinsamen Grafik ein, dann ergibt sich folgende Abbildung.

Wahre unbekannte und geschätzte Regressionsgerade

Diese herkömmliche Methode ist die Minimum-Quadrat-Methode oder Methode der kleinsten Quadrate. Man minimiert wie folgt die Residuenquadratsumme:

bezüglich und . Durch partielles Differenzieren und Nullsetzen der Ableitungen erster Ordnung erhält man ein System von Normalengleichungen.

Die gesuchten Regressionskoeffizienten sind die Lösungen

und

mit als arithmetischem Mittel der -Werte und als arithmetischem Mittel der -Werte. stellt die empirische Kovarianz zwischen den und dar. bezeichnet die empirische Varianz der . Man nennt diese Schätzer auch Kleinste-Quadrate-Schätzer (KQ) (englisch: Ordinary Least Squares-Estimator (OLS)).

Für das folgende Zahlenbeispiel ergibt sich und . Somit erhält man die Schätzwerte für und durch einfaches Einsetzen in obige Formeln. Zwischenwerte in diesen Formeln sind in folgender Tabelle dargestellt.

Flaschenpreis verkaufte Menge
1 20 0 5 -5 -25 25 25 0,09
2 16 3 1 -2 -2 1 4 4,02
3 15 7 0 2 0 0 4 5,00
4 16 4 1 -1 -1 1 1 4,02
5 13 6 -2 1 -2 4 1 6,96
6 10 10 -5 5 -25 25 25 9,91
Summe 90 30 0 0 -55 56 60 30,00

Es ergibt sich in dem Beispiel

und .

Die geschätzte Regressionsgerade lautet somit

,

sodass man vermuten kann, dass bei jedem Euro mehr der Absatz im Durchschnitt um ungefähr eine Flasche sinkt.

Erwartungstreue des Kleinste-Quadrate-Schätzers[Bearbeiten | Quelltext bearbeiten]

Für die Regressionsgleichung lässt sich zeigen, dass die Schätzer für und für erwartungstreu sind, das heißt es gilt und . Der Kleinste-Quadrate-Schätzer schätzt also die wahren Werte der Koeffizienten „im Mittel richtig“. Das folgt aus der Linearität des Erwartungswerts und der Voraussetzung . Damit folgt nämlich

und

.

Als Erwartungswert von ergibt sich daher

.

Für den Erwartungswert von erhält man schließlich:

.

Bildliche Darstellung und Interpretation[Bearbeiten | Quelltext bearbeiten]

Regressionsgeraden für [rot] und [blau]

Wie in der statistischen Literatur immer wieder betont wird, ist ein hoher Wert des Korrelationskoeffizienten zweier Zufallsvariablen und allein noch kein hinreichender Beleg für den kausalen (d. h. ursächlichen) Zusammenhang von und , ebenso wenig für dessen mögliche Richtung.

Anders als gemeinhin beschrieben, sollte man es daher bei der linearen Regression zweier Zufallsvariablen und stets mit nicht nur einer, sondern zwei voneinander unabhängigen Regressionsgeraden zu tun haben: der ersten für die vermutete lineare Abhängigkeit , der zweiten für die nicht minder mögliche Abhängigkeit .[1]

Bezeichnet man die Richtung der x-Achse als Horizontale und die der y-Achse als Vertikale, läuft die Berechnung des Regressionskoeffizienten also im ersten Fall auf das üblicherweise bestimmte Minimum der vertikalen quadratischen Abweichungen hinaus, im zweiten Fall dagegen auf das Minimum der horizontalen quadratischen Abweichungen.

Rein äußerlich betrachtet bilden die beiden Regressionsgeraden und eine Schere, deren Schnitt- und Angelpunkt der Schwerpunkt der untersuchten Punktwolke ist – je weiter sich diese Schere öffnet, desto geringer die Korrelation beider Variablen, bis hin zur Orthogonalität beider Regressionsgeraden, zahlenmäßig ausgedrückt durch den Korrelationskoeffizienten 0 bzw. Schnittwinkel 90°.

Umgekehrt nimmt die Korrelation beider Variablen umso mehr zu, je mehr sich die Schere schließt – bei Kollinearität der Richtungsvektoren beider Regressionsgeraden schließlich, also dann, wenn beide bildlich übereinander liegen, nimmt je nach Vorzeichen der Kovarianz den Maximalwert oder an, was bedeutet, dass zwischen und ein streng linearer Zusammenhang besteht und sich (wohlgemerkt nur in diesem einen einzigen Fall) die Berechnung einer zweiten Regressionsgeraden erübrigt.

Wie der nachfolgenden Tabelle zu entnehmen, haben die Gleichungen der beiden Regressionsgeraden große formale Ähnlichkeit, etwa, was ihre Anstiege bzw. angeht, die gleich den jeweiligen Regressionskoeffizienten sind und sich nur durch ihre Nenner unterscheiden: im ersten Fall die Varianz von , im zweiten die von :

Regressionskoeffizientx Korrelationskoeffizient Regressionskoeffizienty
Empirischer Regressionskoeffizientx Empirischer Korrelationskoeffizient Empirischer Regressionskoeffizienty
Regressionsgeradex Bestimmtheitsmaß Regressionsgeradey

Zu erkennen ist außerdem die mathematische Mittelstellung des Korrelationskoeffizienten sowie seines Quadrats, des sogenannten Bestimmtheitsmaßes, gegenüber den beiden Regressionskoeffizienten, dadurch entstehend, dass man anstelle der Varianzen von bzw. deren geometrisches Mittel in den Nenner setzt.

Betrachtet man die Differenzen als Komponenten eines n-dimensionalen Vektors und die Differenzen als Komponenten eines n-dimensionalen Vektors , lässt sich der Korrelationskoeffizient schließlich auch als Kosinus des von beiden Vektoren eingeschlossenen Winkels interpretieren:

Beispiel in Kurzdarstellung[Bearbeiten | Quelltext bearbeiten]

Für das vorangegangene Sektkellerei-Beispiel ergab sich folgende Tabelle:

Flaschenpreis verkaufte Menge
1 20 0 5 -5 -25 25 25 0,09
2 16 3 1 -2 -2 1 4 4,02
3 15 7 0 2 0 0 4 5,00
4 16 4 1 -1 -1 1 1 4,02
5 13 6 -2 1 -2 4 1 6,96
6 10 10 -5 5 -25 25 25 9,91
Summe 90 30 0 0 -55 56 60 30,00

Und daraus folgende Werte:

Koeffizient Allgemeine Formel Wert im Beispiel
Steigung der Regressionsgerade
Achsenabschnitt der Regressionsgerade
Empirische Korrelation
Bestimmtheitsmaß

Die geschätzte Regressiongerade ist mit einem Bestimmtheitsmaß von etwa .

Multiple Regression[Bearbeiten | Quelltext bearbeiten]

Im Folgenden wird ausgehend von der einfachen linearen Regression die multiple Regression eingeführt. Die Response bzw. endogene Variable hängt linear von mehreren fest vorgegebenen erklärenden Variablen ab, somit erhält man die Form:

,

wobei wieder die Störgröße repräsentiert. Es ist also eine Zufallsvariable und daher ist als lineare Transformation von ebenfalls eine Zufallsvariable. Es liegen für die , unseren Daten, Beobachtungen vor, sodass sich folgendes Gleichungssystem ergibt:

Ferner lässt sich das aus Gleichungen bestehende Gleichungssystem nun kompakter Darstellen als

.

gibt somit die Anzahl der zu schätzenden Parameter an. In der einfachen linearen Regression wurde nur der Fall betrachtet, ausgehend davon wird nun die multiple Regression als Verallgemeinerung dessen mit präsentiert. Wie bei der einfachen linearen Regression ist in Anwendungen meist konstant gleich 1, woraus sich ergibt, dass im multiplen Fall die erste Spalten der Datenmatrix, den Einsvektor der Dimension darstellt.

Als stichprobentheoretischer Ansatz wird jedes Stichprobenelement als eine eigene Zufallsvariable interpretiert und ebenso jedes .

Da es sich hier um ein lineares Gleichungssystem handelt, können die Elemente des Systems in Matrix-Schreibweise zusammengefasst werden. Man erhält den Spaltenvektor der abhängigen Variablen und den der Störgröße als Zufallsvektor und den Spaltenvektor der Regressionskoeffizienten :

und .

Die Datenmatrix lautet in ausgeschriebener Form:

, wobei

Aufgrund der unterschiedlichen Schreibweisen für , lässt sich erkennen, dass sich das Modell auch darstellen lässt als:

Repräsentationen:

: sind beobachtete Zufallsvariablen
: sind beobachtbare, nicht zufällige, bekannte Variablen
: sind unbekannte skalare Parameter
: sind unbeobachtbare Zufallsvariablen

Des Weiteren trifft man, wie bereits im Abschnitt zur einfachen linearen Regression erwähnt, die selben Annahmen. Im Fall der multiplen Regression lauten sie:

und

,wobei wir nun statt nur die Varianzen und Kovarianzen der Fehlerterme einzeln zu betrachten, diese beiden in folgender Varianz- Kovarianzmatrix zusammenfassen

Somit gilt für

mit .

Schätzung der Regressionskoeffizienten[Bearbeiten | Quelltext bearbeiten]

Auch im multiplen linearen Regressionsmodell wird die Quadratsumme der Residuen nach der Methode der kleinsten Quadrate minimiert, das heißt, es soll so gewählt werden, dass die euklidische Norm minimal wird. Im Folgenden wird vorausgesetzt, dass den Rang hat. Dann ist invertierbar und man erhält als Lösung dieses Minimierungsproblems den Vektor der geschätzten Regressionskoeffizienten wieder mit den Normalgleichungen als

. mit der Varianz- Kovarianz- Matrix (dargestellt in kompakter Form):

Dieser Schätzer ist nach dem Satz von Gauß-Markow der BLUE (Best Linear Unbiased Estimator), das heißt, er ist derjenige lineare erwartungstreue Schätzer, der unter allen linearen erwartungstreuen Schätzern die kleinste Varianz bzw. Varianz- Kovarianzmatrix hat. Für diese Eigenschaften der Schätzfunktion muss keine Verteilungsinformation der Störgröße vorliegen.

Man erhält mit Hilfe des Kleinste-Quadrat-Schätzers das Gleichungssystem

wobei der Vektor der Residuen und die Schätzung für ist. Das Interesse der Analyse liegt vor allem in der Schätzung oder in der Prognose der abhängigen Variablen für ein gegebenes Tupel von . Diese berechnet sich als

.

Ausgewählte Schätzfunktionen[Bearbeiten | Quelltext bearbeiten]

Die Schätzwerte der berechnen sich als

,

wobei man dies auch kürzer als

mit

schreiben kann. Die Matrix ist die Matrix der Orthogonalprojektion auf den Spaltenraum von und hat maximal den Rang . Sie wird auch Hat-Matrix genannt, weil sie den „Hut“ aufsetzt.

Die Residuen werden ermittelt als

,

wobei mit vergleichbare Eigenschaften hat.

Die Prognose wird ermittelt als

.

Da fest vorgegeben ist, kann man alle diese Variablen als lineare Transformation von und damit von darstellen, und deshalb können auch ihr Erwartungswertvektor und ihre Kovarianzmatrix unproblematisch ermittelt werden.

Die Quadratsumme (von engl. „residual sum of squares“) der Residuen ergibt in Matrix-Notation

.

Dies kann ferner auch geschrieben werden als

.

Die Varianz wird mit Hilfe der Residuen geschätzt, und zwar als mittlere Quadratsumme der Residuen

.

Schätzen und Testen[Bearbeiten | Quelltext bearbeiten]

Für die inferentielle Regression (Schätzen und Testen) wird noch die Information über die Verteilung der Störgröße gefordert. Zusätzlich zu den bereits weiter oben aufgeführten Annahmen hat man hier als weitere Annahme:

4. Die Störgröße ist normalverteilt.

Zusammen mit der 1. Annahme erhält man für die Verteilung des Vektors der Störgrößen:

,

D.h. die Störgrößen sind multivariat normalverteilt, mit dem Erwartungswert und der Varianz- Kovarianz- Matrix wobei den Nullvektor bezeichnet und die Einheitsmatrix der Dimension bezeichnet. Hier sind unkorrelierte Zufallsvariablen auch stochastisch unabhängig. Da die interessierenden Schätzer zum größten Teil lineare Transformationen von sind, sind sie ebenfalls normalverteilt mit den entsprechenden Parametern. Ferner ist die Quadratsumme der Residuen als nichtlineare Transformation χ2-verteilt mit Freiheitsgraden.

Beweisskizze: Sei

,

damit erhält man

,

wobei

und der Satz von Cochran verwendet wurde.
            

Ferner gilt ebenso

.

Güte des Regressionsmodells[Bearbeiten | Quelltext bearbeiten]

Hat man eine Regression ermittelt, ist man auch an der Güte dieser Regression interessiert. Im Fall für alle wird häufig als Maß für die Güte das Bestimmtheitsmaß verwendet. Generell gilt, je näher der Wert des Bestimmtheitsmaßes bei 1 liegt, desto größer ist die Güte der Regression. Ist das Bestimmtheitsmaß klein, kann man seine Signifikanz durch die Hypothese mit der Prüfgröße

testen. ist F-verteilt mit und Freiheitsgraden. Überschreitet die Prüfgröße bei einem Signifikanzniveau den kritischen Wert , das -Quantil der F-Verteilung mit und Freiheitsgraden, wird abgelehnt. ist dann ausreichend groß, trägt also vermutlich genügend viel Information zur Erklärung von bei.

Unter den Voraussetzungen des klassischen linearen Regressionsmodells ist der Test ein Spezialfall der einfaktoriellen ANOVA. Für jeden Beobachtungswert (= jede Gruppe) ist die Störgröße und damit verteilt (mit der wahre Regressionswert in der Grundgesamtheit), d. h. die Voraussetzungen der ANOVA sind erfüllt. Sind alle Koeffizienten gleich Null, so ist dies äquivalent zur Nullhypothese der ANOVA: .

Die Residualanalyse, bei der man die Residuen über den unabhängigen Variablen aufträgt, gibt Aufschluss über

Ein Ziel bei der Residualanalyse ist es, dass man die Voraussetzung der unbeobachteten Residuen überprüft. Hierbei ist es wichtig zu beachten, dass

gilt. ist mit der Formel berechenbar. Im Gegensatz hierzu ist die Störgröße nicht berechenbar oder beobachtbar. Nach den oben getroffenen Annahmen soll für das Modell gelten

,

es liegt somit eine Varianzhomogenität vor. Dieses Phänomen wird auch als Homoskedastie bezeichnet und ist auf die Residuen übertragbar. Dies bedeutet, dass, wenn man die unabhängigen Variablen gegen die Residuen aufträgt, dann keine systematischen Muster erkennbar sein sollten.

In den obigen drei Grafiken wurden die unabhängigen Variablen gegen die Residuen geplottet, und im Beispiel 1 sieht man, dass hier tatsächlich kein erkennbares Muster in den Residuen vorliegt, d. h. die Annahme der Varianzhomogenität erfüllt ist. In den Beispielen 2 und 3 dagegen ist diese Annahme nicht erfüllt: Man erkennt ein Muster. Zur Anwendung der linearen Regression sind daher hier zunächst geeignete Transformationen durchzuführen. So ist im Beispiel 2 ein Muster zu erkennen, das an eine Sinus-Funktion erinnert, womit hier eine Daten-Transformation der Form denkbar wäre, während im Beispiel 3 ein Muster zu erkennen ist, das an eine Parabel erinnert, in diesem Fall also eine Daten-Transformation der Form angebracht sein könnte.

Beitrag der einzelnen Regressoren zur Erklärung der abhängigen Variablen[Bearbeiten | Quelltext bearbeiten]

Man ist daran interessiert, ob man einzelne Parameter oder Regressoren aus dem Regressionsmodell entfernen kann, also ein Regressor nicht (oder nur gering) zur Erklärung von beiträgt. Dies ist dann möglich, falls ein Parameter gleich Null ist, somit testet man die Nullhypothese . Das heißt, man testet, ob der -te Parameter gleich Null ist. Wenn dies der Fall ist, kann der zugehörige -te Regressor aus dem Modell entfernt werden. Der Vektor ist als lineare Transformation von verteilt wie

.

Wenn man die Varianz der Störgröße schätzt, erhält man für die geschätzte Varianz- Kovarianzmatrix

.

Die geschätzte Varianz eines Regressionskoeffizienten steht als k-tes Diagonalelement in der geschätzten Varianz- Kovarianzmatrix. Es ergibt sich die Prüfgröße:

, wobei die Wurzel der geschätzten Varianz des k-ten Parameters dessen geschätzter Standardfehler darstellt.

Die Prüf- bzw. Pivotgröße ist t-verteilt mit Freiheitsgraden. Ist größer als der kritische Wert, dem -Quantil der t-Verteilung mit Freiheitsgraden, wird die Hypothese abgelehnt. Somit wird der Regressor im Modell beibehalten und der Beitrag des Regressors zur Erklärung von ist signifikant groß, d. h. signifikant von Null verschieden.

Prognose[Bearbeiten | Quelltext bearbeiten]

Ermittelt man einen Prognosewert, möchte man möglicherweise wissen, in welchem Intervall sich die prognostizierten Werte mit einer festgelegten Wahrscheinlichkeit bewegen. Man wird also ein Konfidenzintervall für den durchschnittlichen Prognosewert E(Y0) ermitteln. Es ergibt sich als Varianz der Prognose

.

Man erhält dann als (1-α)-Konfidenzintervall für den durchschnittlichen Prognosewert mit geschätzter Varianz

.

Speziell für den Fall der einfachen linearen Regression ergibt sich das Prognose- Konfidenzintervall:

Speziell aus dieser Form des Konfidenzintervalls erkennt man sofort, dass das Konfidenzintervall breiter wird, wenn die exogene Prognosevariable x0 sich vom „Zentrum“ der Daten entfernt. Schätzungen der endogenen Variablen sollten also im Beobachtungsraum der Daten liegen, sonst werden sie sehr unzuverlässig.

Beispiel[Bearbeiten | Quelltext bearbeiten]

Zur Illustration der multiplen Regression wird im folgenden Beispiel untersucht, wie die abhängige Variable Y: Bruttowertschöpfung (in Preisen von 95; bereinigt, Mrd. Euro) von den unabhängigen Variablen „Bruttowertschöpfung nach Wirtschaftsbereichen Deutschland (in jeweiligen Preisen; Mrd. EUR)“ abhängt. Die Daten sind im Portal Statistik zu finden. Da man in der Regel die Berechnung eines Regressionsmodells am Computer durchführt, wird in diesem Beispiel exemplarisch dargestellt, wie eine multiple Regression mit der Statistik-Software R durchgeführt werden kann.

Variable Beschreibung der Variablen
BWSb95 Bruttowertschöpfung in Preisen von 95 (bereinigt)
BBLandFF Bruttowertschöpfung von Land- und Forstwirtschaft, Fischerei
BBProdG Bruttowertschöpfung des produzierenden Gewerbes ohne Baugewerbe
BBBau Bruttowertschöpfung im Baugewerbe
BBHandGV Bruttowertschöpfung von Handel, Gastgewerbe und Verkehr
BBFinVerm Bruttowertschöpfung durch Finanzierung, Vermietung und Unternehmensdienstleister
BBDienstÖP Bruttowertschöpfung von öffentlichen und privaten Dienstleistern

Zunächst lässt man sich ein Streudiagramm ausgeben, in diesem erkennt man, dass die gesamte Wertschöpfung offensichtlich mit den Wertschöpfungen der wirtschaftlichen Bereiche positiv korreliert ist. Dies erkennt man daran, dass die Datenpunkte in der ersten Spalte der Grafik in etwa auf einer Geraden mit einer positiven Steigung liegen. Auffällig ist, dass die Wertschöpfung im Baugewerbe negativ mit den anderen Sektoren korreliert. Dies erkennt man daran, dass in der vierten Spalte die Datenpunkte näherungsweise auf einer Geraden mit einer negativen Steigung liegen.

Streudiagramm der Regressionsvariablen

In einem ersten Schritt gibt man das Modell mit allen Regressoren in R ein:

lm(BWSb95~BBLandFF+BBProdG+BBBau+BBHandGV+BBFinVerm+BBDienstÖP)

Anschließend lässt man sich in R ein Summary des Modells mit allen Regressoren ausgeben, dann erhält man folgende Auflistung:

Residuals:
    Min     1Q      Median  3Q     Max
    -1.5465 -0.8342 -0.1684 0.5747 1.5564

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept) 145.6533 30.1373 4.833 0.000525 ***
BBLandFF      0.4952  2.4182 0.205 0.841493
BBProdG       0.9315  0.1525 6.107 7.67e-05 ***
BBBau         2.1671  0.2961 7.319 1.51e-05 ***
BBHandGV      0.9697  0.3889 2.494 0.029840 *
BBFinVerm     0.1118  0.2186 0.512 0.619045
BBDienstÖP    0.4053  0.1687 2.402 0.035086 *
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.222 on 11 degrees of freedom
Multiple R-Squared: 0.9889, Adjusted R-squared: 0.9828
F-statistic: 162.9 on 6 and 11 DF, p-value: 4.306e-10

Der Test auf Güte des gesamten Regressionsmodells ergibt eine Prüfgröße von F = 162,9. Diese Prüfgröße hat einen p-Wert von , somit ist die Anpassung signifikant gut.

Die Analyse der einzelnen Beiträge der Variablen (Tabelle Coefficients) des Regressionsmodells ergibt bei einem Signifikanzniveau von 0,05, dass die Variablen BBLandFF und BBFinVerm offensichtlich die Variable BWSB95 nur unzureichend erklären können. Dies erkennt man daran, dass die zugehörigen t-Werte zu diesen beiden Variablen verhältnismäßig klein sind, und somit die Hypothese, dass die Koeffizienten dieser Variablen Null sind, nicht verworfen werden kann.

Die Variablen BBHandGV und BBDienstÖP sind gerade noch signifikant. Besonders stark korreliert ist Y (in diesem Beispiel also BWSb95) mit den Variablen BBProdG und BBBau, was man an den zugehörigen hohen t-Werten erkennen kann.

Im nächsten Schritt werden die nicht- signifikanten Regressoren BBLandFF und BBFinVerm aus dem Modell entfernt:

lm(BWSb95~BBProdG+BBBau+BBHandGV+BBDienstÖP)

Anschließend lässt man sich wiederum ein Summary des Modells ausgeben, dann erhält man folgende Auflistung:

Residuals:
     Min      1Q       Median   3Q      Max
     -1.34447 -0.96533 -0.05579 0.82701 1.42914

Coefficients:
             Estimate Std. Error t value Pr(>|t|)
(Intercept) 158.00900 10.87649 14.528 2.05e-09 ***
BBProdG       0.93203  0.14115  6.603 1.71e-05 ***
BBBau         2.03613  0.16513 12.330 1.51e-08 ***
BBHandGV      1.13213  0.13256  8.540 1.09e-06 ***
BBDienstÖP    0.36285  0.09543  3.802 0.0022 **
---
Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.14 on 13 degrees of freedom
Multiple R-Squared: 0.9886, Adjusted R-squared: 0.985
F-statistic: 280.8 on 4 and 13 DF, p-value: 1.783e-12

Dieses Modell liefert eine Prüfgröße von F = 280,8. Diese Prüfgröße hat einen p-Wert von , somit ist die Anpassung besser als im ersten Modell. Dies ist vor allem darauf zurückzuführen, dass in dem jetzigen Modell alle Regressoren signifikant sind.

Regularisierung der Regression[Bearbeiten | Quelltext bearbeiten]

Um ein gewünschtes Verhalten der Regression zu gewährleisten und somit eine Überanpassung an den Trainingsdatensatz zu vermeiden, gibt es die Möglichkeit, den Regressionsterm mit Penalty-Termen zu versehen, die als Nebenbedingungen auftreten.

Zu den bekanntesten Regularisierungen gehören hierbei:[2][3]

  • Die L1-Regularisierung (auch LASSO-Regularisierung genannt): Durch werden bevorzugt einzelne Elemente des Vektors minimiert. Die übrigen Elemente des Vektors können jedoch (betragsmäßig) große Werte annehmen. Dies begünstigt die Bildung dünnbesetzter Matrizen, was effizientere Algorithmen ermöglicht.
  • Die L2-Regularisierung (auch Ridge-Regularisierung genannt): Durch wird der gesamte Vektor gleichmäßig minimiert, die Matrizen sind jedoch voller.
  • Das Elastische Netz: Hierbei wird durch den Ausdruck sowohl die L1- als auch die L2-Regularisierung durchgeführt.

Spezielle Anwendungen der Regressionsanalyse[Bearbeiten | Quelltext bearbeiten]

Spezielle Anwendungen der Regressionsanalyse beziehen sich auch auf die Analyse von diskreten und im Wertebereich eingeschränkten abhängigen Variablen. Hierbei kann unterschieden werden nach Art der abhängigen Variablen und Art der Einschränkung des Wertebereichs. Im Folgenden werden die Regressionsmodelle, die an dieser Stelle angewandt werden können, aufgeführt. Nähere Angaben hierzu finden sich bei Frone (1997)[4] sowie Long (1997).[5]

Modelle für unterschiedliche Arten abhängiger Variablen (Generalisierte Lineare Modelle):

Modelle für unterschiedliche Arten eingeschränkter Wertebereiche:

Anwendung in der Ökonometrie[Bearbeiten | Quelltext bearbeiten]

Für quantitative Wirtschaftsanalysen im Rahmen der Regressionsanalyse, beispielsweise der Ökonometrie, sind besonders geeignet:

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Walter Gellert, Herbert Küstner, Manfred Hellwich, Herbert Kästner (Hrsg.): Kleine Enzyklopädie Mathematik. Leipzig 1970, S. 669–670.
  2. Andrew Y. Ng: Feature selection, L1 vs. L2 regularization, and rotational invariance. In: Proceedings of 2004 International Conference on Machine Learning (ICML). (PDF).
  3. Hui Zou, Trevor Hastie: Regularization and Variable Selection via the Elastic Net. (PDF).
  4. M. R. Frone: Regression models for discrete and limited dependent variables. Research Methods Forum No. 2, 1997 online.
  5. J. S. Long: Regression models for categorical and limited dependent variables. Sage, Thousand Oaks, CA 1997.

Siehe auch[Bearbeiten | Quelltext bearbeiten]

Literatur[Bearbeiten | Quelltext bearbeiten]

  • Norman R. Draper, Harry Smith: Applied Regression Analysis. Wiley, New York 1998.
  • Ludwig Fahrmeir, Thomas Kneib, Stefan Lang: Regression: Modelle, Methoden und Anwendungen. Springer Verlag, Berlin/ Heidelberg/ New York 2007, ISBN 978-3-540-33932-8.
  • Gerhard Opfer: Numerische Mathematik für Anfänger. 2. Auflage. Vieweg Verlag, 1994.
  • Volker Oppitz, Volker Nollau: Taschenbuch Wirtschaftlichkeitsrechnung. Carl Hanser Verlag, 2003, ISBN 3-446-22463-7.
  • Volker Oppitz: Gabler Lexikon Wirtschaftlichkeitsrechnung. Gabler-Verlag, 1995, ISBN 3-409-19951-9.
  • Peter Schönfeld: Methoden der Ökonometrie. Berlin/ Frankfurt 1969.
  • Dieter Urban, Jochen Mayerl: Regressionsanalyse: Theorie, Technik und Anwendung. 2. überarb. Auflage. VS Verlag, Wiesbaden 2006, ISBN 3-531-33739-4.
  • E. Zeidler (Hrsg.): Taschenbuch der Mathematik. (Bekannt als Bronstein und Semendjajew.) Stuttgart/ Leipzig/ Wiesbaden 2003.
  • K. Backhaus, B. Erichson, W. Plinke, R. Weiber: Multivariate Analysemethoden. Eine anwendungsorientierte Einführung. 12. Auflage. Berlin u. a. 2008.
  • W. Zucchini, A. Schlegel, O. Nenadíc, S. Sperlich: "Statistik für Bachelor- und Masterstudenten". Springer Verlag, Berlin/ Heidelberg 2009

Weblinks[Bearbeiten | Quelltext bearbeiten]

 Wikibooks: Einführung in die Regressionsrechnung – Lern- und Lehrmaterialien
 Commons: Lineare Regression – Sammlung von Bildern, Videos und Audiodateien