Diese Seite befindet sich derzeit im Review-Prozess

Bestimmtheitsmaß

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche
Dieses Streudiagramm zeigt zwei Regressionsgraden einer linearen Einfachregression, die jeweils optimal durch die „Punktwolke“ der Messung gelegt wurden. Zu erkennen ist, dass obige Gerade eine bessere Anpassung an die Daten liefert als die untere. Formal lässt sich dies anhand eines höheren -Wertes erkennen ( vs. ).

Das Bestimmtheitsmaß, auch Determinationskoeffizient (von lateinisch determinatio „Abgrenzung, Bestimmung“, bzw. determinare „eingrenzen“, „festlegen“, „bestimmen“ und coefficere „mitwirken“), ist in der Statistik eine wichtige Kennzahl zur formalen Beurteilung der Anpassungsgüte einer Regression. Das Bestimmtheitsmaß beruht auf der Streuungszerlegung, bei der die gesamte Variation der abhängigen Variablen in die (durch das Regressionsmodell) erklärte Variation und in die Variation der Residuen zerlegt wird.

In der einfachen- und multiplen linearen Regression ist das Bestimmtheitsmaß definiert als Verhältnis der „durch die Regression erklärten Variation“ zur „gesamten zu erklärenden Variation“ und zeigt, wie viel Variation in den Daten durch ein vorliegendes lineares Regressionsmodell „erklärt“ werden kann. Das Bestimmtheitsmaß entspricht bei der einfachen linearen Regression und der multiplen linearen Regression dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten. Ansonsten existieren unterschiedliche Definitionen, wie zum Beispiel bei den Pseudo-Bestimmtheitsmaßen.

Weil das Bestimmtheitsmaß durch die Aufnahme zusätzlicher Variablen wächst und die Gefahr der Überanpassung besteht, wird für praktische Anwendungen meist das adjustierte Bestimmtheitsmaß verwendet. Das adjustierte Bestimmtheitsmaß „bestraft“ im Gegensatz zum unadjustierten Bestimmtheitsmaß die Aufnahme jeder neu hinzugenommenen erklärenden Variable. Obwohl das Bestimmtheitsmaß die am häufigsten benutzte Kennzahl ist, um die Anpassungsgüte einer Regression zu quantifizieren, wird es oft fehlinterpretiert und falsch angewendet, auch da bei einer Regression durch den Ursprung zahlreiche alternative Definitionen des Bestimmtheitsmaßes nicht äquivalent sind.

Das Bestimmtheitsmaß steht in enger Beziehung zu weiteren Gütemaßen zur Prüfung der Regressionsfunktion, wie z. B zum Standardfehler und zur F-Statistik.

Einführung in die Problemstellung[Bearbeiten | Quelltext bearbeiten]

Regressiongerade als Schätzer (Modellfunktion) für den Zusammenhang von Größe und Gewicht der Probanden. ist das geschätzte Gewicht des Probanden bei einer gegebenen Größe . Der Restfehler (das Residuum) stellt die Differenz zwischen dem Messwert und Schätzwert dar.

Gegeben sind Messungen , d. h. bei dem -ten Wertepaar wird einem Wert (z. B. Größe einer Person) ein Messwert (z. B. das gemessene Gewicht der Person) zugeordnet. Dazu berechnet man den empirischen Mittelwert (z. B. das mittlere Gewicht der Probanden). Ferner gibt es einen Schätzer (Modellfunktion), der jedem Wert (z. B. Größe) einen Schätzwert (vorhergesagtes Gewicht für eine Person mit Größe ) zuordnet. Die Abweichung einer Schätzung von der zugehörigen Messung ist durch gegeben und wird „Residuum“ genannt. Bei der einfachen linearen Regression wird der Schätzer anschaulich durch die Regressionsgerade beschrieben und mathematisch durch definiert.[A 1]

Das Bestimmtheitsmaß zeigt, wie gut die durch die Schätzung gefundene Modellfunktion zu den Daten passt, d. h. wie gut sich die empirische Regressionsgerade einer angenommenen wahren Gerade annähert. Wenn das zugrundeliegende Modell den Parameter für einen von Null verschiedenen Niveauparameter enthält, entspricht der empirische Mittelwert der Schätzwerte dem der beobachteten Messwerte , also (für einen Beweis siehe Abschnitt Matrix-Schreibweise).

Ein Maß zur Beurteilung der Anpassungsgüte sollte die Streuung der Messwerte und die der geschätzten Werte berücksichtigen. Die Streuung der Werte um ihren Mittelwert kann mithilfe der „Variation“ bzw. „Quadratsumme“ (englisch sum of squares kurz SS) gemessen werden, die die -fache empirische Varianz ist. Die Streuung der Schätzwerte um ihren Mittelwert ist durch gegeben und die Streuung der Messwerte um ihren Mittelwert durch . Erstere stellt die „durch die Regression erklärte Variation“ (explained sum of squares kurz ESS) und letztere stellt die „Gesamtvariation“ (total sum of squares, kurz TSS) dar. Der Quotient dieser beiden Größen ist das Bestimmtheitsmaß. Die durch die Regression „nicht erklärte Variation“ bzw. die „Variation der Residuen“ (residual sum of squares, kurz RSS) ist durch gegeben.[A 2]

Das Bestimmtheitsmaß[Bearbeiten | Quelltext bearbeiten]

Definition[Bearbeiten | Quelltext bearbeiten]

Das Bestimmtheitsmaß der Regression,[A 3] notiert als , ist eine dimensionslose Maßzahl die den Anteil der Variabilität in den Messwerten der abhängigen Variablen ausdrückt, der durch das lineare Modell „erklärt“ wird.[1][2] Gegeben die Streuungszerlegung ist das Bestimmtheitsmaß der Regression definiert als das Verhältnis der „durch die Regression erklärten Variation“ zur „Gesamtvariation“:[3][A 4]

,

wobei angenommen wird, dass für die Gesamtvariation gilt. Dies ist praktisch immer erfüllt, außer für den Fall, dass die Messwerte der abhängigen Variable keinerlei Variabilität aufweisen, d. h. . In diesem Falle ist das Bestimmtheitsmaß nicht definiert. Die zweite Gleichheit, die sich mithilfe der Streuungszerlegung zeigen lässt, ist eine alternative Berechnungsformel für das Bestimmtheitsmaß.[4]

In der einfachen linearen Regression und der multiplen linearen Regression entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten (siehe auch Abschnitt Als quadrierter Korrelationskoeffizient). Dieser Umstand ist dafür verantwortlich, dass das Bestimmtheitsmaß als (lies: R Quadrat) oder notiert wird. In deutschsprachiger Literatur findet sich auch der Buchstabe als Bezeichnung für das Bestimmtheitsmaß. In den Anfängen der Statistik wurde mit dem Buchstaben ein Schätzer des Populationskorrelationskoeffizienten notiert und in der Regressionsanalyse wird diese Notation noch heute verwendet.[4]

Eigenschaften[Bearbeiten | Quelltext bearbeiten]

Wertebereich des Bestimmtheitsmaßes[Bearbeiten | Quelltext bearbeiten]

Das Bestimmtheitsmaß dient als Maßzahl zur Beurteilung der Anpassungsgüte eines Regressionsmodells. Mit dieser Gleichung können die Extremwerte für das Bestimmtheitsmaß aufgezeigt werden. Für das Bestimmtheitsmaß gilt, dass es umso näher am Wert ist, je kleiner die Residuenquadratsumme ist. Es wird maximal gleich , wenn ist, also alle Residuen null sind. In diesem Fall ist die Anpassung an die Daten perfekt, was bedeutet, dass für jede Beobachtung ist und alle Beobachtungspunkte des Streudiagramms auf der Regressionsgeraden liegen. Das Bestimmtheitsmaß nimmt hingegen den Wert an, wenn beziehungsweise ist. Diese Gleichung besagt, dass die „nicht erklärte Variation“ der „gesamten zu erklärenden Variation“ entspricht und die erklärenden Variablen somit keinen Beitrag zur Erklärung der Gesamtvariation leisten. Die gesamte zu erklärende Variation wird in diesem Fall durch die Residuen hervorgerufen und die Regressionsgleichung „erklärt“ gar nicht.[5] Aus der Betrachtung dieser beiden Fälle folgt . Wenn das Regressionsmodell keinen Niveauparameter enthält, kann das Bestimmtheitsmaß negativ werden (siehe Abschnitt Einfache lineare Regression durch den Ursprung).[6] Ebenfalls kann das Bestimmtheitsmaß negativ werden, wenn es auf simultane Gleichungsmodelle angewendet wird, da in diesem Kontext nicht notwendigerweise gleich ist.[7]

Als quadrierter Korrelationskoeffizient[Bearbeiten | Quelltext bearbeiten]

Bei einer einfachen linearen Regression (nur eine unabhängige Variable) entspricht das Bestimmtheitsmaß dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten und lässt sich aus der empirischen Kovarianz und den empirischen Varianzen und berechnen:[3]

,

wobei der Kleinste-Quadrate-Schätzer für den Steigungsparameter der Quotient aus Kovariation von und und Variation von ist. In der einfachen linearen Regression ist , wenn ist, d. h. die erklärende Variable steht zur Schätzung von nicht zur Verfügung. Dies folgt aus der Tatsache, dass in der einfachen linearen Regression gilt. In diesem Fall besteht das „beste“ lineare Regressionsmodell nur aus dem Niveauparameter . Das so definierte Bestimmtheitsmaß ist ebenfalls gleich null, wenn der Korrelationskoeffizient gleich null ist, da es in der einfachen linearen Regression dem quadrierten Korrelationskoeffizienten zwischen und entspricht. Im Kontext der einfachen linearen Regression wird das Bestimmtheitsmaß auch als einfaches Bestimmtheitsmaß bezeichnet.

In der Realität hängen abhängige Variablen im Allgemeinen von mehr als einer erklärenden Variablen ab. Zum Beispiel ist das Gewicht eines Probanden nicht nur von dessen Alter, sondern auch von dessen sportlicher Betätigung und psychologischen Faktoren abhängig. Bei einer multiplen Abhängigkeit gibt man die Annahme der einfachen linearen Regression auf, bei der die abhängige Variable nur von einer erklärenden Variablen abhängt. Um eine multiple Abhängigkeit zu modellieren, betrachten wir als Ausgangslage ein typisches multiples lineares Regressionsmodell

.

Hierbei ist die Anzahl der zu schätzenden unbekannten Parameter und die Anzahl der erklärenden Variablen. Zusätzlich zur Dimension der unabhängigen Variablen wird auch eine zeitliche Dimension integriert, wodurch sich ein lineares Gleichungssystem ergibt, was sich mit Matritzen schreiben lässt.

Im Gegensatz zur einfachen linearen Regression entspricht in der multiplen linearen Regression das dem Quadrat des Korrelationskoeffizienten zwischen den Messwerten und den Schätzwerten (für einen Beweis, siehe Matrix-Schreibweise), also[8][7]

.

Im Kontext der multiplen linearen Regression wird das Bestimmtheitsmaß auch als multiples Bestimmtheitsmaß bezeichnet. Aufgrund des oben aufgezeigten Zusammenhangs kann das multiple als eine Maßzahl für die Anpassungsgüte der geschätzten Regressionshyperebene an die Realisationen der Zufallsvariablen angesehen werden. Es ist also ein Maß der linearen Assoziation zwischen und .[7]

Genestetes Modell[Bearbeiten | Quelltext bearbeiten]

Sei der der Vektor der erklärenden Variablen. Ferner wird angenommen, dass in zwei Teilvektoren und partitioniert wird, d. h. . Sei weiterhin das volle Modell und das Teilmodell . Dann gilt , d. h. für genestete Modelle ist das des Teilmodells immer kleiner oder gleich dem des vollen Modells.[8]

Interpretation[Bearbeiten | Quelltext bearbeiten]

Streudiagramm der Residuen ohne Struktur, das liefert
Streudiagramm der Residuen, das ein nahe bei liefert

Das Bestimmtheitsmaß lässt sich mit multiplizieren, um es in Prozent anzugeben: ist dann der prozentuale Anteil der Variation in , der durch das lineare Modell „erklärt“ wird, und liegt daher zwischen:[4]

  • (oder ): kein linearer Zusammenhang und
  • (oder ): perfekter linearer Zusammenhang.

Je näher das Bestimmtheitsmaß am Wert Eins liegt, desto höher ist die „Bestimmtheit“ bzw. „Güte“ der Anpassung. Bei ist der lineare Schätzer im Regressionsmodell völlig unbrauchbar für die Vorhersage des Zusammenhangs zwischen und (z. B. kann man das tatsächliche Gewicht der Person überhaupt nicht mit dem Schätzer vorhersagen). Ist , dann lässt sich die abhängige Variable vollständig durch das lineare Regressionsmodell erklären. Anschaulich liegen dann die Messpunkte alle auf der nichthorizontalen Regressionsgeraden. Somit liegt bei diesem Fall kein stochastischer Zusammenhang vor, sondern ein deterministischer.

Durch die Aufnahme zusätzlicher erklärender Variablen kann das Bestimmtheitsmaß nicht sinken. Das Bestimmtheitsmaß hat die Eigenschaft, dass es i.d.R. durch die Hinzunahme weiterer erklärender Variablen steigt (), was scheinbar die Modellgüte steigert und zum Problem der Überanpassung führen kann. Auch wenn dem Modell irrelevante „erklärende Variablen“ hinzugefügt werden, können diese zu Erklärung der Gesamtvariation beitragen und den -Wert künstlich steigern. Da die Hinzunahme jeder weiteren erklärenden Variablen mit einem Verlust eines Freiheitsgrads verbunden ist, führt dies zu einer ungenaueren Schätzung. Wenn man Modelle mit einer unterschiedlichen Anzahl erklärender Variablen und gleichen unabhängigen Variablen vergleichen will ist die Aussagekraft des Bestimmtheitsmaßes begrenzt.[9] Um solche Modelle vergleichen zu können, wird ein „adjustiertes“ Bestimmtheitsmaß verwendet, welches zusätzlich die Freiheitsgrade berücksichtigt (siehe auch Abschnitt Das adjustierte Bestimmtheitsmaß).

Aus dem Bestimmtheitsmaß kann man im Allgemeinen nicht schließen, ob das angenommene Regressionsmodell dem tatsächlichen funktionalen Zusammenhang in den Messpunkten entspricht (siehe auch Abschnitt zu Grenzen und Kritik). Der Vergleich des Bestimmtheitsmaßes über Modelle hinweg ist nur sinnvoll, wenn eine gemeinsame abhängige Variable vorliegt und wenn die Modelle die gleiche Anzahl von Regressionsparameter und einen Niveauparameter aufweisen.[10] Da mit dem Bestimmtheitsmaß auch indirekt der Zusammenhang zwischen der abhängigen und den unabhängigen Variablen gemessen wird, ist es ein proportionales Fehlerreduktionsmaß.[11][12]

In den Sozialwissenschaften sind niedrige -Werte in Regressionsgleichungen nicht ungewöhnlich.[13] Bei Querschnittsanalysen treten häufig niedrige -Werte auf. Dennoch bedeutet ein kleines nicht notwendigerweise, dass die Kleinste-Quadrate-Regressionsgleichung unnütz ist. Es ist immer noch möglich, dass die Regressionsgleichung ein guter Schätzer für den ceteris paribus-Zusammenhang zwischen und ist. Ob die Regressionsgleichung ein guter Schätzer für den Zusammenhang von und ist hängt nicht direkt von der Größe des ab.[14]

Konstruktion[Bearbeiten | Quelltext bearbeiten]

Hauptartikel: Variation und Kovariation
Diese Graphik zeigt die Zerlegung von in die abgebildeten Komponenten. Ebenfalls zu sehen ist, dass die Regressionsgerade durch das „Gravitationszentrum“ der Daten verläuft (siehe auch, algebraische Eigenschaften der Kleinste-Quadrate-Schätzer).

Ausgangspunkt für die Konstruktion des Bestimmtheitsmaßes ist die Streuungszerlegung auch Quadratsummenzerlegung genannt. In Bezug auf lässt sich darstellen als[15]

oder äquivalent

,

wobei die Abweichung von vom Mittelwert und die unerklärte Residualkomponente darstellt. Die Gleichheit gilt auch dann noch, wenn man die Elemente quadriert und über alle Beobachtungen summiert. Die Variation von (die Gesamtvariation) lässt sich in die Variation der Residuen (durch das Modell nicht erklärte Variation) und die Variation der Schätzwerte (durch das Modell „erklärte“ Variation) zerlegen. Die Streuungszerlegung ergibt somit

oder äquivalent dazu
.

Diese Zerlegung folgt in zwei Schritten:

Im zweiten Schritt wurde die Eigenschaft benutzt, dass gewöhnliche Residuen vorliegen, die mit den geschätzten Werten unkorreliert sind, d. h. . Dies kann so interpretiert werden, dass in der Schätzung alle relevante Information der erklärenden Variablen bezüglich der abhängigen Variablen steckt.[16] Zudem wurde die Eigenschaft verwendet, dass − wenn das Modell den Niveauparameter enthält − die Summe und damit der empirische Mittelwert der Residuen Null ist.[17] Dies folgt aus den verwendeten Schätzverfahren (Maximum-Likelihood-Schätzung mit normalverteilten Störtermen oder Kleinste-Quadrate-Schätzung), denn dort müssen die ersten Ableitungen der Variation der Residuen nach gleich Null gesetzt werden um das Maximum bzw. Minimum zu finden, also für : bzw. für mit (siehe Algebraische Eigenschaften). Werden die Regressionsparameter mittels der Methode der kleinsten Quadrate geschätzt, dann wird der Wert für automatisch maximiert, da die Methode der kleinste Quadrate die Variation der Residuen minimiert. Aus der Streuungszerlegungsformel wird ersichtlich, dass man das Bestimmtheitsmaß auch als

darstellen kann. Wenn die obige Streuungszerlegungsformel durch den Stichprobenumfang beziehungsweise durch die Anzahl der Freiheitsgrade dividiert wird, erhält man die Varianzzerlegungsformel: . Die Varianzzerlegung stellt eine additive Zerlegung der Varianz der abhängigen Variablen in die Varianz der Schätzwerte (erklärte Varianz) und die nicht erklärte Varianz (auch Residualvarianz genannt) dar.[5] Hierbei entspricht die Residualvarianz dem Maximum-Likelihood-Schätzer für die Varianz der Störterme . Aufgrund der Varianzzerlegung lässt sich das Bestimmtheitsmaß wie folgt interpretieren: Das gibt an, wie viel Varianzaufklärung alle erklärenden Variablen an der Varianz der abhängigen Variablen leisten.

Einfache lineare Regression durch den Ursprung[Bearbeiten | Quelltext bearbeiten]

Die blaue Regressionsgerade verläuft durch den Ursprung und die violette nicht, da ein Ausreißer sie nach oben verschiebt.

Im Fall der einfachen linearen Regression durch den Ursprung (es gibt keinen Niveauparameter und daher verläuft die Regressionsgleichung durch den Koordinatenursprung) lautet die empirische Regressionsgerade , wobei die Notation benutzt wird um von der allgemeinen Problemstellung der Schätzung eines Steigungsparameters mit Hinzunahme eines Niveauparameters zu unterscheiden. Auch in einer einfachen linearen Regression durch den Ursprung lässt sich die Kleinste-Quadrate-Schätzung anwenden. Sie liefert für den Steigungsparameter . Dieser Schätzer für den Niveauparameter entspricht dem Schätzer für den Niveauparameter , dann und nur dann wenn . Wenn für den wahren Niveauparameter gilt, ist ein verzerrter Schätzer für den wahren Steigungsparameter .

Wenn in eine Regressionsgleichung kein Niveauparameter hinzugenommen wird, nimmt der aus der obigen Streuungszerlegungsformel entnommene Ausdruck nicht den Wert Null an. Daher ist die oben angegebene Streuungszerlegungsformel in diesem Fall nicht gültig. Wenn das Modell der Regression durch den Ursprung eine hinreichend schlechte Anpassung an die Daten liefert (d.h. die Daten variieren mehr um die Regressionslinie als um ), was in resultiert und man die allgemeine Definition des Bestimmtheitsmaßes anwendet, dann führt dies zu einem negativen . Nach dieser Definition kann

also negativ werden. Ein negatives Bestimmtheitsmaß bedeutet dann, dass eine bessere Anpassung an die Daten liefert als wenn man die zur Schätzung benutzen würde.[18] Um ein negatives Bestimmtheitsmaß zu vermeiden wird eine modifizierte Form der Streuungszerlegung

angegeben. Diese modifizierte Form wird auch unkorrigierte Streuungszerlegung genannt, da nicht um den empirischen Mittelwert „korrigiert“ wird. Wenn man statt dem alten im Nenner dieses modifizierte benutzt, ist das Bestimmtheitsmaß gegeben durch

.

Dieses Bestimmtheitsmaß ist strikt nicht-negativ. Bei einer Regression durch den Ursprung wird daher die modifizierte Form der Streuungszerlegungsformel verwendet.

Rechenbeispiel[Bearbeiten | Quelltext bearbeiten]

Streudiagramm der Längen und Breiten zehn zufällig ausgewählter Kriegsschiffe.

Folgendes Beispiel soll die Berechnung des Bestimmtheitsmaßes zeigen. Es wurden zufällig Kriegsschiffe ausgewählt und bezüglich ihrer Länge und Breite (in Metern) analysiert. Es soll untersucht werden, ob die Breite eines Kriegsschiffs möglicherweise in einem festen Bezug zur Länge steht.

Das Streudiagramm lässt einen linearen Zusammenhang zwischen Länge und Breite eines Schiffs vermuten. Eine mittels der Kleinste-Quadrate-Schätzung durchgeführte einfache lineare Regression ergibt für den Niveauparameter und den Steigungsparameter (für die Berechnung der Regressionsparameter siehe Beispiel mit einer Ausgleichsgeraden). Die geschätzte Regressionsgerade lautet somit

.

Die Gleichung stellt die geschätzte Breite als Funktion der Länge dar. Die Funktion zeigt, dass die Breite der ausgewählten Kriegsschiffe grob einem Sechstel ihrer Länge entspricht.

Beobachtung Länge (m) Breite (m)
1 208 21,6 3,19 10,1761 24,8916 −3,2916 10,8347
2 152 15,5 −2,91 8,4681 15,8625 −0,3625 0,1314
3 113 10,4 −8,01 64,1601 9,5744 0,8256 0,6817
4 227 31,0 12,59 158,5081 27,9550 3,045 9,2720
5 137 13,0 −5,41 29,2681 13,4440 −0,4440 0,1971
6 238 32,4 13,99 195,7201 29,7286 2,6714 7,1362
7 178 19,0 0,59 0,3481 20,0546 −1,0546 1,1122
8 104 10,4 −8,01 64,1601 8,1233 2,2767 5,1835
9 191 19,0 0,59 0,3481 22,1506 −3,1506 9,9265
10 130 11,8 −6,61 43,6921 12,3154 −0,5154 0,2656
Σ 1678 184,1 574,8490 0,0000 44,7405
Σ/n 167,8 18,41 57,48490 0,0000 4,47405

Aus der Tabelle lässt sich erkennen, dass der Mittelwert der Breite beträgt, die Variation der Messwerte beträgt und die Variation der Residuen beträgt. Daher ergibt sich das Bestimmtheitsmaß zu

,

d. h. circa der Variation der Breite der ausgewählten Kriegsschiffe kann mit Hilfe der Länge der ausgewählten Kriegsschiffe „erklärt“ werden. Das Komplement des Bestimmtheitsmaßes wird auch Koeffizient der Nichtdetermination (auch Unbestimmtheitsmaß oder Alienationskoeffizient (von lateinisch alienus „fremd“, „unbekannt“)) genannt. Der Koeffizient der Nichtdetermination sagt im vorliegenden Beispiel aus, dass knapp der Variation der Breite „unerklärt“ bleiben. Hier könnte man z. B. nach weiteren Faktoren suchen, welche die Breite eines Kriegsschiffes beeinflussen und sie in die Regressionsgleichung mit aufnehmen.

Vergleich mit dem Standardfehler der Residuen[Bearbeiten | Quelltext bearbeiten]

Die „Qualität“ der Regression kann auch mithilfe des geschätzten Standardfehlers der Residuen (engl. residual standard error) beurteilt werden, der zum Standardoutput der meisten statistischen Programmpakete gehört. Der geschätzte Standardfehler der Residuen gibt an, mit welcher Sicherheit die Residuen den wahren Störtermen näherkommen. Die Residuen sind somit eine Approximation der Störterme. Der geschätzte Standardfehler der Residuen ist mit dem und dem adjustierten vergleichbar und ähnlich zu interpretieren. Der geschätzte Standardfehler der Residuen, der sich aus der obigen Tabelle berechnen lässt, ergibt einen Wert von:

.

Es ist jedoch zu beachten, dass eine verzerrte Schätzung der wahren Fehlervarianz ist, da der verwendete Varianzschätzer nicht erwartungstreu ist. Wenn man berücksichtigt, dass man durch die Schätzung der beiden Regressionsparameter und zwei Freiheitsgrade verliert und somit statt durch den Stichprobenumfang durch die Anzahl der Freiheitsgrade dividiert, erhält man die unverzerrte Darstellung:

.

Die Darstellung ist unverzerrt, da sie durch Einbezug der Freiheitsgrade der Varianzschätzer, wegen , unter den Gauss-Markov-Annahmen erwartungstreu ist (siehe auch Schätzer für die Fehlervarianz).[19] Die unverzerrte Darstellung wird im Regressionsoutput statistischer Software oft auch als standard error of the regression (kurz: SER) bezeichnet. Das Bestimmtheitsmaß wird häufiger angegeben als der Standardfehler der Residuen, obwohl der Standardfehler der Residuen bei der Bewertung Anpassungsgüte möglicherweise aussagekräftiger ist.[20]

Missverständnisse, Grenzen und Kritik[Bearbeiten | Quelltext bearbeiten]

Missverständnisse[Bearbeiten | Quelltext bearbeiten]

Beispiele für Daten mit einem hohen (pink) und einem niedrigen (blau) Bestimmtheitsmaß bei einem zugrunde gelegten linearen Modell
  • Übliche Missverständnisse sind:
    • Bei einem hohen für einen Schätzer könne man folgern, dass der tatsächliche Zusammenhang linear sei. Die pinken Daten in der Grafik wurden mit einer nichtlinearen Funktion generiert:[A 5]
Durch die Betragsfunktion im Term nimmt die Funktion an der Stelle ihr Maximum an. Für höhere Werte von fällt die Funktion dann streng monoton mit der Steigung . Damit wäre der tatsächliche Zusammenhang in den Daten auch bei dem hohem nach Konstruktion natürlich nicht linear. Dennoch legt das hohe nahe, dass es sich um einen linearen Zusammenhang handelt.
  • Ein hohes gebe an, dass die geschätzte Regressionslinie überall eine gute Approximation an die Daten darstellt; die pinken Daten legen auch hier etwas anderes nahe.
  • Ein nahe bei Null zeige an, dass es keinen Zusammenhang zwischen der abhängigen und den unabhängigen Variablen gebe. Die blauen Daten in der Grafik wurden mit der folgenden quadratischen Funktion generiert und besitzen daher einen deterministischen funktionalen Zusammenhang, der allerdings nicht linear ist[A 6]
.
Obwohl gleich Null ist, lässt sich nicht daraus schließen, dass es keinen Zusammenhang zwischen der abhängigen und den unabhängigen Variablen für die konstruierten Datenpunkte gibt. Eine Regressionsanalyse für nichtlineare Fälle verallgemeinert die lineare Regression auf andere Klassen von Funktionen und mehrdimensionale Definitionsbereiche von .
  • Wählt man aus den dem Daten mit quadratischem Zusammenhang (Parabel ) nur die Datenpunkte mit positivem -Werten aus, kann auch das sehr hoch sein und bei einem nach Konstruktion der Daten gegebenen quadratischem Zusammenhang durch in den Messdaten dennoch eine lineare Modellannahme suggerieren (z. B. wenn man nur die Daten aus der Parabel wählt, in der die Funktion positive Steigung besitzt).

Grenzen und Kritik[Bearbeiten | Quelltext bearbeiten]

  • Das Bestimmtheitsmaß zeigt zwar die „Qualität“ der linearen Approximation, jedoch nicht, ob das Modell richtig spezifiziert wurde. Zum Beispiel kann ein nichtlinearer Zusammenhang bei einer der unabhängigen Variablen vorliegen. In einem solchen Fall kann die unabhängigen Variablen unentdeckte Erklärungskraft enthalten, auch dann wenn das Bestimmtheitsmaß einen Wert nahe bei Null aufweist.[5] Modelle, die mittels der Kleinste-Quadrate-Schätzung geschätzt wurden, werden daher die höchsten -Werte aufweisen.
  • (Korrelation/Kausaler Zusammenhang) Das Bestimmtheitsmaß sagt nichts darüber aus, ob die unabhängige Variable der Grund (die kausale Ursache) für die Änderungen in sind. Zum Beispiel kann das Bestimmtheitsmaß zwischen der Anzahl der Störche und der Anzahl der neugeborenen Kinder in untersuchten Gebieten hoch sein. Ein direkter kausaler Zusammenhang zwischen Störchen und Neugeborenen ist jedoch biologisch ausgeschlossen (siehe Scheinkorrelation).[21]
  • Das Bestimmtheitsmaß sagt nichts über die statistische Signifikanz des ermittelten Zusammenhangs und der einzelnen Regressoren aus. Um diesen zu ermitteln muss die Stichprobengröße bekannt sein und ein Signifikanztest durchgeführt werden.
  • Das Bestimmtheitsmaß macht keine Aussage über Multikollinearität zwischen den unabhängigen Variablen . Multikollinearität kann z. B. mithilfe des Varianzinflationsfaktors identifiziert werden (siehe auch Abschnitt Interpretation der Varianz der Regressionsparameter)
  • Es zeigt nicht an, ob eine Verzerrung durch ausgelassene Variablen (engl. omitted variable bias) vorliegt
  • Es macht keine Aussage, ob eine Transformation der Daten die Erklärungskraft der Regression verbessert.
  • Ein Nachteil des Bestimmtheitsmaßes ist die Empfindlichkeit gegenüber Trends: Wenn sich eine exogene Variable parallel zu einer erklärenden entwickelt, werden unabhängig von der wahren Erklärungskraft des Modells hohe ausgewiesen.
  • Zusammenfassend ist ein hohes kein Beweis für ein „gutes“ Modell und ein niedriges bedeutet nicht, dass es sich um ein „schlechtes“ Modell handelt. Dies wird anhand des Anscombe-Beispiels (1973) deutlich. Anscombe zeigte auf der Basis von vier verschiedenen Datensätzen, dass ein in allen vier Fällen relativ hohes von nichts darüber aussagt, ob der wahre Zusammenhang zwischen zwei Variablen richtig erfasst worden ist.[22]

Geschichte[Bearbeiten | Quelltext bearbeiten]

Francis Galton
Karl Pearson

Die Grundlage des Bestimmtheitsmaßes stellt die Regressionsanalyse und der Korrelationskoeffizient dar. Der britische Naturforscher Sir Francis Galton (1822–1911) begründete in den 1870er-Jahren die Regressionsanalyse. Er war – wie auch sein Cousin Charles Darwin – ein Enkel von Erasmus Darwin. Galton war durch seine starke Leidenschaft Daten jeglicher Art zu sammeln bekannt. Beispielsweise sammelte er Daten der Samen von Platterbsen. Beim Vergleich der Durchmesser der Samen konstruierte er das, was heute allgemein als Korrelationsdiagramm bekannt ist. Den bei dieser Tätigkeit von ihm entdeckte Zusammenhang taufte er zunächst „Reversion“ (Umkehrung); später entschied er sich jedoch für die Bezeichnung „Regression“. Bei der Analyse der Samen entdeckte das Phänomen der Regression zur Mitte, nach dem nach einem extrem ausgefallenen Messwert die nachfolgende Messung wieder näher am Durchschnitt liegt: Der Mediandurchmesser der Nachkommen der größeren Samen war kleiner als der Mediandurchmesser der Samen der Eltern (vice versa). In seine Korrelationsdiagramme zeichnete er eine Trendlinie ein, für die als Steigung den Korrelationskoeffizienten verwendete.[23]

Die Bezeichnung „Varianz“ wurde vom Statistiker Ronald Fisher (1890–1962) in seinem 1918 veröffentlichtem Aufsatz mit dem Titel Die Korrelation zwischen Verwandten in der Annahme der Mendelschen Vererbung (Originaltitel: The Correlation between Relatives on the Supposition of Mendelian Inheritance) eingeführt. Fisher war einer der bedeutendsten Statistiker des 20. Jahrhunderts und ist für seine Beiträge zur Evolutionstheorie berühmt. Ebenso ist er für die Entdeckung der Streuungszerlegung (engl. analysis of variance) bekannt, die die Grundlage für das Bestimmtheitsmaß darstellt. Die –eng in Verbindung mit dem Bestimmtheitsmaß stehende– F -Statistik ist ebenfalls nach ihm benannt. Karl Pearson (1857–1936), der Begründer der Biometrie, lieferte schließlich eine formal-mathematische Begründung für den Korrelationskoeffizienten, dessen Quadrat dem Bestimmtheitsmaß entspricht.[24]

Das Bestimmtheitsmaß wurde in den folgenden Jahren stark kritisiert. Dies geschah auch da es die Eigenschaft hat, dass es umso größer wird, je größer die Zahl der unabhängigen Variablen ist. Dies ist unabhängig davon, ob die zusätzlichen unabhängige Variablen einen Beitrag zur Erklärungskraft liefern. Um diesen Umstand Rechnung zu tragen, schlug der Ökonometriker Henri Theil 1970 das adjustierte Bestimmtheitsmaß (auch bereinigtes, korrigiertes oder angepasstes Bestimmtheitsmaß genannt) vor. Dies berücksichtigt, dass die Hinzunahme jeder weiteren erklärenden Variablen mit einem Verlust eines Freiheitsgrads verbunden ist, wurde jedoch von Rinne (2004) in der Hinsicht kritisiert, dass das Auswahlkriterium den Verlust an Freiheitsgraden mit wachsender Anzahl an erklärenden Variablen nicht ausreichend bestraft.

Das adjustierte Bestimmtheitsmaß[Bearbeiten | Quelltext bearbeiten]

Definition[Bearbeiten | Quelltext bearbeiten]

Das Bestimmtheitsmaß hat die Eigenschaft, dass es umso größer wird, je größer die Zahl der unabhängigen Variablen ist. Dies ist unabhängig davon, ob die zusätzlichen unabhängige Variablen einen Beitrag zur Erklärungskraft liefern. Daher ist es ratsam, das adjustierte Bestimmtheitsmaß (auch bereinigtes, korrigiertes oder angepasstes Bestimmtheitsmaß genannt) zu Rate zu ziehen. Das adjustierte Bestimmtheitsmaß wird mit (lies: R Quer Quadrat) oder bzw. notiert und berechnet sich wie folgt:[25]

.

Alternativ lässt es sich algebraisch äquivalent darstellen als

.

Hierbei wird die Erklärungskraft des Modells, repräsentiert durch , ausbalanciert mit der Komplexität des Modells, repräsentiert durch , die Anzahl der Parameter. Je komplexer das Modell ist, desto mehr „bestraft“ jede neu hinzugenommene unabhängige Variable. Das adjustierte Bestimmtheitsmaß steigt nur, wenn ausreichend steigt, um den gegenläufigen Effekt des Quotienten auszugleichen und kann auch sinken (). Auf diese Weise lässt sich als Entscheidungskriterium bei der Auswahl zwischen zwei alternativen Modellspezifikationen (etwa einem restringierten und einem unrestringierten Modell) verwenden. Das adjustierte Bestimmtheitsmaß kann negative Werte annehmen und ist kleiner als das unbereinigte, außer falls und damit auch ist. Als Ergebnis daraus folgt .

In der Praxis ist es nicht zu empfehlen das adjustierte Bestimmtheitsmaß zu verwenden, da die „Bestrafung“ für neu hinzugefügte erklärende Variablen zu klein erscheint. Man kann zeigen, dass das schon steigt, wenn eine erklärende Variable mit einem t-Wert größer als Eins in das Modell inkludiert wird.[26] Aus diesem Grund wurden weitere Kriterien (sogenannte Informationskriterien) wie z. B. das Akaike-Informationskriterium zur Modellauswahl entwickelt, die ebenfalls der Idee von Ockhams Rasiermesser folgen, dass ein Modell nicht unnötig komplex sein soll.

Konstruktion[Bearbeiten | Quelltext bearbeiten]

Aus der allgemeinen Definition von folgt, dass

.

Wir wissen jedoch, dass und verzerrte Schätzer für die wahre Varianz der Störterme und die der Messwerte sind. Aus dieser Tatsache wird deutlich, dass das eigentlich das Populationsbestimmtheitsmaß [A 7] (lies: rho Quadrat) schätzen sollte. Dies ist gegeben durch

und ist der Anteil der Variation in in der Population, der durch die erklärenden Variablen „erklärt“ wird.[27]

Setzt man bei oben und unten die unverzerrten Schätzer

und

ein, d. h. teilt man die jeweiligen Quadratsummen durch ihre Freiheitsgrade, so erhält man das adjustierte Bestimmtheitsmaß:[27]

.

Durch algebraische Umformungen erhält man schließlich

.

Das adjustierte Bestimmtheitsmaß entspricht also dem um die unverzerrten Komponenten adjustiertem Bestimmtheitsmaß . Oft wird das adjustierte Bestimmtheitsmaß auch korrigiertes Bestimmtheitsmaß genannt. Dies ist keine gute Bezeichnung, da sie impliziert dass in einer Weise „besser“ ist als , um das Populationsbestimmtheitsmaß zu schätzen. Dies ist aber nicht der Fall, da das Verhältnis zweier unverzerrter Schätzer kein unverzerrter Schätzer ist.[28] Auch die Bezeichnung „adjustiertes R-Quadrat“ kann irreführend sein, da wie in obiger Formel nicht als das Quadrat irgendeiner Quantität berechnet wird.[29]

Matrix-Schreibweise[Bearbeiten | Quelltext bearbeiten]

Das Bestimmtheitsmaß[Bearbeiten | Quelltext bearbeiten]

In der multiplen linearen Regression, mit dem multiplen linearen Modell in Matrix-Schreibweise (siehe auch, Das Modell), ergibt sich das Bestimmtheitsmaß durch die adjustierte (um den Mittelwert bereinigte) Streuungszerlegung

,

wobei ein Vektor mit den Elementen ist und definiert ist durch . Das Bestimmtheitsmaß ist dann gegeben durch:[30]

Häufig findet sich auch die algebraisch äquivalente Darstellung[31]

,

wobei[7]

den Kleinste-Quadrate-Schätzvektor darstellt. Die Berechnung des lässt sich in folgender ANOVA-Tabelle zusammenfassen:[32]

Ausdruck Freiheitsgrade Mittlere Quadratsumme
Regression
Residual
Gesamt
Bestimmtheitsmaß

Falls das lineare Modell den Niveauparameter enthält, dann entspricht der empirische Mittelwert der Schätzwerte dem der beobachteten Messwerte, wegen[2]

,

wobei die, aus Einsen bestehende, erste Spalte der Designmatrix darstellt. Es wurde die Eigenschaft benutzt, dass die Residuen und die erklärenden Variablen unkorreliert sind (siehe auch, algebraische Eigenschaften der Kleinste-Quadrate-Schätzer).

Um zu zeigen, dass das multiple dem Korrelationskoeffizienten zwischen und ergibt, wird eine spezielle idempotente und symmetrische -Matrix verwendet,[33] die den Vektor mit den Elementen in den Vektor Abweichungen

mit Elementen transformiert. Die linksseitige Multiplikation mit zentriert also den Vektor . Die Stichprobenvarianz der Messwerte lässt mittels der Matrix auch darstellen als

.

Analog dazu lässt sich die Stichprobenvarianz der Schätzwerte schreiben als , wobei sich zeigen lässt, dass für die jeweiligen Varianzen folgender Zusammenhang gilt: . Mithilfe dieses Zusammenhangs kann man zeigen, dass das multiple Bestimmtheitsmaß dem Quadrat des Korrelationskoeffizienten zwischen und entspricht:[34]


Die Notation für die Matrix rührt daher, dass die residuenerzeugende Matrix

für den Fall, dass

der Matrix entspricht.

Das adjustierte Bestimmtheitsmaß[Bearbeiten | Quelltext bearbeiten]

Man kann zeigen, dass die Veränderung des Bestimmtheitsmaßes, wenn eine zusätzliche Variable der Regression hinzugefügt wird[35]

.

beträgt. Folglich kann das Bestimmtheitsmaß durch die Aufnahme zusätzlicher erklärender Variablen nicht sinken. Hierbei stellt das Bestimmtheitsmaß in der Regression von auf und einer zusätzlichen Variable dar. ist das Bestimmtheitsmaß für die Regression von auf alleine und ist die partielle Korrelation zwischen und , wenn man für kontrolliert. Wenn man immer weitere Variablen in das Model hinzufügt, wird der -Wert weiter ansteigen, bis hin zur oberen Grenze . Daher sollte das adjustierte Bestimmtheitsmaß ist herangezogen werden, das die Aufnahme jeder neu hinzugenommenen erklärenden Variable „bestraft“.

In Matrix-Schreibweise ist das adjustierte Bestimmtheitsmaß gegeben durch den Quotient aus der „mittleren Residuenquadratsumme“ und der „mittleren Gesamtquadratsumme“

,

wobei

und

die unverzerrten Schätzer für die Varianzen von und darstellen.[7]

Bestimmtheitsmaß bei Heteroskedastizität[Bearbeiten | Quelltext bearbeiten]

Wenn die Anpassung durch die verallgemeinerte Kleinste-Quadrate-Schätzung erfolgt, können alternative Versionen des entsprechend dieses statistischen Rahmenwerkes berechnet werden, während das „einfache“ immer noch nützlich sein kann, da es einfacher zu interpretieren ist. Das Bestimmtheitsmaß bei Heteroskedastizität ist im Allgemeinen gegeben durch

,

wobei die „gewichtete Residuenquadratsumme“ (weighted residual sum of squares, kurz WRSS) und die „gewichtete Gesamte Abweichungsquadratsumme“ (weighted total sum of squares, kurz WTSS) darstellt.[36] Im multiplen linearen Modell mit allgemeiner Fehlerstruktur, also bei Vorliegen einer nicht-konstanten Fehlerkovarianzmatrix , ist gegeben durch:[37]

,

wobei[38]

den verallgemeinerten Kleinste-Quadrate-Schätzer darstellt.

Interpretation der Varianz der Regressionsparameter[Bearbeiten | Quelltext bearbeiten]

Die Kovarianzmatrix des Kleinste-Quadrate-Schätzvektors ist gegeben durch .[A 8] Die Diagonalelemente dieser Kovarianzmatrix stellen die Varianzen der jeweiligen Regressionsparameter dar. Es kann gezeigt werden, dass sich die Varianzen auch darstellen lassen als

,

wobei das Bestimmtheitsmaß der Regression zwischen (hier als abhängige Variable) und den verbleibenden Spalten der Designmatrix als erklärende Variablen ist. Je größer die lineare Abhängigkeit einer erklärenden Variablen mit anderen erklärenden Variablen ist (gemessen durch ), desto größer ist die Varianz. Im Extremfall geht die Varianz gegen Unendlich.[39]

Diese Varianzformel liefert mithilfe der Varianzinflationsfaktors

ebenfalls ein Diagnosewerkzeug, um den Grad der Kollinearität zu messen. Der Varianzinflationsfaktor quantifiziert einen Anstieg der Varianz von aufgrund der linearen Abhängigkeit von mit den restlichen erklärenden Variablen. Je größer die Korrelation zwischen und den anderen erklärenden Variablen ist, desto größer ist und damit der Varianzinflationsfaktor.[40]

Mithilfe des Standardfehlers der Residuen, lassen sich Konfidenzintervalle konstruieren. Ersetzt man bei der Standardabweichung von das unbekannte durch das bekannte ergibt sich der Standardfehler für jedes durch[41]

.

F-Test der Gesamtsignifikanz der Regression[Bearbeiten | Quelltext bearbeiten]

Hauptartikel: Multiples Testen

Beim F-Test der Gesamtsignifikanz der Regression (auch Overall-F-Test genannt) wird geprüft, ob mindestens eine Variable einen Erklärungsgehalt für das Modell liefert. Falls diese Hypothese verworfen wird, ist das Modell nutzlos. Dieser Test lässt sich so interpretieren, als würde man die gesamte Güte der Regression, also das Populationsbestimmtheitsmaß der Regression, testen. Aus diesem Grund wird der F-Test der Gesamtsignifikanz der Regression auch als Anpassungsgüte-Test bezeichnet. Die Nullhypothese des F-Test der Gesamtsignifikanz der Regression sagt aus, dass alle erklärenden Variablen keinen Einfluss auf die abhängige Variable haben. Sowohl die abhängige Variable, als auch die unabhängigen Variablen können binär (kategorial) oder metrisch sein. Der Wald-Test kann dann die Hypothesen testen (ohne Einbezug des Niveauparameters):

  gegen  .

Die Teststatistik dieses Tests lautet[42]

.

Die Teststatistik ist unter der Nullhypothese F-verteilt mit und Freiheitsgraden.[A 9] Überschreitet der empirische F-Wert bei einem a priori festgelegten Signifikanzniveau den kritischen F-Wert (das -Quantil der F-Verteilung mit und Freiheitsgraden) so verwirft man die Nullhypothese. Das ist dann ausreichend groß und mindestens ein Regressor trägt vermutlich genügend Information zur Erklärung von bei. Es ist naheliegend, bei hohen F-Werten die Nullhypothese zu verwerfen, da ein hohes Bestimmtheitsmaß zu einem hohen F-Wert führt. Wenn der Wald-Test für eine oder mehrere unabhängige Variablen die Nullhypothese ablehnt, dann kann man davon ausgehen, dass die zugehörigen Regressionsparameter ungleich Null sind, so dass die Variablen in das Modell mit einbezogen werden sollten.

Es kann gezeigt werden, dass unter der obigen Nullhypothese sich für das Bestimmtheitsmaß im Mittel

ergibt. Daraus folgt, dass wenn , dann ist , d. h. die bloße Größe des R-Quadrat-Wertes ist bei kleinen Stichprobengrößen ein schlechter Indikator für die Anpassungsgüte.

Zusammenhang zwischen adjustiertem Bestimmtheitsmaß, F-Test und t-Test[Bearbeiten | Quelltext bearbeiten]

Direkt aus der obigen Definition von folgt

.

Wenn man diesen Ausdruck nun nach auflöst ergibt sich . Analog dazu gilt für das adjustierte Bestimmtheitsmaß des Nullhypothesenmodells, welches nur erklärende Variablen besitzt .

Bei einsetzen der beiden Größen in den F-Wert

.

ergibt sich durch algebraische Umformungen

.

Als Folge daraus ist der F-Wert genau dann größer als , wenn

.

Durch Umstellen erhält man

.

Diese Ungleichung ist genau dann erfüllt, wenn . Anders ausgedrückt übersteigt das adjustierte Bestimmtheitsmaß des unrestringiertes Modells das adjustierte Bestimmtheitsmaß des restringierten Modells genau dann wenn der F-Wert des F-Tests größer als ist. Der t-Test stellt einen Spezialfall des F-Tests dar. Er ergibt sich im Fall einer Restriktion . Für die Teststatistik eines solchen Tests gilt . Die obige Ungleichung ist für einen t-Test ebenso erfüllt, genau dann wenn .[43]

R-Quadrat-Schreibweise der F-Statistik[Bearbeiten | Quelltext bearbeiten]

Beim Testen von Restriktionen ist es oft von Vorteil eine Darstellung der F-Statistik zu haben, bei der die Bestimmtheitsmaße des restringierten Modells und des unrestringierten Modells miteinbezogen werden. Ein Vorteil dieser Darstellung ist, dass das die Residuenquadratsumme sehr groß und deren Berechnung damit umständlich sein kann. Das Bestimmtheitsmaß dagegen liegt immer zwischen und . Die R-Quadrat-Schreibweise der F-Statistik ist gegeben durch

,

wobei der Umstand genutzt wurde, dass

und .

Da das Bestimmtheitsmaß im Gegensatz zu Residuenquadratsumme in jedem Regressionsoutput ausgegeben wird, kann man leicht die Bestimmtheitsmaße des restringierten Modells und des unrestringierten Modells benutzen, um auf Variablenexklusion zu testen.[44]

Verallgemeinerung mittels Zielfunktion[Bearbeiten | Quelltext bearbeiten]

Ein weiterer Ansatz stellt die Verallgemeinerung des Bestimmtheitsmaßes mittels einer anderen Zielfunktionen als die Residuenquadratsumme dar. Sei die Zielfunktion, die es zu maximieren gilt, stellt den Wert in einem reinen Niveauparametermodell dar, bezeichnet den Wert im angepassten Modell, und bezeichnet den größtmöglichen Wert von . Der maximale potentielle Zuwachs in der Zielfunktion, der durch die Hinzunahme von erklärenden Variablen resultiert ist . Im Gegensatz dazu stellt der gegenwärtige Zuwachs dar. Die Verallgemeinerung des Bestimmtheitsmaßes mittels Zielfunktionen ergibt sich dann durch

.

Hier bei bedeutet das Subskript „relativer Zuwachs“. Bei der Kleinste-Quadrate-Schätzung ist die maximierte Verlustfunktion . Dann ist , und , und somit gilt für das bei der Kleinste-Quadrate-Schätzung .[45]

Pseudo-Bestimmtheitsmaß[Bearbeiten | Quelltext bearbeiten]

Hauptartikel: Pseudo-Bestimmtheitsmaß

Im Falle einer linearen Regression mit einer abhängigen metrischen Variablen wird die Varianz dieser Variablen benutzt um die Güte des Regressionsmodells zu beschreiben. Bei einem nominalen oder ordinalen Skalenniveau von existiert jedoch kein Äquivalent, da man die Varianz und damit ein nicht berechnen kann. Für diese wurden verschiedene Pseudo-Bestimmtheitsmaße vorgeschlagen, beispielsweise log-Likelihood basierte Maße, wie z. B. das McFadden

(für eine Erläuterung der Notation siehe Log-Likelihood basierte Maße).

Prognose-Bestimmtheitsmaß[Bearbeiten | Quelltext bearbeiten]

Hauptartikel: PRESS-Statistik

Während das Bestimmtheitsmaß, das adjustierte Bestimmtheitsmaß oder auch die Pseudo-Bestimmtheitsmaße eine Aussage über die Modellgüte machen, zielt das Prognose-Bestimmtheitsmaß auf die Vorhersagequalität des Modells. Im Allgemeinen wird das Prognose-Bestimmtheitsmaß kleiner als das Bestimmtheitsmaß sein.

Zunächst wird der PRESS-Wert (engl.: Predicted Residual Error Sum of Squares) berechnet[46]

.

Hierbei ist der beobachtete Wert und der Wert, der sich als Schätzung von ergibt, wenn alle Beobachtungen außer der -ten in das Regressionsmodell einfließen. Zur Berechnung des PRESS-Wertes müssten daher lineare Regressionsmodelle mit jeweils Beobachtungen berechnet werden.

Es lässt sich jedoch zeigen, dass das Residuum aus den gewöhnlichen Residuen (bei Benutzung aller Beobachtungen) berechnet werden kann.

Das Prognose-Bestimmtheitsmaß ergibt sich dann als

.

Bestimmtheitsmaß in R[Bearbeiten | Quelltext bearbeiten]

Als einfaches Beispiel zur Berechnung des Bestimmtheitsmaßes in R wird zunächst der Korrelationskoeffizient zweier Datenreihen berechnet:

# Groesse wird als numerischer Vektor
# durch den Zuweisungsoperator "<-" definiert:
Groesse <- c(176, 166, 172, 184, 179, 170, 176)

# Gewicht wird als numerischer Vektor definiert:
Gewicht <- c(65, 55, 67, 82, 75, 65, 75)

# Berechnung des Bravais-Pearson-Korrelationskoeffizient mit der Funktion "cor":
cor(Gewicht, Groesse, method = "pearson")

Anschließend wird, um das Bestimmtheitsmaß zu erhalten, der Bravais-Pearson-Korrelationskoeffizient quadriert:

# Das Bestimmtheitsmaß ist bei einer erklärenden Variablen das Quadrat des Korrelationskoeffizienten "cor":
cor(Gewicht, Groesse, method = "pearson")^2

# Bei Ausführung ergibt sich ein R-Quadrat-Wert von 0,864
Grafikausgabe des Beispiels

Mithilfe der Statistiksoftware R kann eine einfache lineare Regression durchgeführt werden. Dies kann in R durch die Funktion lm ausgeführt werden, wobei die abhängige Variable von den unabhängigen Variablen durch die Tilde getrennt wird. Die Funktion summary gibt die Koeffizienten der Regression und weitere Statistiken, wie z. B. das adjustierte Bestimmtheitsmaß, hierzu aus:

# Lineare Regression mit Gewicht als Zielvariable
# Ergebnis wird als reg gespeichert:
reg <- lm(Gewicht ~ Groesse)

# Ausgabe der Ergebnisse der obigen linearen Regression:
summary(reg)

Siehe auch[Bearbeiten | Quelltext bearbeiten]

Weblinks[Bearbeiten | Quelltext bearbeiten]

 Wikibooks: Einführung in die Regressionsrechnung – Lern- und Lehrmaterialien
 Commons: Bestimmtheitsmaß – Sammlung von Bildern, Videos und Audiodateien

Literatur[Bearbeiten | Quelltext bearbeiten]

  • George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee: Introduction to the Theory and Practice of Econometrics. 1988.
  • Ludwig Fahrmeir, Thomas Kneib, Stefan Lang: Regression: Modelle, Methoden und Anwendungen. 2. Auflage. Springer Verlag, 2009, ISBN 978-3-642-01836-7.
  • Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education 2015
  • J. Neter, M. H. Kutner, C.J. Nachtsheim, W. Wasserman: Applied linear statistical models 4. Auflage, McGraw-Hill 1996.
  • M.-W. Stoetzer: Regressionsanalyse in der empirischen Wirtschafts- und Sozialforschung – Eine nichtmathematische Einführung mit SPSS und Stata. Berlin 2017, ISBN 978-3-662-53823-4.
  • William H. Greene: Econometric Analysis. 5. Auflage, Prentice Hall International, 2002, ISBN 0-13-110849-2 englischsprachiges Standardlehrbuch

Anmerkungen[Bearbeiten | Quelltext bearbeiten]

  1. Die durch die Kleinste-Quadrate-Schätzung gewonnenen Schätzer und werden oft auch als und notiert.
  2. Es gibt in der Literatur keinen Konsens hinsichtlich der Abkürzungen , und . Die „gesamte Abweichungsquadratsumme“ (total sum of squares) wird oft statt auch als abgekürzt. Unglücklicherweise wird die „durch die Regression erklärte Variation“ (explained sum of squares), hier abgekürzt als , manchmal als „Variation der Regression“ (regression sum of squares) bezeichnet und damit als abgekürzt. Wenn dieser Ausdruck jedoch mit seiner natürlichen Abkürzung abgekürzt wird, kann er leicht mit der „Residuenquadratsumme“ (residual sum of squares) verwechselt werden, die ebenfalls mit abgekürzt wird. Manche statistischen Programmpakete bezeichnen die „erklärte Variation“ (explained sum of squares) auch als „Modellvariation“ (model sum of squares). Die Abkürzungsproblematik wird dadurch verschärft, dass die „Residuenquadratsumme“ oft auch als „Fehlerquadratsumme“ (error sum of squares) bezeichnet wird. Diese Bezeichnung ist falsch, da Störterme und Residuen nicht dasselbe sind.
  3. Der Begriff Bestimmtheitsmaß ist eine Komposition aus den beiden Grundbegriffen der philosophischen Logik: Bestimmtheit und Maß. Der Begriff der (inneren) Bestimmtheit bezeichnet in der philosophischen Logik die „Qualität“ bzw. „Güte“ eines Dings und das Maß eine „qualitative Quantität“ (siehe Grundbegriffe der Logik).
  4. Zur Vereinfachung werden im Artikel bei allgemeinen Definitionen die Summationsgrenzen weggelassen.
  5. Bestimmung der Funktion auf Grundlage der verwendeten Abbildung, Engelbert Niehaus (2017) - Koeffizienten und Typ der Abbildung wurden aus dem Diagramm abgelesen, um Abbildung und Funktionsterm konsistent zu halten. Bestimmung der Koeffizienten von dem Funktionsterm erfolgte, um die nebenstehende Abbildung nicht verändern zu müssen.
  6. Bestimmung der quadratischen Funktion auf Grundlage der verwendeten Abbildung, Engelbert Niehaus (2017) - Koeffizienten und Typ der Abbildung wurden aus dem Diagramm abgelesen, um Abbildung und Funktionsterm konsistent zu halten. Bestimmung der Koeffizienten von dem Funktionsterm erfolgte, um die nebenstehende Abbildung nicht verändern zu müssen.
  7. Für Populationsgrößen werden konventionell griechische Buchstaben und für Stichprobengrößen lateinische Buchstaben verwendet.
  8. Die wahre Kovarianzmatrix kann in Anwendungen nicht berechnet werden, da die Fehlervarianz unbekannt ist.
  9. Mit ist die Verteilung der Teststatistik unter der Nullhypothese gemeint.

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. Christoph Egert: Lineare statistische Modellierung und Interpretation in der Praxis. (2013), Kapitel Regression, S. 10 (abgerufen über De Gruyter Online).
  2. a b George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. 1988, S. 212.
  3. a b Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, und Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2016, ISBN 978-3-662-50371-3, S. 151.
  4. a b c Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education 2015, S. 40.
  5. a b c Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 113.
  6. Ludwig von Auer: Ökonometrie. Eine Einführung. Springer, ISBN 978-3-642-40209-8, 6. durchges. u. aktualisierte Aufl. 2013, S. 69.
  7. a b c d e George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. 1988, S. 213.
  8. a b Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 115.
  9. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 147.
  10. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 114.
  11. Yule, G. U. (1897), On the theory of correlation, Journal of the Royal Statistical Society, 62, S. 249–295.
  12. Karl Pearson, Alice Lee, und G. U. Yule: On the Distribution of Frequency (Variation and Correlation) of the Barometric Height at Divers Stations, Philosophical Transactions of the Royal Society of London.(1897) Series A, Vol. 190, S. 423–469.
  13. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015, S. 39.
  14. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education 2015, S. 41.
  15. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. S. 171.
  16. Rainer Schlittgen: Regressionsanalysen mit R., ISBN 978-3-486-73967-1, S. 27 (abgerufen über De Gruyter Online).
  17. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 112.
  18. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education 2015, S. 57.
  19. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education 2015, S. 110.
  20. A. Colin Cameron, Pravin K. Trivedi: Microeconometrics. Methods and Applications. Cambridge University Press, 2005, ISBN 0-521-84805-9, S. 287.
  21. J. Neyman et al.: Lectures and conferences on mathematical statistics and probability (1952).
  22. Matthias-W. Stoetzer: Regressionsanalyse in der empirischen Wirtschafts- und Sozialforschung. Eine nichtmathematische Einführung mit SPSS und Stata. Band 1. Springer Verlag, Berlin, ISBN 978-3-662-53823-4, S. 40–43, 216–219.
  23. Brückler, Franka Miriam: Geschichte der Mathematik kompakt: Das Wichtigste aus Analysis, Wahrscheinlichkeitstheorie, angewandter Mathematik, Topologie und Mengenlehre. Springer-Verlag, 2017, ISBN 978-3-662-55573-6, S. 116
  24. Brückler, Franka Miriam: Geschichte der Mathematik kompakt: Das Wichtigste aus Analysis, Wahrscheinlichkeitstheorie, angewandter Mathematik, Topologie und Mengenlehre. Springer-Verlag, 2017, ISBN 978-3-662-55573-6, S. 117
  25. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 147 ff.
  26. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 148.
  27. a b Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education 2015, S. 200.
  28. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 4. Auflage. Nelson Education 2015, S. 202.
  29. William H. Greene: Econometric Analysis. 5. Auflage, Prentice Hall International, 2002, ISBN 0-13-110849-2, S. 35.
  30. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. S. 845.
  31. Rainer Schlittgen: Regressionsanalysen mit R., ISBN 978-3-486-73967-1, S. 29 (abgerufen über De Gruyter Online).
  32. William H. Greene: Econometric Analysis. 5. Auflage, Prentice Hall International, 2002, ISBN 0-13-110849-2, S. 33.
  33. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 169.
  34. William H. Greene: Econometric Analysis. 5. Auflage, Prentice Hall International, 2002, ISBN 0-13-110849-2, S. 34.
  35. William H. Greene: Econometric Analysis. 5. Auflage, Prentice Hall International, 2002, ISBN 0-13-110849-2, S. 82. ff.
  36. A. Colin Cameron, Pravin K. Trivedi: Microeconometrics. Methods and Applications. Cambridge University Press, 2005, ISBN 0-521-84805-9, S. 288.
  37. Rainer Schlittgen: Regressionsanalysen mit R., ISBN 978-3-486-73967-1, S. 52 (abgerufen über De Gruyter Online).
  38. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T.C. Lee. Introduction to the Theory and Practice of Econometrics. S. 345.
  39. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 119.
  40. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 158.
  41. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015, S. 101.
  42. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 133.
  43. Ludwig von Auer: Ökonometrie. Eine Einführung. Springer, ISBN 978-3-642-40209-8, 6. durchges. u. aktualisierte Aufl. 2013, S. 289.
  44. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education 2015, S. 150.
  45. A. Colin Cameron, Pravin K. Trivedi: Microeconometrics. Methods and Applications. Cambridge University Press, 2005, ISBN 0-521-84805-9, S. 288.
  46. Rainer Schlittgen: Multivariate Statistik. Walter de Gruyter, 2009, S. 187.
QSicon in Arbeit.svg Diese Seite befindet sich derzeit im Review. Sag dort deine Meinung zum Artikel und hilf mit, ihn zu verbessern!