Logistische Regression

Logistische Funktion

Unter logistischer Regression oder Logit-Modell versteht man Regressionsanalysen zur (meist multivariaten) Modellierung der Verteilung diskreter abhängiger Variablen. Wenn logistische Regressionen nicht näher als multinomiale oder geordnete logistische Regressionen gekennzeichnet sind, ist zumeist die binomiale logistische Regression für dichotome abhängige Variablen gemeint. Die unabhängigen Variablen können dabei ein beliebiges Skalenniveau aufweisen, wobei diskrete Variablen mit mehr als zwei Ausprägungen in eine Serie binärer Dummy-Variablen zerlegt werden.

Im binomialen Fall hat man Daten der Art $(Y_{i},x_{i}),i=1,\ldots ,n$ vorliegen, wobei $Y_{i}$ eine binäre abhängige Variable (den so genannten Regressanden) bezeichnet, die mit $x_{i}$, einem bekannten und festen Kovariablenvektor von Regressoren, auftritt. $n$ bezeichnet die Anzahl der Beobachtungen.

Motivation

Die Einflüsse auf diskrete Variablen können nicht mit dem Verfahren der klassischen linearen Regressionsanalyse untersucht werden, da wesentliche Anwendungsvoraussetzungen, insbesondere eine Normalverteilung der Residuen und Homoskedastizität, nicht gegeben sind. Ferner kann ein lineares Regressionsmodell bei einer solchen Variablen zu unzulässigen Vorhersagen führen: Wenn man die beiden Ausprägungen der abhängigen Variablen mit 0 und 1 kodiert, so kann man zwar die Vorhersage eines linearen Regressionsmodells als Vorhersage der Wahrscheinlichkeit auffassen, dass die abhängige Variable den Wert 1 annimmt – formal: $P(Y_{i}=1)$ –, doch kann es dazu kommen, dass Werte außerhalb dieses Bereichs vorhergesagt werden. Die logistische Regression löst dieses Problem durch eine geeignete Transformation der abhängigen Variablen $P(Y_{i}=1)$.

Die Relevanz des Logit-Modells wird auch dadurch deutlich, dass Daniel McFadden und James Heckman im Jahr 2000 für ihren Beitrag zu seiner Entwicklung den Nobelpreis für Wirtschaftswissenschaften verliehen bekamen.

Anwendungsvoraussetzungen

Neben der Beschaffenheit der Variablen, wie sie in der Einleitung dargestellt wurde, gibt es eine Reihe von Anwendungsvoraussetzungen. So sollten die Regressoren keine hohe Multikollinearität aufweisen.

Modellspezifikation

Das (binomiale) logistische Regressionsmodell lautet

$\mathrm {P} (Y=1|X=x_{i})=\mathrm {P} (Y_{i}=1)={\frac {\exp(\beta _{0}+x_{i}^{T}\beta )}{1+\exp(\beta _{0}+x_{i}^{T}\beta )}}={\frac {1}{1+\exp(-(\beta _{0}+x_{i}^{T}\beta ))}}$,

hierbei gilt $\beta =(\beta _{1},\ldots ,\beta _{n})$.

Es geht von der Idee der Odds aus, d. h. dem Verhältnis von $P(Y_{i}=1)$ zur Gegenwahrscheinlichkeit $1-P(Y_{i}=1)$ bzw. $P(Y_{i}=0)$ (bei Kodierung der Alternativkategorie mit 0)

$\operatorname {Odds} (Y_{1/0})={\frac {\mathrm {P} (Y_{i}=1)}{1-\mathrm {P} (Y_{i}=1)}}={\frac {\mathrm {P} (Y_{i}=1)}{\mathrm {P} (Y_{i}=0)}}$

Die Odds können zwar Werte größer 1 annehmen, doch ist ihr Wertebereich nach unten beschränkt (er nähert sich asymptotisch 0 an). Ein unbeschränkter Wertebereich wird durch die Transformation der Odds in die sog. Logits

$\operatorname {Logit} (Y_{1/0})=\ln(\operatorname {Odds} (Y_{1/0}))=\ln {\frac {\mathrm {P} (Y_{i}=1)}{1-\mathrm {P} (Y_{i}=1)}}$

erzielt; diese können Werte zwischen minus und plus unendlich annehmen.

In der logistischen Regression wird dann die Regressionsgleichung

$\operatorname {Logit} (Y_{1/0}|X_{i}=x_{i})=\beta _{0}+\beta _{1}X_{1}+\dots +\beta _{n}X_{n}$

geschätzt; es werden also Regressionsgewichte bestimmt, nach denen die geschätzten Logits für eine gegebene Matrix von unabhängigen Variablen X berechnet werden können. Die folgende Grafik zeigt, wie Logits (y-Achse) mit den Ausgangswahrscheinlichkeiten $P(Y_{i}=1)$ (x-Achse) zusammenhängen:

Die Regressionskoeffizienten der logistischen Regression sind nicht einfach zu interpretieren. Daher bildet man häufig die sog. Effektkoeffizienten durch Exponenzieren; die Regressionsgleichung bezieht sich dadurch auf die Odds:

$\operatorname {Odds} (Y_{1/0}|X_{i}=x_{i})=\exp(\beta _{0}+\beta _{1}X_{1}+\dots +\beta _{n}X_{n})$

Die Koeffizienten $\exp(\beta _{n})$ werden oft auch als Effektkoeffizienten bezeichnet. Hier bezeichnen Koeffizienten kleiner 1 einen negativen Einfluss auf die Odds, ein positiver Einfluss ist gegeben, wenn $\exp(\beta _{n})>1$.

Durch eine weitere Transformation lassen sich die Einflüsse der logistischen Regression auch als Einflüsse auf die Wahrscheinlichkeiten $P(Y_{i}=1)$ ausdrücken:

$\mathrm {P} (Y=1|X_{i}=x_{i})={\frac {\exp(\beta _{0}+\beta _{1}X_{1}+\dots +\beta _{n}X_{n})}{1+\exp(\beta _{0}+\beta _{1}X_{1}+\dots +\beta _{n}X_{n})}}$

Schätzmethode

Anders als bei der linearen Regressionsanalyse ist eine direkte Berechnung der besten Regressionskurve nicht möglich. Deshalb wird zumeist mit einem iterativen Algorithmus eine Maximum-likelihood-Lösung geschätzt.

Modelldiagnose

Die Regressionsparameter werden auf der Grundlage des Maximum-Likelihood-Verfahrens geschätzt. Inferenzstatistische Verfahren stehen sowohl für die einzelnen Regressionskoeffizienten als auch für das Gesamtmodell zur Verfügung (siehe Wald-Test und Likelihood-Quotienten-Test); in Analogie zum linearen Regressionsmodell wurden auch Verfahren der Regressionsdiagnostik entwickelt, anhand derer einzelne Fälle mit übergroßem Einfluss auf das Ergebnis der Modellschätzung identifiziert werden können. Schließlich gibt es auch einige Vorschläge zur Berechnung einer Größe, die in Analogie zum $R^{2}$ der linearen Regression eine Abschätzung der "erklärten Varianz" erlaubt; man spricht hier von sog. Pseudo-Bestimmtheitsmaß. Auch das AIC und das BIC werden in diesem Kontext gelegentlich herangezogen.

Insbesondere bei Modellen zur Risikoadjustierung wird häufig der Hosmer-Lemeshow-Test zur Bewertung der Anpassungsgüte verwendet. Dieser Test vergleicht die vorhergesagten mit den beobachteten Raten von Ereignissen in nach Auftretenswahrscheinlichkeit geordneten Untergruppen der Grundgesamtheit, häufig den Dezilen. Die Teststatistik wird wie folgt berechnet:

$H=\sum _{g=1}^{n}{\frac {(O_{g}-E_{g})^{2}}{N_{g}\pi _{g}(1-\pi _{g})}}.\,\!$

Dabei repräsentieren O_g die beobachteten (observed) Ereignisse, E_g die erwarteten Ereignisse, N_g die Anzahl der Beobachtungen und π_g die Auftretenswahrscheinlichkeit der gten Quantile. Die Anzahl der Gruppen beträgt n.

Ebenfalls werden ROC-Kurven zur Beurteilung der Vorhersagekraft logistischer Regressionen verwendet, wobei die ROC AUC als Gütekriterium fungiert.

Alternativen und Erweiterungen

Als (im Wesentlichen gleichwertige) Alternative kann das Probitmodell herangezogen werden, bei dem eine Normalverteilung zugrunde gelegt wird.

Eine Übertragung der logistischen Regression (und des Probit-Modells) auf eine abhängige Variable mit mehr als zwei diskreten Merkmalen ist möglich (siehe multinomiale oder geordnete logistische Regressionen).

Literatur

• Hans-Jürgen Andreß, J.-A. Hagenaars, Steffen Kühnel: Analyse von Tabellen und kategorialen Daten Springer Berlin 1997, ISBN 3-540-62515-1
• Dieter Urban: Logit Analyse, Lucius & Lucius Stuttgart 1998, ISBN 3-8282-4306-1
• David Hosmer, Stanley Lemeshow: Applied logistic regression, Wiley New York 2. Auflage 2000, ISBN 0-471-35632-8
• Alan Agresti: Categorical Data Analysis, Wiley New York 2. Auflage 2002, ISBN 0-471-36093-7
• Scott J. Long: Regression Models for Categorical and Limited Dependent Variables, Sage 1997, ISBN 0-803-97374-8

Weblinks

• Rede von Daniel McFadden zur Nobelpreisverleihung: Geschichte der Logit-Regression (englisch)
• Einführung in die Logistische Regression mit SPSS (PDF)