Diskriminanzanalyse

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Diskriminanzanalyse ist eine Methode der multivariaten Verfahren in der Statistik und dient der Unterscheidung von zwei oder mehreren Gruppen, die mit mehreren Merkmalen (auch Variablen) beschrieben werden. Dabei kann sie Gruppen auf signifikante Unterscheidungen ihrer Merkmale prüfen und dafür geeignete oder ungeeignete Merkmale benennen.[1] Sie wurde 1936 von R. A. Fisher zum ersten Mal in The use of multiple measurements in taxonomic problems[2] beschrieben.

Eingesetzt wird die Diskriminanzanalyse in der Statistik und im Maschinellen Lernen, um durch Raumtransformation eine gute Darstellung von Merkmalen zu erreichen, und dient als Klassifikator (Diskriminanzfunktion) oder zur Dimensionsreduzierung. Die Diskriminanzanalyse ist verwandt mit der Hauptkomponentenanalyse (PCA), welche ebenfalls eine gute Darstellungsmöglichkeit finden soll, beachtet aber im Gegensatz zu dieser die Klassenzugehörigkeit der Daten.

Problemstellung[Bearbeiten]

Wir betrachten Objekte, die jeweils genau einer von mehreren gleichartigen Klassen angehören. Es ist bekannt, welcher Klasse jedes einzelne Objekt angehört. An jedem Objekt werden Ausprägungen von Merkmalen beobachtet. Aus diesen Informationen sollen lineare Grenzen zwischen den Klassen gefunden werden, um später Objekte, deren Klassenzugehörigkeit unbekannt ist, einer der Klassen zuordnen zu können. Die lineare Diskriminanzanalyse ist also ein Klassifikationsverfahren.

Beispiele:

  • Kreditnehmer können z. B. in kreditwürdig und nicht kreditwürdig eingeteilt werden. Wenn ein Bankkunde einen Kredit beantragt, versucht das Institut anhand von Merkmalen wie Höhe des Einkommens, Zahl der Kreditkarten, Beschäftigungsdauer bei der letzten Arbeitsstelle etc., auf die zukünftige Zahlungsfähigkeit und -willigkeit des Kunden zu schließen.
  • Kunden einer Supermarktkette können als Markenkäufer und Noname-Käufer klassifiziert werden. In Frage kommende Merkmale wären etwa die jährlichen Gesamtausgaben in diesen Läden, der Anteil von Markenprodukten an den Ausgaben etc.

An diesem Objekt kann mindestens ein statistisches metrisch skaliertes Merkmal X beobachtet werden. Dieses Merkmal wird im Modell der Diskriminanzanalyse als eine Zufallsvariable X interpretiert. Es gibt mindestens zwei verschiedene Gruppen (Populationen, Grundgesamtheiten). Aus einer dieser Grundgesamtheiten stammt das Objekt. Mittels einer Zuordnungsregel, der Klassifikationsregel, wird das Objekt einer dieser Grundgesamtheiten zugeordnet. Die Klassifikationsregel kann oft durch eine Diskriminanzfunktion angegeben werden.

Klassifikation bei bekannten Verteilungsparametern[Bearbeiten]

Für das bessere Verständnis wird die Vorgehensweise anhand von Beispielen erläutert.

Maximum-Likelihood-Methode[Bearbeiten]

Eine Methode der Zuordnung ist die Maximum-Likelihood-Methode: Man ordnet das Objekt der Gruppe zu, deren Likelihood am größten ist.

Ein Merkmal – Zwei Gruppen - Gleiche Varianzen[Bearbeiten]

Beispiel[Bearbeiten]

Eine Gärtnerei hat die Möglichkeit, eine größere Menge Samen einer bestimmten Sorte Nelken günstig zu erwerben. Um den Verdacht auszuräumen, dass es sich dabei um alte, überlagerte Samen handelt, wird eine Keimprobe gemacht. Man sät also 1 g Samen aus und zählt, wie viele dieser Samen keimen. Aus Erfahrung ist bekannt, dass die Zahl der keimenden Samen pro 1 g Saatgut annähernd normalverteilt ist. Bei frischem Saatgut (Population I) keimen im Durchschnitt 80 Samen, bei altem (Population II) sind es nur 40 Samen.

  • Population I: Die Zahl der frischen Samen, die keimen, ist verteilt als X_I \sim N(80;10^2),
  • Population II: Die Zahl der alten Samen, die keimen, ist verteilt als X_{II} \sim N(40;10^2),

Die Keimprobe hat nun

x = 70

ergeben. Die Grafik zeigt, dass bei dieser Probe die Likelihood der Population I am größten ist. Man ordnet also diese Keimprobe als frisch ein.

Die Maximum-Likelihood-Methode
Aus der Grafik ersieht man, dass man als Klassifikationsregel (Entscheidungsregel) auch angeben kann:

Ordne das Objekt der Population I zu, wenn der Abstand von x zum Erwartungswert μI am kleinsten ist, bzw. wenn
|x-\mu_I|< |x-\mu_{II}|
ist.

Der Schnittpunkt der Verteilungsdichten (bei x=60) entspricht so der Entscheidungsgrenze.

Wünschenswerte Verteilungseigenschaften der Merkmale[Bearbeiten]

Gleiche Varianzen[Bearbeiten]

Die Merkmale der beiden Gruppen sollten die gleiche Varianz haben. Bei verschiedenen Varianzen ergeben sich mehrere Zuordnungsmöglichkeiten.

Unterschiedliche Gruppenvarianzen


In der obigen Grafik sind zwei Gruppen mit verschiedenen Varianzen gezeigt. Die flache Normalverteilung hat eine größere Varianz als die schmale, hohe. Man erkennt, wie die Varianz der Gruppe I die Normalverteilung der Gruppe II "unterläuft". Wenn nun in der Stichprobe beispielsweise x = 10 resultierte, müsste man die Samen als frisch einordnen, da die Wahrscheinlichkeitsdichte für Gruppe I größer ist als für Gruppe II.

Im "Standardmodell" der Diskriminanzanalyse wird von gleichen Varianzen und Kovarianzen ausgegangen.

Große Intergruppenvarianz[Bearbeiten]

Die Varianz zwischen den Gruppenmittelwerten, die Intergruppenvarianz, sollte groß sein, weil sich dann die Verteilungen nicht durchmischen: Die Trennung der Gruppen ist schärfer.

Schlechter: Kleine Varianz zwischen den Gruppen Besser: Große Varianz zwischen den Gruppen
Schlechter: Kleine Varianz zwischen den Gruppen Besser: Große Varianz zwischen den Gruppen
Kleine Intragruppenvarianz[Bearbeiten]

Die Varianz innerhalb einer Gruppe, die Intragruppenvarianz, sollte möglichst klein sein, dann durchmischen sich die Verteilungen nicht, die Trennung ist besser.

Schlechter: Große Varianz in einer Gruppe Besser: Kleine Varianz in einer Gruppe
Schlechter: Große Varianz in einer Gruppe Besser: Kleine Varianz in einer Gruppe

Mehrere Merkmale – Zwei Gruppen - Gleiche Kovarianzmatrizen[Bearbeiten]

Das interessierende Objekt kann mehrere zu beobachtende Merkmale x_j (j = 1, \dots, m) aufweisen. Man erhält hier als modellhafte Verteilungsstruktur einen Zufallsvektor X. Dieser Vektor ist verteilt mit dem Erwartungswertvektor μ und der Kovarianzmatrix Σ. Die konkrete Realisation ist der Merkmalsvektor x, dessen Komponenten die einzelnen Merkmale xj enthalten.

Bei zwei Gruppen ordnet man analog zu oben das beobachtete Objekt der Gruppe zu, bei der die Distanz des Merkmalsvektors x zu dem Erwartungswertvektor minimal wird. Verwendet wird hier, teilweise etwas umgeformt, die Mahalanobis-Distanz als Distanzmaß.

Beispiel[Bearbeiten]

In einem großen Freizeitpark wird das Ausgabeverhalten von Besuchern ermittelt. Insbesondere interessiert man sich dafür, ob die Besucher in einem parkeigenen Hotel nächtigen werden. Jeder Familie entstehen bis 16 Uhr Gesamtausgaben (Merkmal x_1) und Ausgaben für Souvenirs (Merkmal x_2). Die Marketingleitung weiß aus langjähriger Erfahrung, dass die entsprechenden Zufallsvariablen X_1 und X_2 gemeinsam annähernd normalverteilt sind mit den Varianzen 25 [€2] und der Kovarianz Cov12 = 20 [€2]. Bezüglich der Hotelbuchungen lassen sich die Konsumenten in ihrem Ausgabeverhalten in zwei Gruppen I und II einteilen, so dass die bekannten Verteilungsparameter in der folgenden Tabelle aufgeführt werden können:

Gruppe Gesamtausgabe Ausgaben für Souvenirs
Erwartungswert EX1 Erwartungswert EX2 Varianzen von X_1 und X_2
Hotelbucher I 70 40 25
Keine Hotelbucher II 60 20 25


Für die Gruppe I ist also der Zufallsvektor multivariat normalverteilt mit dem Erwartungswertvektor

\underline \mu_I =
  \begin{pmatrix}
    70 \\
    40
  \end{pmatrix}

und der Kovarianzmatrix

\underline \Sigma_I=
  \begin{pmatrix}
    25&  20\\
    20 &25
  \end{pmatrix}

Für die Gruppe II gilt Entsprechendes.

Die Grundgesamtheiten der beiden Gruppen sind in der folgenden Grafik als dichte Punktwolken angedeutet. Die Ausgaben für Souvenirs werden als Luxusausgaben bezeichnet. Der rosa Punkt steht für die Erwartungswerte der ersten Gruppe, der hellblaue für die Gruppe II.

Zwei Grundgesamtheiten von Konsumenten

Eine weitere Familie hat den Freizeitpark besucht. Sie hat bis 16 Uhr insgesamt 65 € ausgegeben und für Souvernirs 35 € (grüner Punkt in der Grafik). Soll man für diese Familie ein Hotelzimmer bereithalten?

Ein Blick auf die Grafik lässt schon erahnen, dass der Abstand des grünen Punktes zum Erwartungswertvektor der Gruppe I minimal ist. Deshalb vermutet die Hotelverwaltung, dass die Familie ein Zimmer nehmen wird.

Für die Mahalanobis-Distanz

d_I(\underline x)=d(\underline x,\underline \mu_I)=(\underline x - \underline \mu_I)^T \underline \Sigma^{-1}(\underline x - \underline \mu_I) .

des Merkmalsvektors x zum Zentrum der Gruppe I errechnet man

d_I(\underline x) =
  \begin{pmatrix}
    65-70; &35-40
  \end{pmatrix}
  \begin{pmatrix}
    0{,}111&  -0{,}089\\
    -0{,}089 &0{,}111
  \end{pmatrix}
  \begin{pmatrix}
    65-70 \\
    35-40
  \end{pmatrix} = 1{,}11

und von x zum Zentrum der Gruppe II

d_{II}(\underline x) =
  \begin{pmatrix}
    65-60; &35-20
  \end{pmatrix}
  \begin{pmatrix}
    0{,}111&  -0{,}089\\
    -0{,}089 &0{,}111
  \end{pmatrix}
  \begin{pmatrix}
    65-60 \\
    35-20
  \end{pmatrix} = 14{,}44 .

Mehrere Merkmale – Mehrere Gruppen - Gleiche Kovarianzmatrizen[Bearbeiten]

Es können der Analyse mehr als zwei Populationen zu Grunde liegen. Auch hier ordnet man analog zu oben das Objekt der Population zu, bei der die Mahalanobis-Distanz des Merkmalsvektors x zu dem Erwartungswertvektor minimal wird.

(Fishersche) Diskriminanzfunktion[Bearbeiten]

In der Praxis ist es umständlich, bei jedem zu klassifizierenden Merkmal die Mahalanobis-Distanz zu ermitteln. Einfacher ist die Zuordnung mittels einer linearen Diskriminanzfunktion. Ausgehend von der Entscheidungsregel

"Ordne das Objekt der Gruppe I zu, wenn die Distanz des Objektes zur Gruppe I kleiner ist":
d_{II}(\underline x)>d_I(\underline x)

resultiert durch Umformen dieser Ungleichung die Entscheidungsregel mit Hilfe der Diskriminanzfunktion f(x):

"Ordne das Objekt der Gruppe I zu, wenn gilt":
f(\underline x)>0 .

Die Diskriminanzfunktion errechnet sich im Fall zweier Gruppen und gleicher Kovarianzmatrizen als

f(\underline x)=( \underline x - \tfrac{1}{2} ( \underline \mu_I + \underline \mu_{II} ))^T \Sigma^{-1}( \underline \mu_I - \underline \mu_{II})=\tfrac12(d_{II}(\underline x)-d_I(\underline x))

Die Diskriminanzfunktion resultiert auch als empirischer Ansatz, wenn man die Varianz zwischen den Gruppen maximiert und die Varianz innerhalb der Gruppen minimiert. Dieser Ansatz heißt Fisher'sche Diskriminanzfunktion, weil sie von R.A. Fisher 1936 vorgestellt worden ist.

Bayessche Diskriminanzanalyse[Bearbeiten]

Bisher wurde von der Annahme ausgegangen, dass die Gruppen in der Grundgesamtheit gleich groß sind. Dies ist aber nicht der Regelfall. Man kann die Zugehörigkeit zu einer Gruppe auch als zufällig betrachten. Die Wahrscheinlichkeit, mit der ein Objekt Gruppe i angehört, wird als A-Priori-Wahrscheinlichkeit \pi_i bezeichnet. Bei K Gruppen beruht die lineare Diskriminanzregel auf der Annahme, dass X in Gruppe i multivariat normalverteilt ist mit Erwartungswert \mu_i und Kovarianzmatrix \Sigma, die in allen Gruppen gleich ist, d. h. X\sim N(\mu_i,\Sigma). Die Bayes-Regel für die lineare Diskriminanzanalyse (LDA) lautet dann


\delta^* (x)=arg\min_{j\in \{1,...,K\}}\sum_{i=1,i\neq j}^K
[\log(c_{j|i}) + \log(\pi_i)+x^T\Sigma^{-1}\mu_i-\frac{1}{2}\mu_i^T\Sigma^{-1}\mu_i],

wobei die c_{j|i} Kosten bezeichnen, die entstehen, wenn ein Objekt, das zu Gruppe i gehört, irrtümlicherweise zu Gruppe j zugeordnet wird.

Nimmt man im obigen Modell nicht an, dass die Kovarianzmatrizen in den Gruppen identisch sind, sondern dass sie sich unterscheiden können, d. h. X\sim N(\mu_i,\Sigma_i), so lautet die Bayes-Regel für die quadratische Diskriminanzanalyse (QDA)


\delta^* (x)=arg\min_{j\in
\{1,...,K\}}\sum_{i=1,i\neq j}^K
[\log(c_{j|i}) + \log(\pi_i)-\frac{1}{2}\log|\Sigma_i|-\frac{1}{2}(x-\mu_i)^T\Sigma^{-1}_i(x-\mu_i)].

Die Grenzen bei Durchführung der linearen Diskriminanzanalyse sind linear in x, bei der quadratischen quadratisch.

Siehe auch: Bayes-Klassifikator

Klassifikation bei unbekannten Verteilungsparametern[Bearbeiten]

Meistens werden die Verteilungen der zu Grunde liegenden Merkmale unbekannt sein. Sie müssen also geschätzt werden. Man entnimmt beiden Gruppen eine so genannte Lernstichprobe im Umfang nI bzw. nII. Mit diesen Daten werden die Erwartungswertvektoren μk (i = I,II) und die Kovarianzmatrix Σk geschätzt. Analog zu oben verwendet man die Mahalanobisdistanz oder die Diskriminanzfunktion, mit den geschätzten Parametern anstelle der wahren.

Geht man von dem Standardmodell mit gruppengleichen Kovarianzmatrizen aus, muss erst mit Hilfe des Boxschen M-Tests die Gleichheit der Kovarianzmatrizen bestätigt werden.

Beispiel[Bearbeiten]

Freizeitpark-Beispiel von oben:

Die Grundgesamtheit ist nun unbekannt. Es wurden in jeder Gruppe je 16 Familien näher untersucht. Es ergaben sich in der Stichprobe die folgenden Werte:

Daten zu DA-Beispiel

Die Mittelwerte für jede Gruppe, der Gesamtmittelwert, die Kovarianzmatrizen und die gepoolte (vereinte) Kovarianz errechneten sich wie folgt:

Schaetzungen Freizeitpark-Beispiel.png

Daraus erhält man nach obiger Formel die Diskriminanzfunktion

f(x) = -4,690 + 0,020 \cdot Gesamt + 0,124\cdot Souvenir .

Die Klassifikationsregel lautet jetzt:

Ordne das Objekt der Gruppe I zu, wenn
f(\underline x) > 0
ist.

Um die Güte des Modells zu überprüfen, kann man die Stichprobenwerte klassifizieren. Es ergibt sich hier die Klassifikationsmatrix

Gruppe Richtig zugeordnet falsch zugeordnet
I 14 2
II 13 3

Nun soll wieder die Familie mit den Beobachtungen (65; 35) eingeordnet werden.

Die folgende Grafik zeigt das Streudiagramm der Lernstichprobe mit den Gruppenmittelwerten. Der grüne Punkt ist die Lokalisation des Objekts (65;35).

Grafik zu DA-Beispiel:Unbekannte Parameter

Schon aus der Grafik ist zu erkennen, dass dieses Objekt zu Gruppe I gehört. Die Diskriminanzfunktion ergibt

f(\underline x)= -4,690 + 0,020 \cdot 65 + 0,124\cdot 35 =0,967.

Da

f(\underline x) > 0

ist, ordnet man das Objekt der Gruppe I zu.

Weitere Stichworte[Bearbeiten]

Literatur[Bearbeiten]

  • Maurice M. Tatsuoka: Multivariate Analysis: Techniques for Educational and psychological Research. John Wiley & Sons, Inc., New York, 1971, ISBN 0-471-84590-6
  • K. V. Mardia, J. T. Kent, J. M. Bibby: Multivariate Analysis. New York, 1979
  • Ludwig Fahrmeir, Alfred Hamerle, Gerhard Tutz (Hrsg): Multivariate statistische Verfahren. New York, 1996
  • Joachim Hartung, Bärbel Elpelt: Multivariate Statistik. München, Wien, 1999
  • Backhaus, Klaus; Erichson, Bernd; Plinke, Wulff u. a.: Multivariate Analysemethoden.

Weblinks[Bearbeiten]

Einzelnachweise[Bearbeiten]

  1. Klaus Backhaus, SpringerLink (Online service): Multivariate Analysemethoden eine anwendungsorientierte Einführung. Springer, Berlin 2006, ISBN 9783540299325.
  2. R.A. Fisher (1936), The use of multiple measurements in taxonomic problems, Annals Eugen., Vol. 7, pp. 179-188