Receiver Operating Characteristic

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Die Receiver Operating Characteristic (ROC) – Kurve bzw. Grenzwertoptimierungskurve ist eine Methode zur Bewertung und Optimierung von Analyse-Strategien. Die ROC-Kurve stellt visuell die Abhängigkeit der Effizienz mit der Fehlerrate für verschiedene Parameterwerte dar. Sie ist eine Anwendung der Signalentdeckungstheorie.

Sie kann eingesetzt werden, um den bestmöglichen Wert eines Parameters zu finden, beispielsweise bei einem dichotomen (semi-)quantitativen Merkmal oder Zwei-Klassen-Klassifizierungsproblem.

Berechnung der ROC-Kurve[Bearbeiten]

Interpretation einer ROC-Kurve
ROC - Kurve echtes Beispiel

Für jeden möglichen Parameterwert (z. B. Sendegeschwindigkeit, Frequenz, ...) ermittelt man die resultierenden relativen Häufigkeitsverteilungen in Form von Sensitivität (Richtig-Positiv-Rate) und Falsch-Positiv-Rate. In einem Diagramm trägt man Sensitivität (Richtig-Positiv-Rate) als Ordinate und Falsch-Positiv-Rate als Abszisse ein. Der Parameterwert selbst taucht dabei nicht auf, kann aber als Beschriftung der Punkte verwendet werden. Es resultiert typischerweise eine gekrümmte, aufsteigende Kurve.

Interpretation der ROC-Kurve[Bearbeiten]

Eine ROC-Kurve nahe der Diagonalen deutet auf einen Zufallsprozess hin: Werte nahe der Diagonalen bedeuten eine gleiche Trefferquote und Falschpositivquote, was der zu erwartenden Trefferhäufigkeit eines Zufallsprozesses entspricht. Die ideale ROC-Kurve steigt zunächst senkrecht an (die Trefferquote liegt nahe bei 100 %, während die Fehlerquote anfangs noch nahe bei 0 % bleibt), erst danach steigt die Falsch-Positiv-Rate an. Eine ROC-Kurve, die deutlich unterhalb der Diagonalen bleibt, deutet darauf hin, dass die Werte falsch interpretiert wurden. Statt ein Signal zu erkennen, wird Rauschen erfasst und das Signal ausgefiltert.

Anwendung als Optimierungsmethode[Bearbeiten]

Das theoretische Optimum (im Sinne eines Kompromisses aus Treffer- und Fehlerrate) des getesteten Wertes ermittelt man visuell dann aus dem Kontaktpunkt einer 45° ansteigenden Tangente mit der ROC-Kurve, sofern die Achsen einheitlich skaliert wurden. Andernfalls muss der Tangentenanstieg gleich dem der Diagonalen sein.

Zeichnet man die Testwerte (beispielsweise in Abhängigkeit von der FP-Rate) in das gleiche Diagramm, findet sich der Grenzwert als Lot des Kontaktpunktes der Tangente auf die Testwertekurve. Alternativ können die Punkte der Kurve mit dem Testwert beschriftet werden. Rechnerisch sucht man den Testwert mit dem höchsten Youden-Index. Dieser berechnet sich aus Sensitivit\ddot{a}t+Spezifit\ddot{a}t-1 (mit relativen Werten berechnet).

Eine alternative Methode, die vor allem im Information Retrieval Anwendung findet, ist die Betrachtung von Recall und Precision.

Anwendung als Qualitätsmaß[Bearbeiten]

Eine ROC-Kurve kann auch als Qualitätsmaß verwendet werden. Dies ist oft im Bereich des Information Retrieval der Fall. Um unabhängig vom Testwert bewerten zu können, wird die ROC-Kurve für alle oder eine Stichprobe von Testwerten berechnet.

Zu der ROC-Kurve berechnet man die Fläche unterhalb der Kurve („Area under curve“, ROC AUC). Dieser Wert kann zwischen 0 und 1 liegen, wobei aber 0,5 der schlechteste Wert ist. Wie zuvor beschrieben, ist eine ROC-Kurve nahe der Diagonalen das zu erwartende Ergebnis eines Zufallsprozesses, der eine Fläche von 0,5 hat. Die zuvor als optimal beschriebe Kurve hat eine Fläche zwischen 0,5 und 1. Die Kurve mit der Fläche kleiner 0,5 kann in der Informationstheorie aber letztlich genauso gut sein, wenn man das Ergebnis entsprechend umgekehrt interpretiert („positiv“ und „negativ“ vertauscht).

Der entscheidende Vorteil der Verwendung der ROC-AUC gegenüber beispielsweise der reinen Fehlklassifikationsrate ist, dass hier der Parameterwert entfällt, während letztere immer nur für einen einzelnen konkreten Parameterwert berechnet werden kann. Ein hoher ROC-AUC-Wert bedeutet anschaulich „für geeignete Wahl des Parameters ist das Ergebnis gut“.

Beispiel[Bearbeiten]

Im Information Retrieval kann hier beispielsweise die Qualität eines Suchergebnisses bewertet werden. „Positiv“ ist hierbei ein passendes Suchergebnis, „Negativ“ ein unpassendes. Der Testwert ist die Anzahl der angeforderten Suchergebnisse. Enthält die Datenbank 10 relevante und 90 irrelevante Dokumente, und ein Verfahren hat in den ersten 12 Ergebnissen 7 relevante gefunden, so geht die ROC-Kurve durch den Punkt (\frac{12-7}{90}, \frac{7}{10}). Dies berechnet man für alle möglichen Anzahlen von Ergebnissen (0-100).

Die Problemstellung als Optimierungsproblem wäre: „Was ist die optimale Anzahl von Ergebnissen, die ich betrachten sollte?“

Die Problemstellung als Qualitätsmaß wäre: „Unabhängig davon, wie viele Ergebnisse ich bekommen will, wie gut ist die Suchfunktion?“

In diesem Beispiel sind natürlich beide Fragestellungen nur bedingt sinnvoll.

Intuition im Maschinellen Lernen[Bearbeiten]

Im Maschinellen Lernen werden ROC-Kurven zur Evaluation der Klassifikatorperformance eingesetzt. Dabei wird die Fehlklassifikationsrate für eine größer werdende Menge von Instanzen bestimmt, angefangen bei den Instanzen, für die der Klassifikator am sichersten ist (weil sie zum Beispiel den größten Abstand zur Trennfunktion einer Support Vector Machine haben).

Beispielhaft kann man sich einen Prüfer vorstellen, der den Prüfling die Fragen, bei denen dieser sich am sichersten fühlt, zuerst beantworten lässt. Im Verlauf der Prüfung kann der Prüfer eine ROC-Kurve erstellen. Gute Prüflinge geben dann erst zum Ende der Prüfung falsche Antworten, was sich aus der ROC-Kurve einfach ablesen lässt.

Siehe auch[Bearbeiten]

Literatur[Bearbeiten]

  • Tom Fawcett: ROC Graphs: Notes and Practical Considerations for Data Mining Researchers (PDF)
  • Ulrich Abel: Bewertung diagnostischer Tests. Hippokrates Verlag, Stuttgart 1993, 216 S., ISBN 3-7773-1079-4
  • W. Youden: Index rating for Diagnostic Test. In: Cancer. 3. 1950, 32–35