Gauß-Prozess

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Ein Gaußprozess (nach Carl Friedrich Gauß) ist in der Wahrscheinlichkeitstheorie ein stochastischer Prozess, bei dem jede endliche Teilmenge von Zufallsvariablen mehrdimensional normalverteilt (gaußverteilt) ist.

Während die mehrdimensionale Gaußverteilung eine Gaußverteilung von Vektoren darstellt, beschreibt ein Gaußprozess die Gaußverteilung eines Kontinuums von Zufallsvariablen und insbesondere eine Gaußverteilung von Funktionen. Angewendet werden Gaußprozesse häufig zur Interpolation, Extrapolation oder Glättung von diskreten Messpunkten. Die Besonderheit der Methode liegt darin, dass sie nahezu vollständig auf klassischer Wahrscheinlichkeitsrechnung beruht und sowohl die wahrscheinlichsten Werte vorhersagen kann, als auch die zugehörigen Unsicherheiten bzw. Vertrauensintervalle. Jede Eingangs- und Ausgangsgröße der Theorie setzt sich aus einem Wert und der Unsicherheit des Wertes zusammen, wobei stets die korrekte Fehlerfortpflanzung berücksichtigt wird.

Die Methode des Gaußprozesses kann als überwachtes Maschinenlernverfahren zur abstrakten Modellierung mittels Trainingsbeispielen verwendet werden. Im Gegensatz zu anderen Maschinenlernverfahren, wie künstlichen neuronalen Netzen, zeichnet sich die Methode der Gaußprozesse durch eine besonders hohe Transparenz und Verständlichkeit des gesamten mathematischen Vorgangs aus, da sie hauptsächlich auf Linearer Algebra und gaußscher Fehlerrechnung basiert.

Definition[Bearbeiten | Quelltext bearbeiten]

Ein Gaußprozess ist ein spezieller stochastischer Prozess auf einer beliebigen Indexmenge T, wenn seine endlichdimensionalen Verteilungen mehrdimensionale Normalverteilungen (auch Gauß-Verteilungen) sind. Es soll also für alle die multivariate Verteilung von durch eine n-dimensionale Normalverteilung gegeben sein.

Ein Gauß-Prozess heißt zentriert, wenn sein Erwartungswert konstant 0 ist, also wenn für alle gilt.

Darstellung[Bearbeiten | Quelltext bearbeiten]

Analog zur ein- und mehrdimensionalen Gaußverteilung ist ein Gaußprozess über seine ersten beiden Momente vollständig und eindeutig bestimmt. Bei der mehrdimensionalen Gaußverteilung sind dies der Erwartungswertvektor (auch Erwartungswert-Vektor) und die Kovarianzmatrix . Beim Gaußprozess treten an deren Stelle eine Erwartungswertfunktion und eine Kovarianzfunktion . Diese Funktionen können als Vektor mit kontinuierlichen Zeilen bzw. als Matrix mit kontinuierlichen Zeilen und Spalten aufgefasst werden. Folgende Tabelle vergleicht eindimensionale und mehrdimensionale Gaußverteilungen und Gaußprozesse.

Art der Verteilung Kurzschreibweise Größen Analytische Darstellung (Dichtefunktion)
Eindimensionale Gaußverteilung
Mehrdimensionale Gaußverteilung
Gaußprozess
(keine analytische Darstellung)

Ein Gaußprozess lässt sich nicht allgemein analytisch darstellen, was jedoch für die Anwendungen nicht von Bedeutung ist. Die Darstellung der Kovarianzfunktion kann über eine geeignete analytische Funktion erfolgen.

Berechnung eines Gaußprozesses aus diskreten Messwerten[Bearbeiten | Quelltext bearbeiten]

In praktischen Anwendungen liegen stets nur endlich viele diskrete Messwerte vor, mit denen ein Gaußprozess bestimmt werden soll. In Analogie zur eindimensionalen Gaußverteilung, die über den Mittelwert und die Standardabweichung diskreter Messwerte vollständig bestimmt werden kann, müssten beim Gaußprozess einzelne, jedoch vollständige Funktionen vorliegen. Dieser Fall einer Verteilung über verschiedene gegebene Funktionen ist für die Praxis jedoch weniger bedeutend, vielmehr sollte eine einzige kontinuierliche Funktion berechnet werden, während nur diskrete Stützstellen vorliegen. Auch dafür eignet sich der Gaußprozess. Dazu wird die zu bestimmende Funktion, die aus einzelnen Messpunkten besteht, von jedem Messpunkt aus betrachtet. Jeweils in Relativkoordinaten ausgedrückt, zerfällt dadurch die Funktion mit N Stützstellen in N Funktionen mit jeweils N Stützstellen. Die Verteilung dieser relativen Funktionen kann nun mit einer Kovarianzfunktion erfasst werden. Man nennt diese Art der relativen Kovarianzfunktion eine stationäre Kovarianzfunktion. Sie wird analytisch dargestellt und heuristisch bestimmt oder in der Literatur nachgeschlagen. Die freien Parameter der analytischen Kovarianzfunktion werden an die Messwerte angepasst. Damit der Gaußprozess vollständig definiert ist, muss neben der Kovarianzfunktion auch die Mittelwertfunktion bekannt sein. Diese kann über eine klassische Polynom-Regression oder lokale Polynom-Regression erfolgen. Ist der Gaußprozess bestimmt, können damit beliebige interpolierte Zwischenwerte vorhergesagt werden.

Vorhersage einer Funktion bei wenigen bekannten diskreten Stützpunkten[Bearbeiten | Quelltext bearbeiten]

Ist ein Gaußprozess bestimmt worden, sind also die Mittelwertfunktion und die Kovarianzfunktion bekannt, kann mit dem Gaußprozess eine Vorhersage einer Funktion berechnet werden, wenn nur wenige gemessene Stützpunkte der gesuchten Funktion bekannt sind. Die Vorhersage erfolgt analog zur Vorhersage bei der mehrdimensionalen Gaußverteilung über die bedingte Wahrscheinlichkeit. Bei der mehrdimensionalen Gaußverteilung

ergibt sich die bedingte Gaußverteilung

,

wobei die gesuchten unbekannten Variablen sind und die bekannten. Die neue Verteilung gibt im ersten Parameter den gesuchten Mittelwert der Verteilung, was der Vorhersage des wahrscheinlichsten Wertes entspricht. Da neben dem Mittelwert auch die Kovarianzmatrix vorhergesagt wird, ist die vollständige neue Gaußverteilung gegeben, die insbesondere die Vertrauensintervalle der vorhergesagten Mittelwerte enthält (Wurzel aus den Hauptdiagonalelementen der Kovarianzmatrix).

Beim Gaußprozess

gilt für die Vorhersage für N gegebene einzelne Messpunkte mit den Abszissen und den Ordinaten die neue bedingte Verteilung

.

ist dabei eine Kovarianzmatrix, die sich durch die Auswertung der Kovarianzfunktion an den diskreten Zeilen und Spalten ergibt. Außerdem wurde entsprechend gebildet, indem nur an diskreten Zeilen ausgewertet wurde.

Mit dem Gaußprozess ist also eine Vorhersage der wahrscheinlichsten Funktion möglich, bei Kenntnis einer bestimmten Menge diskreter Stützpunkte. Neben der vorhergesagten wahrscheinlichsten Funktion (im ersten Parameter des Gaußprozesses) sind wiederum auch die Kovarianzen (im zweiten Parameter) gegeben. Die Diagonale der neuen bedingten Kovarianzfunktion gibt eine Funktion mit den Varianzen der vorhergesagten Funktion wieder. Das Vertrauensintervall ist dann .

Beispiele für Gaußprozesse[Bearbeiten | Quelltext bearbeiten]

  • Der Wiener-Prozess (bzw. Brownsche Bewegung) hat Erwartungswertfunktion und Kovarianzfunktion .
  • Die Brownsche Brücke mit Erwartungswertfunktion und Kovarianzfunktion .
  • Das Gauß'sche weiße Rauschen hat Erwartungswert 0 und Kovarianzfunktion (Kronecker-Delta)
  • Ist und , zwei integrierbare reellwertige Funktionen sowie ein Wiener-Prozess, so ist der Ito-Prozess
ein Gauß-Prozess mit Erwartungswertfunktion und Kovarianzfunktion .

Literatur[Bearbeiten | Quelltext bearbeiten]

  • R. M. Dudley, Real Analysis and Probability, Wadsworth and Brooks/Cole, 1989.
  • B. Simon, Functional Integration and Quantum Physics, Academic Press, 1979.
  • C. E. Rasmussen, C. K. I. Williams, Gaussian Processes for Machine Learning, MIT Press, 2006. ISBN 0-262-18253-X
  • M.L. Stein, Interpolation of Spatial Data: Some Theory for Kriging, Springer, 1999

Weblinks[Bearbeiten | Quelltext bearbeiten]

Software[Bearbeiten | Quelltext bearbeiten]