Gauß-Prozess

Ein Gauß-Prozess oder Gaußscher Prozess (nach Carl Friedrich Gauß) ist in der Wahrscheinlichkeitstheorie ein stochastischer Prozess, dessen sämtliche endlichdimensionalen Verteilungen mehrdimensionale Normalverteilungen sind. Eine Besonderheit eines Gauß-Prozesses ist, dass seine Wahrscheinlichkeitsverteilung festliegt, wenn die Erwartungswerte, Varianzen und Kovarianzen für alle Zufallsvariablen, die den Gauß-Prozess bilden, festgelegt sind. Die Parameter eines Gauß-Prozesses sind daher seine Erwartungswertfunktion und seine Kovarianzfunktion.

Formale Charakterisierung

Definition

Ein (reellwertiger) Gauß-Prozess ist ein stochastischer Prozess $(X_{t})_{t\in T}$ auf einer beliebigen Indexmenge $T$, wenn seine endlichdimensionalen Verteilungen mehrdimensionale Normalverteilungen, auch Gauß-Verteilungen genannt, sind. Es soll also für alle $n\in \mathbb {N}$ und alle Indizes $t_{1},t_{2},\dotsc ,t_{n}\in T$ die multivariate Verteilung von $(X_{t_{1}},X_{t_{2}},\dotsc ,X_{t_{n}})$ durch eine $n$-dimensionale Normalverteilung gegeben sein.

Eine ein- oder mehrdimensionalen Normalverteilung ist durch die Angabe des Erwartungswertvektors und der Kovarianzmatrix vollständig bestimmt. Die Wahrscheinlichkeitsverteilung eines Gauß-Prozesses liegt durch die Angabe aller endlichdimensionalen Verteilungen fest. Daher ist ein Gaußprozess durch eine Erwartungswertfunktion

$\mu (t):=\mathbb {E} [X_{t}],\quad t\in T$

und eine Kovarianzfunktion

$\gamma (s,t):=\operatorname {Cov} [X_{s},X_{t}]:=\mathbb {E} \left[(X_{s}-\mu (s))(X_{t}-\mu (t))\right],\quad s,t\in T$

eindeutig bestimmt. Durch das Funktionenpaar $(\mu :T\to \mathbb {R} ,\gamma :T\times T\to \mathbb {R} )$ liegen die Parameter aller mehrdimensionalen Normalverteilungen fest und damit liegt die Wahrscheinlichkeitsverteilung des Gauß-Prozesses fest.

Falls $\gamma (t,t)>0$ für alle $t\in T$ gilt, ist durch

$\varrho (s,t):={\frac {\gamma (s,t)}{\sqrt {\gamma (s,s)\gamma (t,t)}}},\quad s,t\in T$

die Korrelationsfunktion des Gauß-Prozesses gegeben.

Anmerkungen

• Als mehrdimensionale Normalverteilungen sind nicht nur reguläre Verteilungen mit invertierbarer Kovarianzmatrix zugelassen, sondern auch singuläre Verteilungen, bei denen die Kovarianzmatrix positiv semidefinit, aber nicht positiv definit, und damit nicht invertierbar ist.
• Bei vielen Anwendungen, aber nicht immer, ist $t$ ein Zeitindex und $T\subseteq \mathbb {R}$ eine Menge von Zeitpunkten.
• Die Varianzfunktion ist

$\sigma ^{2}(t):=\operatorname {Var} [X_{t}]=\operatorname {Cov} [X_{t},X_{t}]=\gamma (t,t),\quad t\in T\;.$

Aus der Kovarianzfunktion können die Varianzfunktion und die Korrelationsfunktion gewonnen werden. Aus einer gegebenen Korrelationsfunktion und einer Varianzfunktion ergibt sich die Kovarianzfunktion.

Eine Charakterisierung des Gauß-Prozesses durch die drei Funktionen $\mu (\cdot )$, $\sigma ^{2}(\cdot )$ und $\varrho (\cdot ,\cdot )$ ist für Anwendungen deswegen interessant, weil die Erwartungswertfunktion und die Varianzfunktion vollständig die eindimensionalen Verteilungen beschreibt, da

$X_{t}\sim {\mathcal {N}}(\mu (t),\sigma ^{2}(t))\quad {\text{für alle }}t\in T$

gilt, während die Korrelationsfunktion vollständig die gesamte Abhängigkeitsstruktur der Zufallsvariablen erfasst und zugleich keine Parameter aus den Verteilungen der einzelnen Zufallsvariablen enthält. Für einen Gauß-Prozess ist also die Abhängkeitsstruktur vollständig durch die Korrelationsstruktur bestimmt.

Eigenschaften

• Eine Kovarianzfunktion ist positiv semidefinit. Eine Funktion $\gamma :T\times T\to \mathbb {R}$ ist genau dann eine Kovarianzfunktion, falls sie positiv semidefinit ist.
• Für einen Gauß-Prozess $(X_{t})_{t\in T}$ folgt aus der paarweisen Unkorreliertheit aller $X_{t}$, d. h. aus

$\mathrm {Cov} [X_{s},X_{t}]=0\quad {\text{für alle }}s,t\in T\;,$

folgt die stochastische Unabhängigkeit der Familie von Zufallsvariablen, d. h. für alle $m\in \mathbb {N}$ und beliebige $m$ voneinander verschiedene Indizes $t_{1},\dots ,t_{m}$ gilt

$P(X_{t_{1}}\leq x_{1},\dots ,X_{t_{m}}\leq x_{m})=\prod _{j=1}^{m}P(X_{t_{j}}\leq x_{j})\quad {\text{für alle }}x_{1},\dots ,x_{m}\in \mathbb {R} \;.$

• Jeder Gauß-Prozess ist ein stochastischer Prozess zweiter Ordnung, er besitzt also endliche zweite Momente, d. h. $\mathbb {E} [X_{s}X_{t}]\in \mathbb {R}$ für $s,t\in T$.

Spezialfälle und Interpretation

Allgemein ist ein Gauß-Prozess eine Familie von Zufallsvariablen $(X_{t})_{t\in T}$ mit beliebiger Indexmenge $T$, so dass jede endliche Teilfamilie normalverteilt ist. Dies ist ein sehr allgemeines Konzept und umfasst für verschiedene Arten der Indexmenge $T$ beispielsweise die Konzepte einer Zufallsvariablen, eines Zufallsvektors, einer zufälligen Folge, einer zufälligen Funktion, einer zufälligen Matrix oder eines zufälligen Feldes.

Gaußsche Zufallsvariable

Für eine einelementige Indexmenge $T=\{1\}$ ist der Gauß-Prozess eine normalverteilte Zufallsvariable $X_{1}\sim {\mathcal {N}}(\mu ,\sigma ^{2})$ mit $\mu =\mu (1)$ und $\sigma ^{2}=\gamma (1,1)$. Die Realisierungen sind Zahlen in $x\in \mathbb {R}$.

Gaußscher Zufallsvektor

Für eine endliche Indexmenge $T=\{1,\dots ,n\}$ ist der Gauß-Prozess $(X_{t})_{t\in \{1,\dots ,n\}}$ ein $n$-dimensional normalverteilter Zufallsvektor

$(X_{1},\dots ,X_{n})\sim {\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$

mit dem Erwartungswertvektor ${\boldsymbol {\mu }}=(\mu (1),\dots ,\mu (n))$ und der ($n\times n$)-Kovarianzmatrix ${\boldsymbol {\Sigma }}=(\sigma _{ij})$ mit den Elementen $\sigma _{ij}=\gamma (i,j)$ für $i,j=1,\dots ,n$. Die Realisierungen des Zufallsvektors sind Vektoren $(x_{1},\dots ,x_{n})\in \mathbb {R} ^{n}$.

Bei einer Interpretation von $t$ als Zeitindex und von $T$ als Menge aufeinanderfolgender Zeitpunkte sind die bedingten Verteilungen

$[X_{2}\mid X_{1}=x_{1}],\quad [X_{3}\mid X_{2}=x_{2},X_{1}=x_{1}],\dots [X_{n}\mid X_{n}=x_{n},\dots X_{1}=x_{1}]$,

die bedingten Erwartungswerte

$\mathbb {E} [X_{2}\mid X_{1}=x_{1}],\quad \mathbb {E} [X_{3}\mid X_{2}=x_{2},X_{1}=x_{1}],\dots \mathbb {E} [X_{n}\mid X_{n-1}=x_{n-1},\dots X_{1}=x_{1}]$

und die bedingten Varianzen

$\mathbb {Var} [X_{2}\mid X_{1}=x_{1}],\quad \mathbb {Var} [X_{3}\mid X_{2}=x_{2},X_{1}=x_{1}],\dots \mathbb {Var} [X_{n}\mid X_{n-1}=x_{n-1},\dots X_{1}=x_{1}]$

von besonderem Interesse. Diese charakterisieren die Wahrscheinlichkeitsverteilung von $X_{t}$, wenn beobachtete Werte bis zum Zeitpunkt $t-1$ vorliegen. Es ist eine Besonderheit der mehrdimensionalen Normalverteilung, dass die bedingten Verteilungen einer mehrdimensionalen Normalverteilung wieder mehrdimensionale Normalverteilungen sind, wobei die bedingten Erwartungswerte lineare Funktionen der Vergangenheitswerte $x_{1},\dots ,x_{n-1}$ sind, während die bedingten Varianzen nicht von diesen abhängen.

Gaußsche zufällige Folge

Für die Indexmenge $T=\mathbb {N}$ ist der Gauß-Prozess $(X_{t})_{t\in \mathbb {N} }$ eine Folge $(X_{1},X_{2},\dots )$ normalverteilter Zufallsvariablen mit der zusätzlichen Eigenschaft, dass jeder endliche Teilvektor eine mehrdimensionale Normalverteilung besitzt. Die Realisierungen sind Zahlenfolgen $(x_{1},x_{2},\dots )\in \mathbb {R} ^{\infty }$. Dabei bezeichnet $\mathbb {R} ^{\infty }$ die Menge aller reellwertigen Folgen, also der Funktionen $\mathbb {N} \to \mathbb {R}$, $(1,2,\dots )\mapsto (x_{1},x_{2},\dots )$. In diesem Fall kann der Gauß-Prozess als zufällige Folge interpretiert werden, dessen Realisierungen gewöhnliche Zahlenfolgen sind.

Gaußsche zufällige Funktion

Für die Indexmenge $T=\mathbb {R}$ ist der Gauß-Prozess $(X_{t})_{t\in \mathbb {R} }$ eine Familie normalverteilter Zufallsvariablen mit der Eigenschaft, dass jede endliche Teilfamilie eine mehrdimensionale Normalverteilung besitzt. Die Realisierungen, die auch Pfade oder Trajektorien heißen, sind Familien von reellen Zahlen $(x_{t})_{t\in \mathbb {R} }$ und damit gewöhnliche Funktionen $t\mapsto x_{t}$ für $t\in \mathbb {R}$. In diesem Fall kann also der Gauß-Prozess als Modell einer zufälligen Funktion interpretiert werden, deren Realisierungen nicht-stochastische Funktionen sind. Analog ist die Interpretation, wenn die Indexmenge $T$ ein Teilintervall von $\mathbb {R}$ ist.

Die Interpretation als Modell einer zufälligen Funktion ist eine häufige Anwendung von Gauß-Prozessen. Formal ist ein Gauß-Prozess eine Familie $(X_{t})_{t\in \mathbb {R} }$ von Zufallsvariablen mit einer bestimmten Struktur der Erwartungswerte, der Varianzen und der Korrelation. Bei einer Interpretation als zufälliger Funktion ist jede Realisierung eines Gauß-Prozesses eine gewöhnliche Funktion (ein so genannter Pfad). Die Verteilung der Realisierungen eines Gaußprozesses kann also als Wahrscheinlichkeitsverteilung von Funktionen verstanden werden.

Die Eigenschaften des Gauß-Prozesses bestimmen die Eigenschaften seiner Realisierungen. Liegen beobachtete Werte vor, die als Realisierung eines stochastischen Prozesses interpretiert werden können, so können durch geeignete Einstellung der Verteilungsparameter eines Gauß-Prozesses die beobachteten Eigenschaften der Realisierungen reproduziert werden. Man spricht dann auch von Kalibrierung oder „Fitten“ des Prozesses. Mit Methoden der statistischen Inferenz versucht man, aus den Eigenschaften eines beobachteten Pfades oder mehrerer beobachteter Pfade auf die Verteilungsparameter (Erwartungswertfunktion, Varianzfunktion und Korrelationsfunktion) des zugrundeliegenden Gauß-Prozesses zu schließen. Dabei ist es wegen der großen Parameterzahl des schätzenden Modells im Vergleich zur Anzahl der vorliegenden Beobachtungswerte regelmäßig erforderlich, das zu schätzende Modell stark einzuschränken, beispielsweise durch die Annahme der Stationarität.

Gaußsches Zufallsfeld

Für eine Indexmenge $T\subseteq \mathbb {R} ^{n}$ mit $n>1$ nennt man den Gauß-Prozess $(X_{t})_{t\in T}$ gaußsches Zufallsfeld oder gaußsches zufälliges Feld (engl. gaussian random field). Bei räumlichen Modellierungen ist in der Regel $T=\mathbb {R} ^{2}$ oder $T=\mathbb {R} ^{3}$, zum Beispiel für Modelle der Geostatistik. Im Bereich der Technik, der Naturwissenschaften und der theoretischen Physik sind auch gaußsche Zufallsfelder mit $n>3$ nicht selten.

Gaußsche zufällige Matrix

Für eine Indexmenge $T=\{1,\dots ,m\}\times \{1,\dots ,n\}$ ist der Gauß-Prozess $(X_{t})_{t\in \{1,\dots ,m\}\times \{1,\dots ,n\}}$ eine gaußsche zufällige Matrix der Dimension $n\times n$, deren Elemente normalverteilte Zufallsvariablen sind, wobei jede Teilmatrix und jeder Teilvektor eine mehrdimensionale Normalverteilung besitzt. In diesem Fall kann der Gauß-Prozess als zufällige Matrix interpretiert werden, dessen Realisierungen gewöhnliche Matrizen von reellen Zahlen sind. Eine zufällige Matrix ist ein endlicher und diskreter Spezialfall eines Zufallsfeldes mit zweidimensionaler Indexmenge $T\subset \mathbb {R} ^{2}$.

Kovarianzfunktion

Satz von Bochner

Eine große Klasse von Kovarianzfunktionen erhält man dadurch, wenn man die Fourier-Transformation eines symmetrischen Wahrscheinlichkeitsmaßes $\mu$ auf $\mathbb {R}$ berechnet

$\varphi (t)=\int _{-\infty }^{\infty }e^{itx}\mu (dx)$

und dann

$\gamma (s,t)=\varphi (s-t)$

setzt.

Dies ist eine Folge des Satz von Bochner, der sagt, jede positiv-definite Funktion $K$ ist die Fourier-Transformation eines positiven endlichen Borelmaß. Auch die Umkehrung gilt. Der Satz lässt sich durch Normalisierung auf Wahrscheinlichkeitsmaße übertragen.

Gaußsche Markow-Prozesse

Gaußsche Markow-Prozesse sind Gauß-Prozesse, welche auch Markow-Prozesse sind. Folgende zwei Resultate zur Kovarianzfunktion sind bekannt:

Ein reeller Gaußscher Prozess ist genau dann ein Markow-Prozess, wenn für alle $s\leq t\leq u$ auch

$\gamma (s,t)\gamma (t,u)=\gamma (t,t)\gamma (s,u)$

gilt.

Alle reellen gaußschen Markow-Prozesse besitzen eine Kovarianzfunktion der Form

$\gamma (s,t)=f(\min(s,t))g(\max(s,t)),$

wobei $f(x),g(x)$ reelle Funktionen sind. Beispiele:

• Brownsche Bewegung:

$\gamma (s,t)=\min(s,t)$

• Brownsche Brücke:

$\gamma (s,t)=\min(s,t)-st=\min(s,t)(1-\max(s,t))$

• stationärer Ornstein-Uhlenbeck-Prozess:

$\gamma (s,t)=ae^{-b|s-t|/2}=ae^{b\min(s,t)/2}e^{-b\max(s,t)/2},\quad a,b>0$

• nicht-stationärer Ornstein-Uhlenbeck-Prozess:

$\gamma (s,t)=a\left(e^{-b|s-t|}-e^{-b(s+t)}\right)=ae^{-b(s+t)}\left(e^{-2b\min(s,t)}-1\right),\quad a,b>0$

Bemerkung

• Der stationäre Ornstein-Uhlenbeck-Prozess ist der einzige gaußsche Markow-Prozess, der zugleich stationär ist $\gamma (s+h,t+h)=\gamma (s,t)$.

Beispiele

• Das Gauß’sche weiße Rauschen hat die Erwartungswertfunktion

$\mu (t)=0\quad {\text{für alle }}t\in T$

und die Kovarianzfunktion

$\gamma (s,t)={\begin{cases}1&{\text{für }}s=t\\0&{\text{für }}s\neq t\end{cases}}\quad {\text{für alle }}s,t\in T$.

• Ein wichtiges Beispiel eines Gauß-Prozesse ist der Wiener-Prozess (bzw. die Brownsche Bewegung). Der Wiener-Prozess hat die Erwartungswertfunktion

$\mu (t)=0$ für alle $t\in T$

und die Kovarianzfunktion

$\gamma (s,t)=\min(s,t)$ für alle $s,t\in T$.

• Ist $T=[0,\infty )$ und sind $f,g\in L^{2}(ds)$ reellwertige Funktionen sowie $(W_{t})_{t\geq 0}$ ein Wiener-Prozess, so ist der Itō-Prozess

$X_{t}=\int _{0}^{t}f(s)\mathrm {d} s+\int _{0}^{t}g(s)\mathrm {d} W_{s},\quad t\geq 0$

ein Gauß-Prozess mit der Erwartungswertfunktion

$\mu (t)=\int _{0}^{t}f(s)\mathrm {d} s,\quad t\geq 0$

und der Kovarianzfunktion

$\gamma (s,t)=\int _{0}^{\min(s,t)}g^{2}(r)\mathrm {d} r,\quad s,t\geq 0$.

Anwendungen

• In der Zeitreihenanalyse werden zeitdiskrete Gauß-Prozesse mit typischerweise $T=\mathbb {Z}$, $T=\mathbb {N}$ oder $T=\mathbb {N} _{0}$ zur Formulierung stochastischer Prozesse verwendet, so dass eine beobachtete Zeitreihe von Zahlenwerten $(x_{1},\dots ,x_{n})$ als endlicher Ausschnitt der Realisierung eines zeitdiskreten Gauß-Prozesses $(X_{t})_{t\in T}$ interpretiert werden kann.
• In der Finanzmarktstochastik werden typischerweise zeitstetige Gauß-Prozesse mit $T\subseteq \mathbb {R}$ zur Modellierung von Preisprozessen verwendet.
• In der Physik werden zeitstetige Gauß-Prozesse zur Formulierung von Modellen realer physikalische Systeme verwendet, z. B. Brownsche Bewegung.
• In technischen Anwendungen mit im Zeitablauf anfallenden Daten werden Gauß-Prozesse zur Modellierung von Messfehlern verwendet.
• Im Bereich des maschinellen Lernens kommt es vielfach zur Anwendung von Gauß-Prozessen.

Stationärer Gauß-Prozess

Es sei $T\subseteq \mathbb {R}$ und $t$ ein Zeitindex. Ein Gauß-Prozess ist genau dann stationär im engeren Sinn, besitzt also zeitinvariante endlichdimensionale Verteilungen, wenn er stationär im weiteren Sinn ist, wenn also die Erwartungswerte und die Kovarianzen zeitinvariant sind. Deswegen kann man einen Gauß-Prozess einfach als stationär bezeichnen, da keine Missverständnisse möglich sind. Er ist genau dann stationär, wenn die Erwartungswertfunktion konstant ist und die Kovarianz zweier Zufallsvariablen eines stationären Gauß-Prozesses nur von der Zeitdifferenz und nicht von der absoluten Lage der beiden Zeitindizes abhängt. Die Kovarianzfunktion eines stationären Gauß-Prozesses kann daher als univariate Funktion

$\gamma (h):=\gamma (t,t+h)\quad {\text{für alle }}h\in \mathbb {R} \quad {\text{so dass }}t,t+h\in T$

definiert werden. Die univariate Funktion $\gamma (\cdot )$ und die bivariate Funktion $\gamma (\cdot ,\cdot )$ dürfen nicht verwechselt werden.

Die Stationarität eine Gauß-Prozesses reduziert die Anzahl der Parameter erheblich. Beispielsweise hat die Verteilung eines Gauß-Prozesses mit endlicher Indexmenge $(X_{t})_{t\in \{1,\dots ,m\}}=(X_{1},\dots ,X_{m})$ als Parameter $m$ Erwartungswerte und $m(m+1)/2$ Kovarianzen (unter Berücksichtigung der Symmetrie $\gamma (s,t)=\gamma (t,s)$). Im Fall der Stationarität reduziert sich die Parameterzahl von $m+m(m+1)/2$ auf $1+m$, da die $m$ Erwartungswerte identisch sind und es nur noch die Kovarianzen $\gamma (j)$ für $j=0,1,\dots ,m-1$ gibt. Eine nicht zu große Anzahl von zu schätzenden Parametern (Parsimonie) ist die Voraussetzung für die Anwendung statistischer Inferenzmethoden im Rahmen der Zeitreihenanalyse.

Literatur

• P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, Gaußscher Prozeß, S. 132–133. 
• Joseph L. Doob: Stochastic Processes. Wiley, New York 1953, ISBN 978-0-471-52369-7, S. 71–78.