Generator (Markow-Prozesse)

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Der Erzeuger, Generator, infinitesimale Erzeuger oder infinitesimale Generator der Übergangshalbgruppe eines zeithomogenen Markow-Prozesses in stetiger Zeit ist ein Operator, welcher das stochastische Verhalten des Prozesses in infinitesimaler Zeit erfasst. Aufgrund der Markow-Eigenschaft und der zeitlichen Homogenität wird der Prozess unter bestimmten Voraussetzungen durch seinen infinitesimalen Erzeuger bestimmt bzw. generiert.

Allgemeiner Fall (nach Breiman)[Bearbeiten]

Gegeben sei ein zeithomogener Markow-Prozess (M_{t})_{t\geq0} auf einem Zustandsraum (E, \mathfrak E) mit Übergangshalbgruppe (P^{t})_{t\geq0}, das heißt für alle t\in\R_{\geq0} ist P^{t} der entsprechende Übergangskern. Ferner sei X der Raum der beschränkten, borelmessbaren Funktionen f \colon E\rightarrow \R, dann kann jeder Übergangskern als Abbildung P^{t} \colon X\to X aufgefasst werden.

Der infinitesimalen Erzeuger A des Prozesses ist der Operator mit Definitionsbereich

\mathcal{D}(A):=\left\{f \in X \;\left|\; \forall x\in E \lim_{t\downarrow 0} \frac{P^tf(x) - f(x)}{t} \text{ existiert } \right.\right\},

der für alle f\in\mathcal{D}(A) gegeben ist durch

Af=\lim_{t\downarrow0}\frac{P^tf - f}{t}.

Ausführlich bedeutet das, dass für alle x\in E gilt

A f(x)=\lim_{t\downarrow0}\frac{P^tf(x) - f(x)}{t}=\lim_{t\downarrow0}\frac{E_x[f(M_t)]-f(x)}{t}

mit

P^tf(x)=\int f(y)P^t(x,dy)=\int f(y)P_x^{M_t}(dy)=E_x[f(M_t)].

Spezialfall abzählbarer Zustandsraum[Bearbeiten]

Sei (M_t)_{t \ge 0} ein zeitlich homogener Markow-Prozess mit kontinuierlicher Zeit und diskretem Zustandsraum E und Übergangshalbgruppe (P^t)_{t\geq0} mit Übergangsmatrix P^t := (p_{ij} (t))_{(i,j)\in E^2} für alle t\in\R_{\geq 0}.

Halbgruppe, Intensitätsmatrix, Q-Matrix[Bearbeiten]

Die Übergangsfunktion bzw. Übergangsmatrizen (P^t)_{t\geq0} bilden wegen der Chapman-Kolmogorow-Gleichungen eine Halbgruppe.
[Sie können wie oben aufgefasst werden als Abbildungen P^{t}:X\to X wobei X den Raum der beschränkten, borelmessbaren Funktionen f:E\rightarrow \R bezeichnet.]

(P^t)_{t\geq0} besitzt die Standard-Eigenschaft bzw. wird Standard-Übergangsfunktion genannt, wenn

\lim_{t \downarrow 0} p_{ij}(t) = p_{ij}(0) \;\;\;\forall (i,j)\in E^2

bzw. kurz

\lim_{t \downarrow 0} P^t = I.

Besitzt (P^t)_{t\geq0} die Standard-Eigenschaft, so gilt für alle (i,j)\in E^2:
Die Abbildung t\mapsto p_{ij} (t) ist gleichmäßig stetig und für alle t>0 differenzierbar und besitzt im Punkt 0 die rechtsseitige Ableitung

q_{ij} := \lim_{t \downarrow 0}\frac{p_{ij}(t)-p_{ij}(0)}t\;\;\;\forall (i,j)\in E^2.

Kurz geschrieben, definiert man dies durch

Q := \lim_{t \downarrow 0}\frac{P^t-I}{t}.

Q = (q_{ij})_{ij} heißt Intensitätsmatrix oder einfach Q-Matrix.

Für alle i\in E gilt q_{ii}\in[-\infty,0], und für alle i,j\in E mit i \ne j gilt q_{ij}\in[0,\infty[.

Ein Zustand i\in E heißt stabil, wenn q_{ii}>-\infty, sonst augenblicklich.

Die Übergangsfunktion (P^t)_{t\geq0} heißt stabil, wenn alle Zustände stabil sind; in diesem Fall sind alle Einträge der zugehörigen Intensitätsmatrix endlich.

Ein Zustand i\in E heißt absorbierend, wenn q_{ii}=0, was genau dann der Fall ist, wenn für alle t\geq0 p_{ii}(t)=1 gilt.

Die Matrix Q und der zugehörige Markov-Prozess werden als konservativ bezeichnet, wenn alle Zeilensummen von Q Null sind; dies ist genau dann der Fall, wenn \sum_{i\neq j}q_{ij}=-q_{ii}<\infty für alle i\in E gilt.

Ist Q konservativ, der Prozess stabil und divergiert die Folge der Sprungzeiten vor Erreichen eines absorbierenden Zustands fast sicher, so wird der Prozess als regulär bezeichnet.

Die Einträge q_{ij} lassen sich wie folgt interpretieren:

  • Betrachtet man den zu P_t gehörigen Prozess, kann man mit Hilfe von q_{ii} die Verweilzeit in einem Zustand i \in E angeben. Diese ist exp(-q_{ii})-verteilt, das heißt für t,h > 0, q_{ij} > -\infty gilt P(X_s = i, \forall s\colon t < s < t + h \mid X_t = i) = e^{q_{ii}(t)}. Ein absorbierender Zustand hat dann entsprechend eine unendliche Verweilzeit.
  • Es gilt \quad p_{ij}(h) = q_{ij}h + o(h), der Prozess ist also „lokal poisson“ und q_{ij} gibt für kleine h>0 die Rate an, mit der Prozess aus i in den Zustand j springt (i, j \in E, i \ne j).

Über diese Interpretation ist es in der Praxis oft leichter, eine geeignete Q-Matrix aus den Modellannahmen herzuleiten, als P_t direkt anzugeben, zum Beispiel bei M/M/1/∞-Systemen.

Gleichmäßig stetige Halbgruppe mit infinitesimalem Erzeuger[Bearbeiten]

Ist die Übergangsfunktion (P^{t})_{t\geq0} stabil, so ist sie eine gleichmäßig stetige Halbgruppe deren infinitesimaler Erzeuger Q ist.
Dann kann aus dem Verhalten in infinitesimaler Zeit Q das langfristige Verhalten zurückgewonnen werden:

P(t) = e^{Qt}\;\;\;\;\; \forall t\in\R_{\geq 0}

wobei e das Matrixexponential bezeichnet.

Dies ist zum Beispiel der Fall für endliche Zustandsräume.

Die Stationäre Verteilung \pi von (P^{t})_{t\geq0} lässt sich dann als Lösung des folgenden Gleichungssystems

\pi \cdot Q = \vec{0}

bestimmen, wobei \pi als Zeilenvektor aufgefasst wird.

Generatoren von Feller-Prozessen[Bearbeiten]

Feller-Prozesse sind Markow-Prozesse, bei denen die Übergangswahrscheinlichkeiten P_t(x, A) qua (T_t f)(x) := \int P_t(x, dy) f(y) =  E_x f(X_t) einer stark stetigen Halbgruppe auf dem Raum C_0(E) der stetigen, im Unendlichen verschwindenden Funktionen entsprechen. In diesem Fall kann der Generator der entsprechenden Halbgruppe

S f=\underset{t\to0}{\operatorname{s-lim}} \frac {Tf - f}t

(definiert für alle f \in C_0(E) für die der Grenzwert bezüglich der Supremumsnorm existiert) betrachtet und der Satz von Hille-Yosida angewendet werden.

Dynkins charakteristischer Operator[Bearbeiten]

Der charakteristische Operator ist eine probabilistische Entsprechung des analytischen Generators S, mit dem oft leichter zu arbeiten ist.[1] Während in obiger Definition der Erwartungswert von f(X_t) zu einem festen Zeitpunkt t gebildet wird (und anschließend  t gegen 0 geht), wird hier der Erwartungswert von f(X_\tau) an den unterschiedlichen (zufälligen) Zeitpunkten \tau = \tau(B) gebildet, zu denen der Prozess einen festgelegten räumlichen Bereich B, zum Beispiel eine Kugel B_{\nu,x} um x = X_0 mit Radius \nu, verlässt. Für nicht absorbierendes x setzt man

(U f) (x) := \lim_{\nu\to0} \frac{E_x [f(X_{\tau(B_{\nu,x})})] - f(x)}{E_x[\tau(B_{\nu,x})]},

für absorbierendes x setzt man (U f) (x) = 0. Für große Klasse von Feller-Prozessen gilt Af = Uf für stetige, im Unendlichen verschwindende Funktionen f aufgrund von Dynkins Maximum-Prinzip.

Die Definition und der genannte Zusammenhang gehen auf eine Arbeit von E. B. Dynkin aus dem Jahr 1955 zurück. [2]

Literatur[Bearbeiten]

Einzelnachweise[Bearbeiten]

  1. Breiman, S. 377.
  2. E. B. Dynkin: Infinitesimal operators of Markov stochastic processes, Doklady Akademii Nauk Nr. 105, 1955, S. 206-209.