Wahrscheinlichkeitserzeugende Funktion

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

In der Wahrscheinlichkeitstheorie ist die wahrscheinlichkeitserzeugende Funktion eine spezielle Potenzreihe, die jeder Wahrscheinlichkeitsverteilung auf den natürlichen Zahlen und jeder Zufallsvariable mit Werten in den natürlichen Zahlen zugeordnet werden kann. Umgekehrt kann auch aus jeder wahrscheinlichkeitserzeugenden Funktion die Wahrscheinlichkeitsverteilung oder die Verteilung der Zufallsvariable rekonstruiert werden. Wahrscheinlichkeitserzeugende Funktionen ermöglichen es, gewisse Eigenschaften der Verteilungen und Operationen von Zufallsvariablen auf Eigenschaften und Operationen von Potenzreihen zu übertragen. So existiert beispielsweise eine Beziehung zwischen den Ableitungen der wahrscheinlichkeitserzeugenden Funktion und dem Erwartungswert, der Varianz und weiteren Momenten der Zufallsvariable.

Definition[Bearbeiten]

Die wahrscheinlichkeitserzeugende Funktion lässt sich auf zwei Arten angeben: einerseits mittels einer Wahrscheinlichkeitsverteilung, andererseits mittels der Verteilung einer Zufallsvariablen. Beide Arten sind insofern äquivalent, als dass jede Wahrscheinlichkeitsverteilung als Verteilung einer Zufallsvariablen aufgefasst werden kann und jede Verteilung einer Zufallsvariable wieder eine Wahrscheinlichkeitsverteilung ist. Bei beiden Definitionen ist 0^0 := 1 gesetzt.

Für Wahrscheinlichkeitsverteilungen[Bearbeiten]

Ist  P eine Wahrscheinlichkeitsverteilung auf  (\mathbb{N}_0,\mathcal{P}(\mathbb{N}_0)) mit Wahrscheinlichkeitsfunktion \rho(k) = P(\{k\}), so heißt die Funktion

m_P: [0,1] \to [0,1]

definiert durch

 m_P(t)= \sum_{k=0}^\infty \rho(k)t^k

die wahrscheinlichkeitserzeugende Funktion von  P .

Für Zufallsvariablen[Bearbeiten]

Für eine Zufallsvariable X mit Werten in \mathbb{N}_0 ist ihre wahrscheinlichkeitserzeugende Funktion:m_X:[0,1] \to [0,1]

definiert als

m_X(t):=m_{P \circ X^{-1}}(t)=\sum_{k=0}^{\infty} t^k P[X=k].

Somit ist die wahrscheinlichkeitserzeugende Funktion einer Zufallsvariable genau die wahrscheinlichkeitserzeugende Funktion ihrer Verteilung. Alternativ lässt sich die wahrscheinlichkeitserzeugende Funktion einer Zufallsvariable auch über den Erwartungswert definieren als

m_X(t):=\operatorname E\left[t^{X}\right] .

Elementare Beispiele[Bearbeiten]

Gegeben sei eine Bernoulli-verteilte Zufallsvariable  X , also  X \sim \operatorname{Ber}(p) . Dann ist  P(X=0)=1-p und  P(X=1)=p . Rein formell fasst man  X als Zufallsvariable mit Werten in ganz  \N_0 auf und setzt dann P(X=n)=0 für  n \geq 2 . Dann ist

m_X(t)=\sum_{k=0}^{\infty} t^k P[X=k]= 1-p+pt

Ist die Zufallsvariable  Y binomialverteilt mit Parametern n und  p , also  Y \sim \operatorname{Bin}_{n,p} , so ist für  k \leq n

 P(X=k)= \binom nk p^k (1-p)^{n-k}

und  P(X=k)=0 für  k > n . Die wahrscheinlichkeitserzeugende Funktion ist dann

 m_X(t)= \sum_{k=0}^{n}\binom nk (pt)^k (1-p)^{n-k} = (pt+1-p)^n.

Dies folgt mittels des binomischen Lehrsatzes.

Eigenschaften[Bearbeiten]

Eigenschaften als Funktion[Bearbeiten]

Die wahrscheinlichkeitserzeugende Funktion hat einen Konvergenzradius von mindestens 1, die Potenzreihe konvergiert also für alle  t \in [0,1] . Dies folgt daraus, dass alle Koeffizienten der Potenzreihe positiv sind und sich zu 1 aufsummieren. Daraus folgt dann  \sum_{k=0}^{\infty} \left| t^k P[X=k] \right| \leq 1 für  t \in [-1,1] . Damit erben die wahrscheinlichkeitserzeugenden Funktionen auf dem untersuchten Intervall  [0,1] alle Eigenschaften der Potenzreihen: Sie sind stetig und auf dem Intervall [0,1) unendlich oft differenzierbar.

Da jedes der Monome  x^k konvex und monoton wachsend ist und diese Eigenschaften abgeschlossen bezüglich konischen Kombinationen sind, ist auch die wahrscheinlichkeitserzeugende Funktion konvex und monoton wachsend.

Umkehrbarkeit[Bearbeiten]

Die wahrscheinlichkeitserzeugende Funktion bestimmt die Verteilung von X eindeutig:

Sind X und Y \mathbb{N}_{0}-wertige Zufallsvariable mit m_X (t) = m_Y (t) für alle t \in [0,c] mit einem c > 0, dann folgt P[X=k] = P[Y=k] für alle k \in \mathbb{N}_0.

Es gilt dann nämlich nach der Taylor-Formel für alle k \in \mathbb{N}_0

P[X = k] = \dfrac{ m_{X}^{(k)} (0) }{k!} = \dfrac{ m_{Y}^{(k)} (0) }{k!} = P[Y = k].

Dieser Zusammenhang zeigt, dass m_X die Wahrscheinlichkeiten P[X=k] „erzeugt“ und die Wahrscheinlichkeitsfunktion aus der wahrscheinlichkeitserzeugenden Funktion rekonstruiert werden kann.

Summen von Zufallsvariablen[Bearbeiten]

Sind X und Y unabhängige \mathbb{N}_{0}-wertige Zufallsvariable, so gilt für die wahrscheinlichkeitserzeugende Funktion von X + Y

m_{X+Y}(t) = \operatorname{E}(t^{X+Y}) = \operatorname{E}(t^X \cdot t^Y) = \operatorname{E}(t^X) \cdot \operatorname{E}(t^Y) = m_X(t) \cdot m_Y(t),

denn mit X und Y sind auch t^X und t^Y unabhängig. Das lässt sich direkt auf endliche Summen unabhängiger Zufallsvariabler verallgemeinern: Sind X_1 , \ldots , X_n unabhängige \mathbb{N}_{0}-wertige Zufallsvariable, dann gilt für S_n = \sum_{i=1}^n X_i

m_{S_n} (t)= \prod_{i=1}^n m_{X_i} (t) .
Beispiel

Seien  X_1,X_2 unabhängige, Bernoulli-verteilte Zufallsvariablen zum selben Parameter  p . Dann ist die Summe der Zufallsvariablen bekanntermaßen binomialverteilt zu den Parametern  2 und  p , also  X_1+X_2 \sim \operatorname{Bin}_{2,p} . Mit den oben hergeleiteten wahrscheinlichkeitserzeugenden Funktionen für die Bernoulli-Verteilung und die Binomialverteilung folgt

 m_{X_1}(t) \cdot m_{X2}(t)=(1-p+pt)^2=m_{\operatorname{Bin}_{2,p}}(t)=m_{X_1+X_2}(t) .

Momenterzeugung[Bearbeiten]

Für eine \mathbb{N}_{0}-wertige Zufallsvariable X und k \in \N_0 ist

\operatorname E\left[ \binom{X}{k} \right] = \dfrac{ \lim_{t \uparrow 1} m_{X}^{(k)} (t) }{k!}

beziehungsweise

 \operatorname E\left[ X(X-1)\dots(X-k+1)\right]= \lim_{t \uparrow 1} m_{X}^{(k)} (t)  .

Dabei sind beide Seiten der beiden Gleichungen genau dann endlich, wenn  \operatorname{E}  \left[X^k \right] endlich ist.

Damit lassen sich insbesondere der Erwartungswert und die Varianz einer \mathbb{N}_{0}-wertigen Zufallsvariablen aus ihrer wahrscheinlichkeitserzeugenden Funktion ermitteln:

\operatorname{E}\left[X \right] =  \lim_{t \uparrow 1} m_X'(t),
\operatorname{Var} \left[ X \right] = \operatorname E\left[X(X-1)\right] + \operatorname E\left[X \right] - \operatorname E\left[X \right]^2 =   \lim_{t \uparrow 1} \left( m_X''(t) + m_X'(t) - m_X'(t)^2 \right).

Die Betrachtung des linksseitigen Grenzwertes ist hier notwendig, da die Differenzierbarkeit von Potenzreihen auf dem Rande des Konvergenzradius nicht notwendigerweise gegeben ist.

Beispiel

Sei  X eine binomialverteilte Zufallsvariable, also  X \sim \operatorname{Bin}_{n,p} . Dann ist

 m_X(t)=(pt+1-p)^n , \quad m'_X(t)=np(pt+1-p)^{n-1} \text{ und } m''_X(t)=n(n-1)p^2(pt+1-p)^{n-2}

Beide Ableitungen sind Polynome und können daher problemlos für  t=1 ausgewertet werden, der linksseitige Grenzwert braucht also nicht betrachtet werden. Es ist

 m'_X(1)=np \text{ und } m''_X(1)=n(n-1)p^2 .

Damit folgt mit den obigen Ergebnissen

 \operatorname{E}(X)= m'_X(1)=np, \quad \operatorname{Var}(X)=  m_X''(1) + m_X'(1) - m_X'(1)^2=np(1-p) .

Lineare Transformation von Zufallsvariablen[Bearbeiten]

Lineare Transformationen der Zufallsvariable wirken wie folgt auf die wahrscheinlichkeitserzeugende Funktion:

 m_{aX+b}(t)=t^bm_X(t^a) .
Beispiel

Ist  X eine Bernoulli-verteilte Zufallsvariable, also  X \sim \operatorname{Ber}(p) , so ist für  a,b \in \N die Zufallsvariable  Y=aX+b zweipunktverteilt auf  \{a,a+b\} . Die wahrscheinlichkeitserzeugende Funktion ist dann

 m_Y(t)=m_{aX+b}(t)=t^bm_X(t^a)=t^b\cdot(1-p+pt^a)=(1-p)t^b+pt^{a+b} .

Wahrscheinlichkeitserzeugende Funktionen von zufälligen Summen[Bearbeiten]

Mittels wahrscheinlichkeitserzeugender Funktionen lassen sich leicht Summen über eine zufällige Anzahl von Summanden berechnen. Sind  (X_i)_{i \in \mathbb{N}_0} unabhängig identisch verteilte Zufallsvariablen mit Werten in  \mathbb{N}_0 und  T eine weitere, von allen X_i unabhängige Zufallsvariable mit demselben Wertebereich. Dann hat die Zufallsvariable

 Z=\sum_{i=0}^TX_i

die wahrscheinlichkeitserzeugende Funktion

 m_Z(t)=m_T(m_{X_i}(t))

für ein beliebiges i. Diese Eigenschaft macht man sich zum Beispiel bei der Analyse des Galton-Watson-Prozesses zunutze. Nach den obigen Regeln für die Berechnung des Erwartungswertes gilt dann mit der Kettenregel

 \operatorname{E}(Z)=\operatorname{E}(T) \cdot \operatorname{E}(X_1) ,

was der Formel von Wald entspricht.

Für die Varianz gilt dann

 \operatorname{Var}(Z)=\operatorname{Var}(T)\operatorname{E}(X_1)^2+\operatorname{E}(T)\operatorname{Var}(X_1) .

Dies ist genau die Blackwell-Girshick-Gleichung. Auch sie folgt mittels der obigen Regeln zur Bestimmung der Varianz und der Produktregel.

Multivariate wahrscheinlichkeitserzeugende Funktion[Bearbeiten]

Ist  X=(X_1, \dots , X_k) ein k-dimensionaler Zufallsvektor mit Werten in \mathbb{N}_0^k, so ist die wahrscheinlichkeitserzeugende Funktion von  X definiert als

 m_X(t):=m_X(t_1,\dots, t_k)=\operatorname{E} \left( \prod_{i=1}^kt_i^{X_i}\right)=\sum_{x_1,\ldots,x_k=0}^{\infty}\rho(x_1,\ldots,x_k)t_1^{x_1} \dots  t_k^{x_k}

mit \rho(x_1,\ldots,x_k) = P(X_1 = x_1, \dotsc, X_k = x_k).

Erwartungswert, Varianz und Kovarianz[Bearbeiten]

Analog zum eindimensionalen Fall gilt

 \operatorname{E}(X_i)=\frac{\partial m_X}{\partial t_i}(1,\dots, 1) \quad \forall i \in \{1,\dots,k\}

sowie

 \operatorname{Var}(X_i)=\frac{\partial^2 m_X}{{\partial t_i}^2}(1,\dots, 1)+ \frac{\partial m_X}{\partial t_i}(1,\dots, 1)\left( 1- \frac{\partial m_X}{\partial t_i}(1,\dots, 1)\right) \quad \forall i \in \{1,\dots,k\}

und

 \operatorname{Cov}(X_i,X_j)=\frac{\partial^2 m_X}{\partial t_i \partial t_j}(1,\dots, 1) -\frac{\partial m_X}{\partial t_i}(1,\dots, 1)\cdot \frac{\partial m_X}{\partial t_j}(1,\dots, 1)\quad \forall i,j \in \{1,\dots,k\}

Beispiele[Bearbeiten]

In der Tabelle sind einige wahrscheinlichkeitserzeugende Funktionen von gängigen diskreten Verteilungen aufgeführt. Wahrscheinlichkeitserzeugende Funktionen von Wahrscheinlichkeitsverteilungen, die hier nicht aufgeführt sind, stehen in dem jeweiligen Artikel der Wahrscheinlichkeitsfunktion.

Verteilung Wahrscheinlichkeitserzeugende Funktion  m_X(t)
Bernoulli-Verteilung m_X(t) = 1-p + p t
Zweipunktverteilung  m_X(t)=qt^a+bt^b
Binomialverteilung  B(n,p) m_X(t) = (1-p + p t)^n
Geometrische Verteilung  G(p) m_X(t) = \frac{p}{1 - (1-p)t}
Negative Binomialverteilung  NB (r,p) m_X(t) = \left(\frac{p}{1 - (1-p)t}\right)^r
Diskrete Gleichverteilung auf \{1,\dotsc,n\} m_X(t) = \sum_{k=1}^n \frac{1}{n} t^k = \frac{t^{n+1} - t}{n(t-1)}
Logarithmische Verteilung m_{X}(t) = \frac{\ln(1-pt)}{\ln(1-p)}
Poisson-Verteilung  P_\lambda m_{X}(t) = \mathrm{e}^{\lambda(t-1)}
Verallgemeinerte Binomialverteilung  GB (p) m_{X}(t)=\prod\limits_{j=1}^n (1-{p_j}+{p_j}{t})
Multivariate Verteilungen
Multinomialverteilung m_X(t)=\biggl( \sum_{i=1}^k p_i t_i \biggr)^n

Insbesondere ist die wahrscheinlichkeitserzeugende Funktion der Binomialverteilung gleich dem n-fachen Produkt der wahrscheinlichkeitserzeugenden Funktion der Bernoulli-Verteilung, da die Binomialverteilung genau die Summe von unabhängigen Bernoulli-Verteilungen ist. Dasselbe gilt für die geometrische Verteilung und die negative Binomialverteilung.

Zusammenhang mit weiteren erzeugenden Funktionen[Bearbeiten]

Die wahrscheinlichkeitserzeugende Funktion einer Zufallsvariable  X mit Wahrscheinlichkeitsfunktion  p ist ein Spezialfall einer erzeugenden Funktion mit  a_i=p\left({i}\right) für  i \in \mathbb{N}_0 . Außer der wahrscheinlichkeitserzeugenden Funktion gibt es noch drei weitere erzeugende Funktionen in der Stochastik, die aber nicht nur für diskrete Verteilungen definiert werden. Die momenterzeugende Funktion ist definiert als  M_X\left(t\right):=\operatorname{E}\left(e^{tX}\right). Demnach gilt  m_X\left(e^t\right)=M_X\left(t\right) Die charakteristische Funktion ist definiert als  \varphi_X\left(t\right):=\operatorname{E}\left(e^{itX}\right). Demnach gilt  m_X\left(e^{it}\right)=\varphi_X\left(t\right) .

Außerdem gibt es noch die kumulantenerzeugende Funktion als Logarithmus der momenterzeugenden Funktion. Aus ihr wird der Begriff der Kumulante abgeleitet.

Literatur[Bearbeiten]

  • Klaus D. Schmidt: Maß und Wahrscheinlichkeit. Springer, Berlin Heidelberg 2009, ISBN 978-3-540-89729-3, S. 370 ff.
  •  Achim Klenke: Wahrscheinlichkeitstheorie. 3. Auflage. Springer-Verlag, Berlin Heidelberg 2013, ISBN 978-3-642-36017-6.
  •  Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. Für Studium, Berufspraxis und Lehramt. 8. Auflage. Vieweg, Wiesbaden 2005, ISBN 3-8348-0063-5.
  •  Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7.
  •  Christian Hesse: Angewandte Wahrscheinlichkeitstheorie. 1. Auflage. Vieweg, Wiesbaden 2003, ISBN 3-528-03183-2.