Wishart-Verteilung

Namensgeber der Wishart-Verteilung - John Wishart (1898-1856)

Die Wishart-Verteilung ist eine Wahrscheinlichkeitsverteilung und zwar die matrixvariate Entsprechung der χ²-Verteilung. Sie wurde nach dem schottischen Statistiker John Wishart benannt.

Die Wishart-Verteilung spielt eine zentrale Rolle in der Theorie der Zufallsmatrizen und in der multivariaten Statistik.

Wishart Ensemble

In der Theorie der Zufallsmatrizen bezeichnet das Wishart Ensemble den Raum der Wishart-Matrizen. Analog zu Dysons $\beta$-Gaußschem Ensemble spricht man auch vom $\beta$-Wishart Ensemble für (reell) Wishart, komplex Wishart und Quaternion Wishart. Häufig verwendet man aber auch die technische Bezeichnung Laguerre, somit erhält man die $\beta$-Ensembles LOE, LUE und LSE, benannt nach der Invarianz des Maßes unter der entsprechenden kompakten Lie-Gruppen-Konjugation.

Definition

Formale Definition

Sei $M$ eine $m\times m$-Zufallsmatrix. Das Wahrscheinlichkeitsmaß

$W_{m}(n,\Sigma ):={\frac {1}{{\mathcal {W}}_{n,m,\Sigma }}}(\det M)^{(n-m-1)/2}e^{-{\frac {1}{2}}\operatorname {tr} (\Sigma ^{-1}M)}\mathrm {d} M,$

wobei

${\mathcal {W}}_{n,m,\Sigma }:=2^{nm/2}\Gamma _{m}(n/2)(\det \Sigma )^{n/2},$

definiert die zentrierte Wishart-Verteilung mit $n\geq m$ Freiheitsgraden auf dem Raum der symmetrischen positiv definiten Matrizen ($x^{T}Mx>0$).

Mit $\Gamma _{m}(n/2)$ bezeichnet man die multivariate Gammafunktion:

$\Gamma _{m}\left({\frac {n}{2}}\right)=\pi ^{m(m-1)/4}\prod _{j=1}^{m}\Gamma \left({\frac {n}{2}}-{\frac {j-1}{2}}\right).$

Eine Zufallsmatrix $M\sim W_{m}(n,\Sigma )$ nennt man zentrierte Wishart-Matrix.

Im Fall $n<m$ erhält man singuläre Wishart-Matrizen.

Einleitung

Sei $X$ eine $m\times n$-dimensionale Zufallsmatrix, die der zentrierten matrixvariaten Normalverteilung ${\mathcal {N}}_{n,m}(0,\Sigma ,\operatorname {Id} )$ folgt. Dann ist

$W=XX'$

Wishart-verteilt. Das heißt, eine $m\times m$-Wishart-Matrix besteht aus ${\tfrac {1}{2}}m(m+1)$ sich nicht wiederholenden Elementen. Falls $\mathbb {E} [X]=0_{n,m},$ spricht man von einer zentrierten Wishart-Matrix.

Wenn allerdings $X$ nicht zentriert ist, d. h. $X\sim {\mathcal {N}}_{n,m}(\mu ,\Sigma ,\operatorname {Id} )$, dann spricht man von einer nicht-zentrierten Wishart-Matrix, geschrieben $M\sim W_{m}(n,\Sigma ,M)$ (siehe Abschnitt Nicht-zentrierte Wishart-Verteilung). Explizite Formeln sind für diese Matrix in hoher Dimension äußerst kompliziert. Man kann jedoch die charakteristische Funktion angeben.

Falls $X$ einer komplexen matrixvariaten Normalverteilung folgt, dann ist $W$ komplex Wishart-verteilt.

Eigenwertdichte

Sei $M\sim W_{m}(n,\Sigma )$ und $\lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{m}$ die geordneten Eigenwerte. Weiter sei $\mathrm {d} Q$ das normalisierte Haarsche Maß über der orthogonalen Gruppe $\mathbb {O} _{m}$ und $\Lambda =\operatorname {diag} (\lambda _{1},\dots ,\lambda _{m})$, dann ist die Eigenwertdichte

$\mathbb {P} _{m,n}(\lambda _{1},\dots ,\lambda _{m})=C_{m,n}{\frac {1}{(\operatorname {det} \Sigma )^{n/2}}}\prod \limits _{i}\lambda _{i}^{\frac {n-m-1}{2}}\prod \limits _{i<j}(\lambda _{i}-\lambda _{j})\int _{\mathbb {O} _{m}}e^{-{\frac {1}{2}}\operatorname {tr} (\Sigma ^{-1}Q\Lambda Q^{t})}\mathrm {d} Q$,

wobei $C_{m,n}:={\frac {\pi ^{m^{2}/2}}{2^{mn/2}\Gamma _{m}(m/2)\Gamma _{m}(n/2)}}$.

Für das Integral über der orthogonalen Gruppe gibt es keine bekannte geschlossene Formel. Allerdings kann man mit Hilfe der Theorie der zonalen Polynome eine unendliche Reihenentwicklung für das Integral finden.

Für komplexe Wishart-Matrizen geht das Integral über die unitäre Gruppe $\mathbb {U} _{m}$, welches man mittels dem Harish-Chandra-Itzykson-Zuber-Integral berechnen kann.

$\operatorname {det} (\Sigma )$ wird auch als verallgemeinerte Varianz bezeichnet.

Nicht-zentrierte Wishart-Verteilung

Eine symmetrische positive $p\times p$-Zufallsmatrix $M$ folgt der nicht-zentrierten Wishart-Verteilung, geschrieben $M\sim W_{p}(n,\Sigma ,\Xi )$, falls sie folgende Wahrscheinlichkeitsdichte besitzt:

Für $M>0,\ n\geq p$ gilt

$f(M)={\bigg \{}2^{{\frac {1}{2}}np}\Gamma _{p}\left({\frac {1}{2}}n\right)\det(\Sigma )^{{\frac {1}{2}}n}{\bigg \}}^{-1}\exp \left(\operatorname {tr} (-{\frac {1}{2}}\Xi )\right)\exp \left(\operatorname {tr} (-{\frac {1}{2}}\Sigma ^{-1}M)\right)\det(M)^{{\frac {1}{2}}(n-p-1)}{}_{0}F_{1}\left({\frac {1}{2}}n;{\frac {1}{4}}\Xi \Sigma ^{-1}M\right),$

wobei ${}_{0}F_{1}$ die verallgemeinerte hypergeometrische Funktion mit Matrizen-Argument ist.

Wishart-Prozess

Der Wishart-Prozess bzw. dessen Eigenwertprozess ist das Analogon zu Dysons brownscher Bewegung für Kovarianzmatrizen. Sei $S_{n}^{+}$ der Raum der semidefiniten reellen $n\times n$-Matrizen, $S_{0}\in S_{n}^{+}$ und $B_{t}$ eine $n\times n$-Matrix-Brownsche-Bewegung. Weiter sei $Q\in \operatorname {GL} _{n}(\mathbb {R} )$ und $M\in \operatorname {Mat} _{n}(\mathbb {R} )$ sowie $\alpha >n-1$ ein Parameter. Der Wishart-Prozess ist die starke Lösung folgender stochastischen Differentialgleichung:

$\mathrm {d} S_{t}={\sqrt {S_{t}}}\mathrm {d} B_{t}Q+Q^{T}\mathrm {d} B_{t}^{T}{\sqrt {S}}_{t}+\left(MS_{t}+S_{t}M^{T}+\alpha QQ^{T}\right)\mathrm {d} t,\quad t\geq 0$

Betrachtet man das Wishartsche unitäre Ensemble, so wird der Prozess auch häufig Laguerre-Prozess genannt.

Finanzmodelle mit multivariater wishartschen stochastischen Volatilität haben mehr Flexibilität als das klassische Black-Scholes-Modell.

Asymptotisches Spektralmaß

Für unendlich große Standard-Wishart-Matrizen (sowie auch für allgemeinere Formen) gilt für die Eigenwerte das Marchenko-Pastur-Gesetz.

Marchenko-Pastur-Gesetz

Sei $M_{m}\sim W_{m}(n,\operatorname {Id} _{m}),\ M=M_{m}/n$ und $m,n\to \infty ,$ so dass $m/n\to \alpha \in (0,\infty )$, dann konvergiert das empirische Spektralmaß von $M$ auf $[\lambda _{-},\lambda _{+}]:=[(1-{\sqrt {\alpha }})^{2},(1+{\sqrt {\alpha }})^{2}]$ schwach nach

$\operatorname {mp} _{\alpha }(\mathrm {d} x,\omega ):=\left(1-{\frac {1}{\alpha }}\right)^{+}\delta _{0}+{\frac {\sqrt {(x-\lambda _{-})(\lambda _{+}-x)}}{2\pi x\alpha }}1_{x\in [\lambda _{-},\lambda _{+}]}\mathrm {d} x\quad {\text{fast sicher.}}$

Tracy-Widom-Gesetz

→ Hauptartikel: Tracy-Widom-Verteilung

Der größte Eigenwert einer normalisierten Wishart-Matrix folgt dem Tracy-Widom-Gesetz.

Eigenschaften

Die Wishart-Verteilung hat folgende Eigenschaften:

1. Sei $M\sim W_{m}(n,\Sigma )$ und $C$ eine $q\times m$-Matrix mit Rang $q$, dann gilt $CMC^{t}\sim W_{m}(n,C\Sigma C^{t})$.
2. Aus (1.) folgt somit $\Sigma ^{-{\frac {1}{2}}}M\Sigma ^{-{\frac {1}{2}}}\sim W_{m}(n,\operatorname {Id_{m}} )$.
3. Seien $(M_{i})\sim W_{m}(n_{i},\Sigma )$ $k$ unabhängige Wishart-Matrizen. Dann ist $M=\sum \limits _{i=1}^{k}M_{i}\sim W_{m}(n_{1}+\dotsb +n_{k},\Sigma )$ (Reproduktivität).
4. Sei $M\sim W_{m}(n,\Sigma )$, dann $\mathbb {E} [W_{m}]=n\Sigma .$

Für nicht-zentralisierte Wishart-Matrizen gilt

1. Seien $M_{i}\sim W_{m}(n_{i},\Sigma ,\Xi _{i})$ und $i=1,\dots ,k$ und unabhängig, dann ist $M=\sum \limits _{i=1}^{k}M_{i}\sim W_{m}\left(\sum \limits _{i=1}^{k}n_{i},\Sigma ,\sum \limits _{i=1}^{k}\Xi _{i}\right)$ (Reproduktivität).

Herleitung

Seien $X_{1},\dots ,X_{m}\sim {\mathcal {N}}(0,1)$ (standardnormalverteilte Zufallsvariablen). Summiert man die Quadrate der $X_{i},$ erhält man eine Chi-Quadrat-verteilte Zufallsvariable mit $m$ Freiheitsgraden:

$Y=\sum _{i=1}^{m}X_{i}^{2}\sim \chi ^{2}(m)$

Diese Summe lässt sich aber auch als das Produkt eines $m$-variaten Zufallsvektors mit seiner Transponierten auffassen:

$Y=ZZ',$

wobei $Z=(X_{1},\dots ,X_{m})\sim {\mathcal {N}}_{m}(0,\Sigma )$.

Hat man nun $n$ unabhängige Zufallsvektoren $Z_{1},\dots ,Z_{n}\sim {\mathcal {N}}_{m}(0,\Sigma )$, fasst man diese in einer $m\times n$-Zufallsmatrix zusammen:

$\mathbf {X} ={\begin{pmatrix}\vline &\vline &\vline &\vline \\Z_{1}'&Z_{2}'&\dots &Z_{n}'\\\vline &\vline &\vline &\vline \end{pmatrix}}={\begin{pmatrix}Z_{1}^{(1)}&Z_{1}^{(2)}&\cdots &Z_{1}^{(n)}\\Z_{2}^{(1)}&Z_{2}^{(2)}&\cdots &Z_{2}^{(n)}\\\vdots &\vdots &\cdots &\vdots \\Z_{m}^{(1)}&Z_{m}^{(2)}&\cdots &Z_{m}^{(n)}\\\end{pmatrix}}$.

Multipliziert man $\mathbf {X}$ mit ihrer Transponierten, erhält man eine (symmetrische) $m\times m$-Zufallsmatrix, die der Wishart-Verteilung mit $n$ Freiheitsgraden folgt:

${\textbf {W}}=\mathbf {X} \mathbf {X} '=\sum _{i=1}^{n}Z_{i}'Z_{i}$

mit ${\textbf {W}}\sim W_{m}(n,\Sigma )$.

Erläuterungen

Betrachte $n=10$ Observationen mit $2$ Parametern $Z_{1},Z_{2},\dots ,Z_{10}\sim {\mathcal {N}}_{2}(0,\Sigma )$. Sei $Z_{1}=(z_{1}^{(1)},z_{2}^{(1)}),Z_{2}=(z_{1}^{(2)},z_{2}^{(2)}),\dots ,Z_{10}=(z_{1}^{(10)},z_{2}^{(10)})$, dann ist

${\begin{aligned}{\textbf {W}}=\sum _{i=1}^{10}Z_{i}'Z_{i}&={\begin{pmatrix}\left(z_{1}^{(1)}\right)^{2}&z_{1}^{(1)}z_{2}^{(1)}\\z_{1}^{(1)}z_{2}^{(1)}&\left(z_{2}^{(1)}\right)^{2}\end{pmatrix}}+{\begin{pmatrix}\left(z_{1}^{(2)}\right)^{2}&z_{1}^{(2)}z_{2}^{(2)}\\z_{1}^{(2)}z_{2}^{(2)}&\left(z_{2}^{(2)}\right)^{2}\end{pmatrix}}+\cdots +{\begin{pmatrix}\left(z_{1}^{(10)}\right)^{2}&z_{1}^{(10)}z_{2}^{(10)}\\z_{1}^{(10)}z_{2}^{(10)}&\left(z_{2}^{(10)}\right)^{2}\end{pmatrix}}\\&={\begin{pmatrix}\left(z_{1}^{(1)}\right)^{2}+\left(z_{1}^{(2)}\right)^{2}+\cdots +\left(z_{1}^{(10)}\right)^{2}&z_{1}^{(1)}z_{2}^{(1)}+z_{1}^{(2)}z_{2}^{(2)}+\cdots +z_{1}^{(10)}z_{2}^{(10)}\\z_{1}^{(1)}z_{2}^{(1)}+z_{1}^{(2)}z_{2}^{(2)}+\cdots +z_{1}^{(10)}z_{2}^{(10)}&\left(z_{2}^{(1)}\right)^{2}+\left(z_{2}^{(2)}\right)^{2}+\cdots +\left(z_{2}^{(10)}\right)^{2}\end{pmatrix}}\end{aligned}}$.

Das heißt, die Wishart-Matrix ist in diesem Beispiel die Summe aus zehn verschiedenen Matrizen.

Statistisches Beispiel

Seien $X_{1},\dotsc ,X_{n}$ i.i.d. $p$-dimensionale Zufallsvektoren mit Verteilung ${\mathcal {N}}_{p}(\mu ,\Sigma )$. Definiere die Schätzfunktionen für den Erwartungswert und die Varianz

${\overline {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}$

$S={\frac {1}{n-1}}\sum \limits _{i=1}^{n}(X_{i}-{\overline {X}})(X_{i}-{\overline {X}})^{t}$

Dann gilt

$(n-1)S\sim W_{p}(n-1,\Sigma ).$

Erläuterung

Das heißt, die unnormalisierte Kovarianzmatrix der Zufallsstichprobe aus einer multivariaten Normalverteilung folgt der Wishart-Verteilung. Für den Maximum-Likelihood-Schätzer für die Kovarianzmatrix gilt:

${\widehat {\Sigma }}_{ML}={\frac {(n-1)}{n}}S$

Weblinks

• A.V. Prokhorov: Wishart distribution. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 1-55608-010-7 (englisch, encyclopediaofmath.org). 

• Eric W. Weisstein: Wishart Distribution. In: MathWorld (englisch).

Literatur

• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin/Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3. 

Einzelnachweise

Diskrete univariate Verteilungen

Diskrete univariate Verteilungen für endliche Mengen:
Benford | Bernoulli | beta-binomial | binomial | Dirac | diskret uniform | empirisch | hypergeometrisch | kategorial | negativ hypergeometrisch | Rademacher | verallgemeinert binomial | Zipf | Zipf-Mandelbrot | Zweipunkt

Diskrete univariate Verteilungen für unendliche Mengen:
Boltzmann | Conway-Maxwell-Poisson | discrete-Phase-Type | erweitert negativ binomial | Gauss-Kuzmin | gemischt Poisson | geometrisch | logarithmisch | negativ binomial | parabolisch-fraktal | Poisson | Skellam | verallgemeinert Poisson | Yule-Simon | Zeta

Kontinuierliche univariate Verteilungen

Kontinuierliche univariate Verteilungen mit kompaktem Intervall:
Beta | Cantor | Kumaraswamy | raised Cosine | Dreieck | Trapez | U-quadratisch | stetig uniform | Wigner-Halbkreis

Kontinuierliche univariate Verteilungen mit halboffenem Intervall:
Beta prime | Bose-Einstein | Burr | Chi | Chi-Quadrat | Coxian | Erlang | Exponential | Extremwert | F | Fermi-Dirac | Folded normal | Fréchet | Gamma | Gamma-Gamma | verallgemeinert invers Gauß | halblogistisch | halbnormal | Hartman-Watson | Hotellings T-Quadrat | hyper-exponentiale | hypoexponential | invers Chi-Quadrat | scale-invers Chi-Quadrat | Invers Normal | Invers Gamma | Kolmogorow-Verteilung | Lévy | log-normal | log-logistisch | Maxwell-Boltzmann | Maxwell-Speed | Nakagami | nichtzentriert Chi-Quadrat | Pareto | Phase-Type | Rayleigh | relativistisch Breit-Wigner | Rice | Rosin-Rammler | shifted Gompertz | truncated normal | Type-2-Gumbel | Weibull | Wilks’ Lambda

Kontinuierliche univariate Verteilungen mit unbeschränktem Intervall:
Cauchy | Extremwert | exponential Power | Fishers z | Fisher-Tippett (Gumbel) | generalized hyperbolic | Hyperbolic-secant | Landau | Laplace | alpha-stabil | logistisch | normal (Gauß) | normal-invers Gauß’sch | Skew-normal | Studentsche t | Type-1-Gumbel | Variance-Gamma | Voigt

Multivariate Verteilungen

Diskrete multivariate Verteilungen:
Dirichlet compound multinomial | Ewens | gemischt Multinomial | multinomial | multivariat hypergeometrisch | multivariat Poisson | negativmultinomial | Pólya/Eggenberger | polyhypergeometrisch

Kontinuierliche multivariate Verteilungen:
Dirichlet | GEM | generalized Dirichlet | multivariat normal | multivariat Student | normalskaliert invers Gamma | Normal-Gamma | Poisson-Dirichlet

Multivariate Matrixverteilungen:
Gleichverteilung auf der Stiefel-Mannigfaltigkeit | Invers Wishart | Matrix Beta | Matrix Gamma | Matrix invers Beta | Matrix invers Gamma | Matrix Normal | Matrix Student-t | Matrix-Von-Mises-Fisher-Verteilung | Normal-invers-Wishart | Normal-Wishart | Wishart