Quadratische Formen von Zufallsvariablen

Eine quadratische Form von $n$ reellen Zufallsvariablen $X_{1},\dots ,X_{n}$, die eine gemeinsame Wahrscheinlichkeitsverteilung besitzen, ist eine Zufallsvariable, die sich additiv aus Summanden der Form $a_{ij}X_{i}X_{j}$ mit reellen Konstanten $a_{ij}$ für $i,j=1,\dots ,n$ zusammensetzt.

Notation

Vektoren werden standardmäßig als Spaltenvektoren aufgefasst. Der hochgestellte Index $T$ kennzeichnet die Transponierung eines Vektors oder einer Matrix. $\mathbb {R} ^{m\times n}$ bezeichnet die Menge der reellwertigen Matrizen mit $m$ Zeilen und $n$ Spalten. $\mathbf {I} _{n}$ sei die Einheitsmatrix der Ordnung $n$. Für eine quadratische Matrix $\mathbf {A} \in \mathbb {R} ^{n\times n}$ bezeichnet $\operatorname {Spur} (\mathbf {A} )$ die Spur der Matrix $\mathbf {A}$, das ist die Summe der Diagonaleinträge.

Definition

$\mathbf {X} =(X_{1},\dots ,X_{n})^{T}$ sei ein Zufallsvektor mit Werten in $\mathbb {R} ^{n}$. $\mathbf {A} \in \mathbb {R} ^{n\times n}$ sei eine quadratische Matrix mit Elementen $a_{ij}$ für $i,j=1,\dots ,n$. Dann heißt

$\mathbf {X} ^{T}\mathbf {A} \mathbf {X} =\sum _{i=1}^{n}\sum _{j=1}^{n}a_{ij}X_{i}X_{j}$

quadratische Form der reellen Zufallsvariablen $X_{1},\dots ,X_{n}$.

Eigenschaften

• $\mathbf {X} ^{T}\mathbf {A} \mathbf {X}$ ist eine reelle Zufallsvariable.
• Falls $\mathbf {A}$ eine positiv semidefinite Matrix ist, gilt $\mathbf {X} ^{T}\mathbf {A} \mathbf {X} \geq 0$.
• Es gilt $\mathbf {X} ^{T}\mathbf {A} \mathbf {X} =\mathbf {X} ^{T}\mathbf {A} ^{T}\mathbf {X}$. Daher gilt auch $\mathbf {X} ^{T}\mathbf {A} \mathbf {X} =\mathbf {X} ^{T}\mathbf {B} \mathbf {X}$ für die symmetrische Matrix $\mathbf {B} =(\mathbf {A} +\mathbf {A} ^{T})/2$. Für viele Eigenschaften quadratischer Formen von Zufallsvariablen stellt daher die Beschränkung auf symmetrische Matrizen $\mathbf {A}$ keine Einschränkung dar.
• Es gilt

$\mathbf {X} ^{T}\mathbf {I} _{n}\mathbf {X} =\sum _{i=1}^{n}X_{i}^{2}\;.$

Erwartungswert einer quadratischen Form

Satz: $\mathbf {X}$ sei ein $n$-dimensionaler Zufallsvektor mit dem Erwartungswertvektor ${\boldsymbol {\mu }}=(\mu _{1},\dots ,\mu _{n})^{T}\in \mathbb {R} ^{n}$ und der Kovarianzmatrix ${\boldsymbol {\Sigma }}\in \mathbb {R} ^{n\times n}$. Für jede Matrix $\mathbf {A} \in \mathbb {R} ^{n\times n}$ gilt

$\mathbb {E} [\mathbf {X} ^{T}\mathbf {A} \mathbf {X} ]=\operatorname {Spur} (\mathbf {A} {\boldsymbol {\Sigma }})+{\boldsymbol {\mu }}^{T}{\boldsymbol {\Sigma }}{\boldsymbol {\mu }}\;.$

Diese Aussage gilt unabhängig davon, ob $\mathbf {A}$ symmetrisch ist und ob ${\boldsymbol {\Sigma }}$ invertierbar ist. Unmittelbar aus diesem Satz ergeben sich die folgenden Spezialfälle:

• Der zentrierte Zufallsvektor $\mathbf {X} -{\boldsymbol {\mu }}$ hat den Erwartungswertvektor $\mathbf {0} =(0,\dots ,0)^{T}\in \mathbb {R} ^{n}$ und dieselbe Kovarianzmatrix ${\boldsymbol {\Sigma }}$ wie der Zufallsvektor $\mathbf {X}$, so dass sich

$\mathbb {E} [(\mathbf {X} -{\boldsymbol {\mu }})^{T}\mathbf {A} (\mathbf {X} -{\boldsymbol {\mu }})]=\operatorname {Spur} (\mathbf {A} {\boldsymbol {\Sigma }})$

ergibt.

• Ein wichtiger Spezialfall ergibt sich, wenn die Kovarianzmatrix ${\boldsymbol {\Sigma }}$ invertierbar ist. Dann gilt

$\mathbb {E} [(\mathbf {X} -{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}(\mathbf {X} -{\boldsymbol {\mu }})]=n$,

denn $\operatorname {Spur} ({\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\Sigma }})=\operatorname {Spur} (\mathbf {I_{n}} )=n$.

• Für einen Vektor $\mathbf {b} \in \mathbb {R} ^{n}$ hat der Zufallsvektor $\mathbf {X} -\mathbf {b}$ den Erwartungswertvektor ${\boldsymbol {\mu }}-\mathbf {b}$ und dieselbe Kovarianzmatrix ${\boldsymbol {\Sigma }}$ wie der Zufallsvektor $\mathbf {X}$, so dass sich

$\mathbb {E} [(\mathbf {X} -\mathbf {b} )^{T}\mathbf {A} (\mathbf {X} -\mathbf {b} )]=\operatorname {Spur} (\mathbf {A} {\boldsymbol {\Sigma }})+({\boldsymbol {\mu }}-\mathbf {b} )^{T}{\boldsymbol {\Sigma }}({\boldsymbol {\mu }}-\mathbf {b} )$

ergibt.

Wahrscheinlichkeitsungleichungen für quadratische Formen

Satz: $\mathbf {X}$ sei ein $n$-dimensionaler Zufallsvektor mit dem Erwartungswertvektor ${\boldsymbol {\mu }}\in \mathbb {R} ^{n}$ und der Kovarianzmatrix ${\boldsymbol {\Sigma }}\in \mathbb {R} ^{n\times n}$. Es sei $\mathbf {b} \in \mathbb {R} ^{n}$ und die quadratischen reellen Matrizen $\mathbf {B} _{j}\in \mathbb {R} ^{n\times n}$ für $j=1,\dots ,m$ seien positiv semidefinit. Mit positiven Konstanten $\delta _{j}>0$ für $j=1,\dots ,m$ seien die $m$ Ereignisse

$A_{j}:=\{(\mathbf {X} -{\boldsymbol {b}})^{T}\mathbf {B} _{j}(\mathbf {X} -{\boldsymbol {b}})\leq \delta _{j}\},\quad j=1,\dots ,m$

definiert. Dann gilt

$P\left(\bigcap _{j=1}^{m}A_{j}\right)\geq 1-\left({\frac {\gamma _{1}}{\delta _{1}}}+\dots +{\frac {\gamma _{m}}{\delta _{m}}}\right)$

mit

$\gamma _{j}=\operatorname {Spur} (\mathbf {B} _{j}{\boldsymbol {\Sigma }})+({\boldsymbol {\mu }}-{\boldsymbol {b}})^{T}{\boldsymbol {\mathrm {B} }}_{j}({\boldsymbol {\mu }}-{\boldsymbol {b}}),\quad j=1,\dots ,m.$

Ein wichtiger Spezialfall ergibt sich für $m=1$, ${\boldsymbol {b}}={\boldsymbol {\mu }}$, $\mathbf {B} _{1}={\boldsymbol {\Sigma }}^{-1}$ und $\delta _{1}=\delta >0$. Dann gelten die Ungleichungen

$P\left((\mathbf {X} -{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}(\mathbf {X} -{\boldsymbol {\mu }})\leq \delta \right)\geq 1-{\frac {n}{\delta }}$

und

$P\left((\mathbf {X} -{\boldsymbol {\mu }})^{T}{\boldsymbol {\Sigma }}^{-1}(\mathbf {X} -{\boldsymbol {\mu }})>\delta \right)\leq {\frac {n}{\delta }}\;.$

Die letzte Ungleichung wurde bereits 1962 von Samuel Stanley Wilks angegeben und ist eine multivariate Verallgemeinerung der Tschebyscheffschen Ungleichung, die für eine reelle Zufallsvariable $X$ mit dem Erwartungswert $\mu$ und der Varianz $0<\sigma ^{2}<\infty$ in der Form

$P\left({\frac {(X-\mu )^{2}}{\sigma ^{2}}}>\delta \right)\leq {\frac {1}{\delta }},\quad \delta >0$

geschrieben werden kann.

Literatur

• A. M. Mathai, Serge B. Provost: Quadratic Forms in Random Variables – Theory and Applications (= Statistics: Textbooks and Monographs. Band 126). Dekker, New York / Basel /Hong Kong 1992, ISBN 0-8247-8691-2. 
• D. R. Jensen: Joint Distributions of Quadratic Forms. In: SIAM Journal on Applied Mathematics. Band 42, Nr. 2, 1982, S. 297–301, JSTOR:2101213.