Normalverteilung

Dichtefunktionen der Normalverteilungen
$\scriptstyle\mathcal N(0,1)$ (blau), $\scriptstyle\mathcal N(0,2)$ (grün) und $\scriptstyle\mathcal N(-1,2)$ (rot)

Die Normal- oder Gauß-Verteilung (nach Carl Friedrich Gauß) ist ein wichtiger Typ stetiger Wahrscheinlichkeitsverteilungen. Ihre Wahrscheinlichkeitsdichte wird auch Gauß-Funktion, Gauß-Kurve, Gauß-Glocke, Gaußsche Glockenkurve oder schlicht Glockenkurve genannt.

Die besondere Bedeutung der Normalverteilung beruht unter anderem auf dem zentralen Grenzwertsatz, der besagt, dass eine Summe von $n$ unabhängigen, identisch verteilten Zufallsvariablen mit endlicher Varianz (s. die Cauchy-Verteilung als Gegenstück) im Grenzwert $n\rightarrow\infty$ normalverteilt ist. Das bedeutet, dass man Zufallsvariablen dann als normalverteilt ansehen kann, wenn sie durch Überlagerung einer großen Zahl von unabhängigen Einflüssen entstehen, wobei jede einzelne Einflussgröße einen im Verhältnis zur Gesamtsumme unbedeutenden Beitrag liefert.

Die Abweichungen der (Mess)Werte vieler natur-, wirtschafts- und ingenieurswissenschaftlicher Vorgänge vom Mittelwert lassen sich durch die Normalverteilung (bei biologischen Prozessen oft logarithmische Normalverteilung) entweder exakt oder wenigstens in sehr guter Näherung beschreiben (vor allem Prozesse, die in mehreren Faktoren unabhängig voneinander in verschiedene Richtungen wirken).

Zufallsgrößen mit Normalverteilung benutzt man zur Beschreibung zufälliger Vorgänge wie:

• zufällige Messfehler,
• zufällige Abweichungen vom Nennmaß bei der Fertigung von Werkstücken,
• Beschreibung der brownschen Molekularbewegung.

In der Versicherungsmathematik ist die Normalverteilung geeignet zur Modellierung von Schadensdaten im Bereich mittlerer Schadenshöhen.

In der Messtechnik wird häufig eine Normalverteilung angesetzt, die die Streuung der Messfehler beschreibt. Hierbei ist von Bedeutung, wie viele Messpunkte innerhalb einer gewissen Streubreite liegen. Die Standardabweichung $\sigma$ beschreibt die Breite der Normalverteilung und hängt mit der Halbwertsbreite zusammen. Es gilt näherungsweise:

• Im Intervall der Abweichung $\pm \sigma$ vom Mittelwert sind 68,27 % aller Messwerte zu finden,
• Im Intervall der Abweichung $\pm 2\sigma$ vom Mittelwert sind 95,45 % aller Messwerte zu finden,
• Im Intervall der Abweichung $\pm 3\sigma$ vom Mittelwert sind 99,73 % aller Messwerte zu finden.

Und ebenso lassen sich umgekehrt für gegebene Wahrscheinlichkeiten die maximalen Abweichungen vom Mittelwert finden:

• 50 % aller Messwerte haben eine Abweichung von höchstens $0{,}675\sigma$ vom Mittelwert,
• 90 % aller Messwerte haben eine Abweichung von höchstens $1{,}645\sigma$ vom Mittelwert,
• 95 % aller Messwerte haben eine Abweichung von höchstens $1{,}960\sigma$ vom Mittelwert,
• 99 % aller Messwerte haben eine Abweichung von höchstens $2{,}575\sigma$ vom Mittelwert.

Somit kann neben dem Mittelwert auch der Standardabweichung eine einfache Bedeutung zugeordnet werden.

Geschichte

Gaußsche Glockenkurve auf einem Zehn-Mark-Schein.

Im Jahre 1733 zeigte Abraham de Moivre in seiner Schrift „The Doctrine of Chances“ im Zusammenhang mit seinen Arbeiten am Grenzwertsatz für Binomialverteilungen eine Abschätzung des Binomialkoeffizienten, welche als Vorform der Normalverteilung gedeutet werden kann. Die für die Normierung der Normalverteilungsdichte zur Wahrscheinlichkeitsdichte notwendige Berechnung des nicht elementaren Integrals

$\int_{-\infty}^\infty e^{-\frac 12 t^2}\mathrm dt = \sqrt{2\pi}$

gelang Pierre-Simon Laplace im Jahr 1782 (nach anderen Quellen Poisson). Im Jahr 1809 publizierte Gauß sein Werk „Theoria motus corporum coelestium in sectionibus conicis solem ambientium“ (dt.: Theorie der Bewegung der in Kegelschnitten sich um die Sonne bewegenden Himmelskörper), welches neben den eng zusammenhängenden Methoden der kleinsten Quadrate und der Maximum-Likelihood-Schätzung die Normalverteilung definiert. Ebenfalls Laplace war es, der 1810 den Satz vom zentralen Grenzwert bewies, der die Grundlage der theoretischen Bedeutung der Normalverteilung darstellt und de Moivres Arbeit am Grenzwertsatz für Binomialverteilungen abschloss. Adolphe Quételet erkannte schließlich bei Untersuchungen des Brustumfangs von mehreren tausend Soldaten im Jahr 1844 eine verblüffende Übereinstimmung mit der Normalverteilung und brachte die Normalverteilung in die angewandte Statistik. Er hat vermutlich die Bezeichnung Normalverteilung geprägt.

Definition

Dichtefunktion der Standardnormalverteilung $\varphi(x)=\tfrac {1}{\sqrt{2\pi}} e^{-\frac {1}{2} x^2}$

Eine stetige Zufallsvariable $X$ mit der Wahrscheinlichkeitsdichte $f\colon\R\to\R$, gegeben durch:

$f(x) = \frac {1}{\sigma\sqrt{2\pi}} e^{-\frac {1}{2} \left(\frac{x-\mu}{\sigma}\right)^2}$

heißt $\mu$-$\sigma^2$-normalverteilt, auch geschrieben als $X \sim \mathcal N\left(\mu, \sigma^2\right)$ oder $(\mu,\sigma^2)$-normalverteilt, wobei $\mu$ der Erwartungswert und $\sigma^2$ die Varianz sind.

Die Verteilungsfunktion der Normalverteilung ist gegeben durch

$F(x) = \frac{1}{\sigma\sqrt{2\pi}} \int_{-\infty}^x e^{-\frac{1}{2} \left(\frac{t-\mu}{\sigma}\right)^2} \mathrm dt$

$= \frac{1}{\sqrt{2\pi}} \int\limits_{-\infty}^{(x-\mu)/\sigma} e^{-\frac 12 z^2} \mathrm dz = \Phi (\tfrac{x-\mu}{\sigma})$

Darin ist $\Phi$ die Verteilungsfunktion der Standardnormalverteilung

$\Phi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x e^{-\frac{1}{2} t^2} \mathrm dt$

Die Dichtefunktion der Standardnormalverteilung ist

$\varphi(x)=\frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2} x^2}$,

welche nebenstehend dargestellt ist.

Die mehrdimensionale Verallgemeinerung findet man im Artikel mehrdimensionale Normalverteilung.

Eigenschaften

Symmetrie

Der Graph der Wahrscheinlichkeitsdichte $f\colon\R\to\R$ ist eine gaußsche Glockenkurve, deren Höhe und Breite von $\sigma$ abhängt. Sie ist achsensymmetrisch zur Achse $x = \mu$. Ihre Stammfunktion $F$ ist punktsymmetrisch relativ zum Punkt $(\mu ; 0{,}5)$.

Maximalwert und Wendepunkte der Dichtefunktion

Mit Hilfe der ersten und zweiten Ableitung lassen sich der Maximalwert und die Wendepunkte bestimmen. Die erste Ableitung ist

$f'(x) = -\frac{x-\mu}{\sigma^2} f(x).$

Das Maximum der Dichtefunktion der Normalverteilung liegt demnach bei $x_\mathrm{max} = \mu$ und beträgt dort $f_\mathrm{max} = \tfrac 1{\sigma\sqrt{2\pi}}.$

Die zweite Ableitung lautet

$f''(x) = \frac 1{\sigma^2}\left(\frac 1{\sigma^2}(x-\mu)^2-1\right) f(x).$

Somit liegen die Wendestellen der Dichtefunktion bei $x=\mu\pm\sigma$. Die Dichtefunktion hat an den Wendestellen den Wert $\tfrac 1{\sigma\sqrt{2\pi e}}$.

Normierung

Wichtig ist, dass die gesamte Fläche unter der Kurve gleich 1 ist, also der Wahrscheinlichkeit eines sicheren Ereignisses entspricht. Somit folgt, dass, wenn zwei gaußsche Glockenkurven dasselbe $\mu$, aber unterschiedliche $\sigma$-Werte haben, jene Kurve mit dem größeren $\sigma$ breiter und niedriger ist (da ja beide zugehörigen Flächen jeweils den Wert von 1 haben und nur die Standardabweichung (oder „Streuung“) höher ist). Zwei Glockenkurven mit dem gleichen $\sigma$, aber unterschiedlichen $\mu$ haben gleich aussehende Graphen, die jedoch auf der $x$-Achse um die Differenz der $\mu$-Werte zueinander verschoben sind.

Jede Normalverteilung ist tatsächlich normiert, denn mit Hilfe der linearen Substitution

$z= \frac{t-\mu}\sigma$

erhalten wir:

$\int_{-\infty}^\infty \frac 1{\sigma \sqrt{2\pi}} e^{-\frac 12 \left(\frac{t-\mu}\sigma\right)^2} \mathrm dt= \frac 1{\sqrt{2\pi}} \int_{-\infty}^\infty e^{-\frac 12 z^2} \mathrm dz=1.$

Für die Normiertheit des letzteren Integrals siehe den Artikel Fehlerintegral.

Berechnung

Da sich $\Phi(z)$ nicht auf eine elementare Stammfunktion zurückführen lässt, wurde für die Berechnung früher meist auf Tabellen zurückgegriffen (siehe Tabelle der Standardnormalverteilung). Heutzutage sind in üblichen Tabellenkalkulationsprogrammen Zellenfunktionen verfügbar, die einem auch die Transformation auf beliebige $\mu$ und $\sigma$ abnehmen. Die dahinter liegenden Näherungen sind transformierte Polynome.

Erwartungswert

Der Erwartungswert der Standardnormalverteilung ist 0. Es sei $X \sim \mathcal N\left(0,1\right)$, so gilt

$\operatorname{E}(X) =\frac{1}{\sqrt{2\pi}}\int\limits_{-\infty}^{+\infty}x\ e^{-\frac 12 x^2}\mathrm dx = 0,$

da der Integrand integrierbar ist und punktsymmetrisch.

Ist nun $Y \sim \mathcal N\left(\mu, \sigma^2\right)$, so gilt $X=(Y-\mu)/\sigma$ sei standardnormalverteilt, und somit

$\operatorname{E}(Y)=\operatorname{E}(\sigma X + \mu)=\sigma \underbrace{\operatorname{E}(X)}_{=0} + \mu=\mu.$

Varianz und weitere Streumaße

Die Varianz der $\mu$-$\sigma^2$-normalverteilten Zufallsgröße ist tatsächlich $\sigma^2$, ein elementarer Beweis wird Poisson zugeschrieben.

Die mittlere absolute Abweichung ist $\sqrt{2/\pi}\sigma \approx 0{,}80\sigma$ und der Interquartilsabstand $\approx 1{,}349\sigma$.

Variationskoeffizient

Aus Erwartungswert $\mu$ und Standardabweichung $\sigma$ der $\mathcal N(\mu,\sigma^2)$-Verteilung erhält man unmittelbar den Variationskoeffizienten

$\operatorname{VarK} = \frac{\sigma}{\mu}.$

Schiefe

Die Schiefe besitzt unabhängig von den Parametern $\mu$ und $\sigma$ immer den Wert 0.

Charakteristische Funktion

Die charakteristische Funktion für eine standardnormalverteilte Zufallsvariable $Z$ berechnet sich gemäß

$\begin{align} \varphi_Z(s) &= \operatorname E(e^{isZ})\\ &= \frac 1{\sqrt{2\pi}}\int\limits_{-\infty}^\infty e^{isz} e^{-\frac 12 z^2} \mathrm dz\\ &= \frac 1{\sqrt{2\pi}}\int\limits_{-\infty}^\infty e^{-\frac 12 (z-is)^2} e^{-\frac 12 s^2} \mathrm dz\\ &= \frac 1{\sqrt{2\pi}}e^{-\frac 12 s^2} \int\limits_{-\infty}^\infty e^{-\frac 12 z^2} \mathrm dz\\ &= e^{-\frac 12 s^2}. \end{align}$

Den Übergang von der dritten zur vierten Zeile erhält man dabei durch Anwendung des Cauchyschen Integralsatzes.

Für eine Zufallsvariable $X \sim \mathcal N(\mu, \sigma^2)$ erhält man nun

$\begin{align} \varphi_X(s) &= \operatorname E(e^{is(\sigma Z + \mu)})\\ &= \operatorname E(e^{is\sigma Z}e^{is\mu})\\ &= e^{is\mu}\operatorname E(e^{is\sigma Z})\\ &= e^{is\mu}\varphi_Z(\sigma s)\\ &= \exp\left(is\mu-\tfrac 12 \sigma^2 s^2\right), \end{align}$

wobei $Z \sim \mathcal N(0,1)$.

Momenterzeugende Funktion

Die momenterzeugende Funktion der Normalverteilung ist

$m_X(s) = \exp\left(\mu s+\frac{\sigma^2 s^2}2\right).$

Momente

Sei $X$ $N(\mu,\sigma^2)$-verteilt. Dann sind die ersten Momente wie folgt:

Nummer, $k$	Moment, $\operatorname E(X^k)$	zentriertes Moment	Kumulante
0	1	1
1	$\mu$	0	$\mu$
2	$\mu^2 + \sigma^2$	$\sigma^2$	$\sigma^2$
3	$\mu^3 + 3\mu\sigma^2$	0	0
4	$\mu^4 + 6 \mu^2 \sigma^2 + 3 \sigma^4$	$3 \sigma^4$	0
5	$\mu^5 + 10 \mu^3 \sigma^2 + 15 \mu \sigma^4$	0	0
6	$\mu^6 + 15 \mu^4 \sigma^2 + 45 \mu^2 \sigma^4 + 15 \sigma^6$	$15 \sigma^6$	0
7	$\mu^7 + 21 \mu^5 \sigma^2 + 105 \mu^3 \sigma^4 + 105 \mu \sigma^6$	0	0
8	$\mu^8 + 28 \mu^6 \sigma^2 + 210 \mu^4 \sigma^4 + 420 \mu^2 \sigma^6 + 105 \sigma^8$	$105 \sigma^8$	0

Alle zentralen Momente $\mu_n$ lassen sich durch die Standardabweichung $\sigma$ darstellen:

$\mu_{n}=\begin{cases} 0 & \text{wenn }n\text{ ungerade}\\ \sigma^{n}\,(n-1)!! & \text{wenn }n\text{ gerade}\end{cases}$

dabei wurde die Doppelfakultät verwendet:

$(n-1)!!=(n-1)\cdot(n-3)\dotsm 3\cdot 1\quad\mathrm{f\ddot{u}r}\ n\ \mathrm{gerade}.$

Invarianz gegenüber Faltung

Die Normalverteilung ist invariant gegenüber der Faltung, d. h. die Summe unabhängiger normalverteilter Zufallsgrößen ist wieder normalverteilt. Eine veranschaulichende Formulierung dieses Sachverhaltes lautet: Die Faltung einer Gaußkurve der Halbwertsbreite $\Gamma_a$ mit einer Gaußkurve der Halbwertsbreite $\Gamma_b$ ergibt wieder eine Gaußkurve mit der Halbwertsbreite

$\Gamma_c = \sqrt{\Gamma_a^2 + \Gamma_b^2}.$

Sind also $X, Y$ zwei unabhängige Zufallsvariable mit

$X \sim \mathcal N(\mu_X,\sigma_X^2),\ Y \sim \mathcal N(\mu_Y,\sigma_Y^2),$

so ist deren Summe ebenfalls normalverteilt:

$X+Y \sim \mathcal N(\mu_X+\mu_Y,\sigma_X^2+\sigma_Y^2).$

Das lässt sich dadurch beweisen, dass die charakteristische Funktion der Summe das Produkt der charakteristischen Funktionen der Summanden ist.

Speziell ist das arithmetische Mittel $n$ unabhängiger und normalverteilter Zufallsgrößen $X_i \sim \mathcal N(\mu_i, \sigma_i^2)$ wieder eine normalverteilte Zufallsgröße mit

$Z \sim \mathcal N\left(\frac 1n \sum_{i=1}^n \mu_i, \frac 1{n^2} \sum_{i=1}^n \sigma_i^2 \right).$

Nach dem Satz von Cramér gilt sogar die Umkehrung: Ist eine normalverteilte Zufallsgröße die Summe von unabhängigen Zufallsgrößen, dann sind die Summanden ebenfalls normalverteilt.

Die Dichtefunktion der Normalverteilung ist ein Fixpunkt der Fourier-Transformation, d. h. die Fourier-Transformierte einer Gaußkurve ist wieder eine Gaußkurve. Das Produkt der Standardabweichungen dieser korrespondierenden Gaußkurven ist konstant; es gilt die heisenbergsche Unschärferelation.

Entropie

Die Normalverteilung hat die Entropie: $\log\left(\sigma\sqrt{2\,\pi\,e}\right)$.

Da sie für gegebenen Mittelwert und gegebene Varianz die größte Entropie unter allen Verteilungen hat, wird sie in der Maximum-Entropie-Methode oft als A-priori-Wahrscheinlichkeit verwendet.

Beziehungen zu anderen Verteilungsfunktionen

Transformation zur Standardnormalverteilung

Eine Normalverteilung mit beliebigen $\mu$ und $\sigma$ und der Verteilungsfunktion F hat, wie oben erwähnt, die nachfolgende Beziehung zur $\mathcal{N}(0,1)$-Verteilung:

$F(x) = \Phi \left(\tfrac{x-\mu}{\sigma}\right).$

Darin ist $\Phi$ die Verteilungsfunktion der Standardnormalverteilung.

Wenn $X\sim \mathcal{N}(\mu,\sigma^2)$, dann führt die Transformation

$Z=\frac{X-\mu}{\sigma}$

zu einer standardnormalverteilten Zufallsvariablen Z, denn

$P(Z\le z)=P(\tfrac{X-\mu}{\sigma}\le z)=P(X\le \sigma z+\mu)=F(\sigma z+\mu)=\Phi(z).$

Geometrisch betrachtet entspricht die durchgeführte Substitution einer flächentreuen Transformation der Glockenkurve von $\mathcal{N}(\mu;\sigma^2)$ zur Glockenkurve von $\mathcal{N}(0;1)$.

Approximation der Binomialverteilung durch die Normalverteilung

Die Normalverteilung kann zur Approximation der Binomialverteilung verwendet werden, wenn der Stichprobenumfang $n$ hinreichend groß und in der Grundgesamtheit der Anteil $p$ der gesuchten Eigenschaft nicht zu klein ist. Als Faustregeln dafür gelten: $np(1-p)\geq 9$, was für die Standardabweichung bedeutet: $\sigma\geq 3$

Falls diese Bedingung nicht erfüllt sein sollte, ist die Näherung immer noch vertretbar genau, wenn gilt: $np\geq 4$ und zugleich $n(1-p)\geq 4$.

Ist eine Binomialverteilung (Bernoulli-Versuch) mit $n$ voneinander unabhängigen Stufen (bzw. Zufallsversuchen) mit einer Erfolgswahrscheinlichkeit $p$ gegeben, so lässt sich die Wahrscheinlichkeit für $k$ Erfolge allgemein durch $P(X=k)= \tbinom{n}{k} \cdot p^k\cdot (1-p)^{n-k}$ für $k=0,1,\dots,n$ berechnen.

Für sehr große Werte von $n$ kann diese Binomialverteilung durch eine Normalverteilung approximiert werden (Satz von Moivre-Laplace, zentraler Grenzwertsatz). Dabei ist

• der Erwartungswert $\mu=n\cdot p$
• und die Standardabweichung $\sigma=\sqrt{n \cdot p \cdot (1-p) }$

Ist nun $\sigma > 3$, dann ist folgende Näherung brauchbar:

$\begin{align} P(x_1 \leq X \leq x_2) &= \underbrace{\sum_{k=x_1}^{x_2} {n \choose k} \cdot p^k\cdot (1-p)^{n-k}}_{\mathrm{BV}}\\ &\approx \underbrace{\Phi\left(\frac{x_2+0,5-\mu}{\sigma}\right) -\Phi\left(\frac{x_1-0,5-\mu}{\sigma}\right)}_{\mathrm{NV}}. \end{align}$

Bei der Normalverteilung wird die untere Grenze um 0,5 verkleinert und die obere Grenze um 0,5 vergrößert, um eine bessere Approximation bei einer geringen Standardabweichung $\sigma$ gewährleisten zu können. Dies nennt man auch Stetigkeitskorrektur. Nur wenn $\sigma$ einen sehr hohen Wert besitzt, kann auf sie verzichtet werden.

Da die Binomialverteilung diskret ist, muss auf einige Punkte geachtet werden:

• $<$ oder $\leq$ (und auch größer und größer gleich) müssen beachtet werden (was ja bei der Normalverteilung nicht der Fall ist). Deshalb muss bei $P(X_{BV}<x)$ die nächstkleinere natürliche Zahl gewählt werden, d. h.

$P(X_{BV}<x)=P(X_{BV}\leq x-1)$ bzw. $P(X_{BV}>x)=P(X_{BV}\geq x+1)$

damit mit der Normalverteilung weitergerechnet werden kann.

z. B. $P(X_{BV}<70)=P(X_{BV}\leq 69)$

• Außerdem ist

$P(X_{BV} \leq x) = P(0 \leq X_{BV} \leq x)$

$P(X_{BV} \geq x) = P(x \leq X_{BV} \leq n)$

$P(X_{BV} = x) = P(x \leq X_{BV} \leq x)$ (unbedingt mit Stetigkeitskorrektur)

und lässt sich somit durch die oben angegebene Formel berechnen.

Der große Vorteil der Approximation liegt darin, dass sehr viele Stufen einer Binomialverteilung sehr schnell und einfach bestimmt werden können.

Beziehung zur Cauchy-Verteilung

Der Quotient von zwei unabhängigen $\mathcal{N}(0,1)$ standardnormalverteilten Zufallsvariablen ist Cauchy-verteilt.

Beziehung zur Chi-Quadrat-Verteilung

• Die Summe $X_n=Z_1^2 + \cdots + Z_n^2$ von $n$ unabhängigen quadrierten standardnormalverteilten Zufallsvariablen $Z_i\sim \mathcal{N}(0,1) (i=1,\ldots,n)$ genügt einer Chi-Quadrat-Verteilung $X_n\sim\chi^2_n$ mit $n$ Freiheitsgraden.

• Die Summe $X_{n-1}=\frac{1}{n-1}\sum_{i=1}^{n} (Z_{i}-\overline Z)^{2}$ mit $\overline Z:=\frac{1}{n}\sum_{i=1}^{n} Z_i$ und $n$ unabhängigen normalverteilten Zufallsvariablen $Z_i\sim \mathcal{N}(\mu,\sigma^{2}) (i=1,\ldots,n)$ genügt einer Chi-Quadrat-Verteilung $X_{n-1}\sim\chi^2_{n-1}$ mit $n-1$ Freiheitsgraden.

• Mit steigender Zahl an Freiheitsgraden (df >> 100) nähert sich die Chi-Quadrat-Verteilung der Normalverteilung an.

• Die Chi-Quadrat-Verteilung wird zur Konfidenzschätzung für die Varianz einer normalverteilten Grundgesamtheit verwendet.

Beziehung zur Rayleigh-Verteilung

Der Betrag $Z = \sqrt{X^2 + Y^2}$ zweier normalverteilter Zufallsvariablen $X, Y$ ist Rayleigh-verteilt.

Beziehung zur logarithmischen Normalverteilung

Ist die Zufallsvariable $X$ normalverteilt mit $\mathcal{N}(\mu,\sigma^{2})$, dann ist die Zufallsvariable $Y=e^{X}$ logarithmisch-normalverteilt mit $\mathcal{LN}(\mu,\sigma^{2})$.

Die Entstehung einer logarithmischen Normalverteilung ist auf multiplikatives, die einer Normalverteilung auf additives Zusammenwirken vieler Zufallsgrößen zurückführen.

Beziehung zur F-Verteilung

Wenn die identischen normalverteilten Zufallsvariablen $X_1^{(1)}, X_2^{(1)}, \dots , X_n^{(1)}$ und $X_1^{(2)}, X_2^{(2)}, \dots , X_n^{(2)}$ die Parameter

$\operatorname E(X_{i}^{(1)})=\mu_{1}, \sqrt{\operatorname{Var}(X_{i}^{(1)})}=\sigma_{1}$

$\operatorname E(X_{i}^{(2)})=\mu_{2}, \sqrt{\operatorname{Var}(X_{i}^{(2)})}=\sigma_{2}$

mit $\sigma_{1}=\sigma_{2}=\sigma$ besitzen, dann unterliegt die Zufallsvariable

$Y_{n_{1}-1,n_{2}-1}:=\frac{(n_{2}-1)\sum\limits_{i=1}^{n_{1}}(X_{i}^{(1)}-\bar{{X}}^{(1)})^{2}} {(n_{1}-1)\sum\limits_{j=1}^{n_{2}}(X_{i}^{(2)}-\bar{{X}}^{(2)})^{2}}$

einer F-Verteilung mit $((n_{1}-1,n_{2}-1))$ Freiheitsgraden. Dabei sind

$\bar{X}^{(1)}=\frac{1}{n_{1}}\sum_{i=1}^{n_{1}}X_{i}^{(1)},\quad \bar{X}^{(2)}=\frac{1}{n_{2}}\sum_{i=1}^{n_{2}}X_{i}^{(2)}.$

Beziehung zur Studentschen t-Verteilung

Wenn die unabhängigen Zufallsvariablen $X_1, X_2, \dots , X_n$ identisch normalverteilt sind mit den Parametern $\mu$ und $\sigma$, dann unterliegt die stetige Zufallsgröße

$Y_{n-1}=\frac{\bar{X}-\mu}{\displaystyle\sqrt{\frac{\sum_{i=1}^{n}(X_{i}-\bar{X})^{2}}{n-1}}}\sqrt{n}$

einer Studentschen t-Verteilung mit $(n-1)$ Freiheitsgraden.

Für eine steigende Anzahl an Freiheitsgraden nähert sich die Student-t-Verteilung der Normalverteilung immer näher an. Als Faustregel gilt, dass man ab ca. $df > 30$ die Student-t-Verteilung bei Bedarf durch die Normalverteilung approximieren kann.

Die Student-t-Verteilung wird zur Konfidenzschätzung für den Erwartungswert einer normalverteilten Zufallsvariable bei unbekannter Varianz verwendet.

Rechnen mit der Standardnormalverteilung

Bei Aufgabenstellungen, bei denen die Wahrscheinlichkeit für ${\mu}-{\sigma^2}$-normalverteilte Zufallsvariablen durch die Standardnormalverteilung ermittelt werden soll, ist es nicht nötig, die oben angegebene Transformation jedes Mal durchzurechnen. Stattdessen wird einfach die Transformation

$Z = \frac {X-\mu}{\sigma}$

verwendet, um eine $\mathcal{N}(0;1)$-Verteilte Zufallsvariable Z zu erzeugen.

Die Wahrscheinlichkeit für das Ereignis, dass z. B. X im Interval $[x,y]$ liegt, ist durch folgende Umrechnung gleich einer Wahrscheinlichkeit der Standardnormalverteilung:

$\begin{align} P(x \leq X \leq y) &= P\left(\frac {x-\mu}{\sigma} \leq \frac {X-\mu}{\sigma} \leq \frac {y-\mu}{\sigma}\right)\\ &=P\left(\frac {x-\mu}{\sigma} \leq Z \leq \frac {y-\mu}{\sigma}\right)\\ &=\Phi\left(\frac {y-\mu}{\sigma}\right)-\Phi\left(\frac {x-\mu}{\sigma}\right) \end{align}$

Grundlegende Fragestellungen

Allgemein gibt die Verteilungsfunktion die Fläche unter der Glockenkurve bis zum Wert $x$ an, d. h. es wird das bestimmte Integral von $-\infty$ bis $x$ berechnet.

Dies entspricht in Aufgabenstellungen einer gesuchten Wahrscheinlichkeit, bei der die Zufallsvariable $X$ kleiner oder kleiner gleich einer bestimmten Zahl $x$ ist. Durch die Verwendung der reellen Zahlen und der Stetigkeit der Normalverteilung macht es keinen Unterschied, ob nun $<$ oder $\leq$ verlangt ist,

weil $P(X = 3) = \int_3^3 f(x)\mathrm dx = 0$ und somit $P(X<3) = P(X \leq 3)$.

Dasselbe gilt für größer und größer gleich.

Dadurch, dass $X$ nur kleiner oder größer einer Grenze (oder innerhalb oder außerhalb zweier Grenzen) liegen kann, ergeben sich für Aufgaben bei normalverteilten Wahrscheinlichkeitsberechnungen folgende zwei grundlegende Fragestellungen:

• Wie hoch ist die Wahrscheinlichkeit, dass bei einem Zufallsversuch die normalverteilte Zufallsvariable $Z$ höchstens den Wert $z$ annimmt?

  $P(Z \leq z)=\Phi(z).$

In der Schulmathematik wird für diese Aussage auch die Bezeichnung Linker Spitz verwendet, da die Fläche unter der Gaußkurve von links bis zur Grenze verläuft. Für $z$ sind auch negative Werte erlaubt, trotzdem haben viele Tabellen der Standardnormalverteilung nur positive Einträge. Durch die Symmetrie der Kurve und der Negativitätsregel des linken Spitz stellt dies aber keine Einschränkung dar:

$\Phi(-z)\ =\ 1-\Phi(z).$

• Wie hoch ist die Wahrscheinlichkeit, dass bei einem Zufallsversuch die normalverteilte Zufallsvariable $Z$ mindestens den Wert $z$ annimmt?

$P(Z \geq z) = 1 - \Phi(z).$

Analog wird hier oft die Bezeichnung Rechter Spitz verwendet. Ebenso gibt es eine Negativitätsregel:

$P(Z \geq -z)= 1- \Phi(-z)= 1-(1-\Phi(z)) = \Phi(z).$

(Da jede Zufallsvariable $X$ der allgemeinen Normalverteilung sich in die Zufallsgröße $Z$ der Standardnormalverteilung umwandeln lässt, gelten die Fragestellungen für beide Größen gleichbedeutend.)

Streubereich und Antistreubereich

Der Streubereich gibt die Wahrscheinlichkeit wieder, dass die normalverteilte Zufallsvariable $Z$ Werte zwischen $z_1$ und $z_2$ annimmt:

$P(z_1 \le Z \le z_2) = \Phi(z_2) - \Phi(z_1)$

Beim Sonderfall des symmetrischen Streubereiches ($z_1=-z_2$, mit $z_2>0$) gilt

$\begin{align} P(-z\le Z\le z ) &= P (|Z|\le z)\\ &= \Phi(z)-\Phi(-z)\\ &= \Phi(z)-(1-\Phi(z))\\ &= 2\Phi(z)-1. \end{align}$

Hingegen gibt der Antistreubereich die Höhe der Wahrscheinlichkeit an, dass die normalverteilte Zufallsvariable $Z$ Werte außerhalb des Bereichs zwischen $z_1$ und $z_2$ annimmt:

$P(Z\le z_1\text{ oder }Z\ge z_2) = \Phi(z_1) + (1-\Phi(z_2)).$

Somit folgt bei einem symmetrischen Antistreubereich

$\begin{align} P(Z\le -z\text{ oder }Z\ge z) &= P(|Z|\ge z)\\ &=\Phi(-z)+1-\Phi(z)\\ &= 1-\Phi(z)+1-\Phi(z)\\ &=2-2 \Phi(z). \end{align}$

Streubereiche am Beispiel der Qualitätssicherung

Besondere Bedeutung haben beide Streubereiche z. B. bei der Qualitätssicherung von technischen oder wirtschaftlichen Produktionsprozessen. Hier gibt es einzuhaltende Toleranzgrenzen $x_1$ und $x_2$ , wobei es meist einen größten noch akzeptablen Abstand $\epsilon$ vom Erwartungswert $\mu$ (= dem optimalen Sollwert) gibt. $\sigma$ kann hingegen empirisch aus dem Produktionsprozess gewonnen werden.

Wurde $[x_1;x_2]=[\mu-\epsilon;\mu+\epsilon]$ als einzuhaltendes Toleranzintervall angegeben, so liegt (je nach Fragestellung) ein symmetrischer Streu- oder Antistreubereich vor.

Im Falle des Streubereiches gilt:

$\begin{align} P(x_1 \leq X \leq x_2) &= P(|X-\mu|\leq\epsilon)\\ &= P(\mu-\epsilon \leq X \leq \mu+\epsilon)\\ &= P\left(\frac{-\epsilon}{\sigma} \leq Z \leq \frac{\epsilon}{\sigma}\right)\\ &= \Phi\left(\frac{\epsilon}{\sigma}\right)-\Phi\left(\frac{-\epsilon}{\sigma}\right)\\ &= 2 \Phi\left(\frac{\epsilon}{\sigma}\right)-1\\ &= \gamma. \end{align}$

Der Antistreubereich ergibt sich dann aus

$P(|X-\mu|\geq \epsilon )= 1-\gamma$

oder wenn kein Streubereich berechnet wurde durch

$P(|X-\mu|\geq \epsilon )=2\cdot\left(1-\Phi\left(\frac{\epsilon} {\sigma}\right)\right)=\alpha.$

Das Ergebnis $\gamma$ ist also die Wahrscheinlichkeit für verkaufbare Produkte, während $\alpha$ die Wahrscheinlichkeit für Ausschuss bedeutet, wobei beides von den Vorgaben von $\mu$, $\sigma$ und $\epsilon$ abhängig ist.

Ist bekannt, dass die maximale Abweichung $\epsilon$ symmetrisch um den Erwartungswert liegt, so sind auch Fragestellungen möglich, bei denen die Wahrscheinlichkeit vorgegeben und eine der anderen Größen zu berechnen ist.

Testen auf Normalverteilung

Quantile einer Normalverteilung und einer Chi-Quadrat-Verteilung

Um zu überprüfen, ob vorliegende Daten normalverteilt sind, können folgende Methoden angewandt werden:

• Chi-Quadrat-Test
• Kolmogorow-Smirnow-Test
• Anderson-Darling-Test (Modifikation des Kolmogorow-Smirnow-Tests)
• Lilliefors-Test (Modifikation des Kolmogorow-Smirnow-Tests)
• Cramér-von-Mises-Test
• Shapiro-Wilk-Test
• Jarque-Bera-Test
• Q-Q-Plot (deskriptive Überprüfung)
• Maximum-Likelihood-Methode (deskriptive Überprüfung)

Die Tests haben unterschiedliche Eigenschaften hinsichtlich der Art der Abweichungen von der Normalverteilung, die sie erkennen. So erkennt der Kolmogorov-Smirnov-Test Abweichungen in der Mitte der Verteilung eher als Abweichungen an den Rändern, während der Jarque-Bera-Test ziemlich sensibel auf stark abweichende Einzelwerte an den Rändern („heavy tails“) reagiert.

Beim Lilliefors-Test muss im Gegensatz zum Kolomogorov-Smirnov-Test nicht standardisiert werden, d. h. $\mu$ und $\sigma$ der angenommenen Normalverteilung dürfen unbekannt sein.

Mit Hilfe von Quantil-Quantil-Plots (auch Normal-Quantil-Plots oder kurz Q-Q-Plot) ist eine einfache grafische Überprüfung auf Normalverteilung möglich.
Mit der Maximum-Likelihood-Methode können die Parameter $\mu$ und $\sigma$ der Normalverteilung geschätzt und die empirischen Daten mit der angepassten Normalverteilung grafisch verglichen werden.

Parameterschätzung

Oft sind die Parameter einer Normalverteilung nicht bekannt und müssen geschätzt werden. Beispielsweise ist dies der Fall, wenn eine Reihe von Messwerten $x_1, \dots, x_n$ vorliegt, bei welcher man Grund zur Annahme hat, dass sie unabhängige Realisierungen einer normalverteilen Zufallsgröße mit unbekannten Parametern $\mu$ und $\sigma^2$ sind.

Erwartungstreue Schätzer

Der Erwartungswert $\mu$ kann durch das arithmetische Mittel

$\hat{\mu} = \bar{x} = \frac{1}{n} \sum_{i=1}^n x_i$

geschätzt werden (siehe Schätzwert für den Erwartungswert).

Die Varianz $\sigma^2$ kann über die (korrigierte) Stichprobenvarianz

$\hat{\sigma}^2 = s^2 = \frac{1}{n-1} \sum_{i=1}^n {(x_i - \bar{x})^2}$

geschätzt werden.

Beide Schätzer sind erwartungstreu.

Maximum-Likelihood-Schätzung der Verteilungsparameter

Siehe auch: Maximum-Likelihood-Schätzung

Um die Parameter einer Normalverteilung zu schätzen, kann man auch die Maximum-Likelihood-Schätzung verwenden. Schätzer $\hat\mu_{ML}$ für den Erwartungswert und $\hat\sigma^2_{ML}$ für die Varianz erhält man, indem die Log-Likelihood-Funktion für die Normalverteilung maximiert wird.

Als Maximum-Likelihood-Schätzer für $\mu$ ergibt damit ebenfalls $\hat\mu_{ML} = \bar{x}$, also das arithmetische Mittel der Messwerte.

Für die Varianz erhält man dagegen die unkorrigierte Stichprobenvarianz

$\hat{\sigma}^2_{ML} = \frac{n-1}{n}s^2 = \frac{1}{n} \sum_{i=1}^n {(x_i - \bar{x})^2}$

und für die Standardabweichung

$\hat{\sigma}_{ML} = \sqrt{\hat{\sigma}^2_{ML}} = \sqrt{ \frac{1}{n} \sum_{i=1}^n {(x_i - \bar{x})^2} }.$

Diese Schätzer für Varianz bzw. Standardabweichung sind jedoch nicht bzw. nur asymptotisch erwartungstreu. Selbst wenn man einen erwartungstreuen Varianz-Schätzer verwendet, ist dessen Quadratwurzel – d. h. die Standardabweichung – im Allgemeinen nicht ebenfalls erwartungstreu.

Simulation normalverteilter Zufallsvariablen

Box-Muller-Methode

Nach der Box-Muller-Methode lassen sich zwei unabhängige, standardnormalverteilte Zufallsvariablen $X$ und $Y$ aus zwei unabhängigen, gleichverteilten Zufallsvariablen $U_1,U_2 \sim U(0,1)$, sogenannten Standardzufallszahlen, simulieren:

$X= \cos( 2 \pi U_1) \sqrt{-2\ln U_2}$

und

$Y = \sin ( 2 \pi U_1 ) \sqrt{-2 \ln U_2}.$

Polar-Methode

Die Polar-Methode von Marsaglia ist auf einem Computer noch schneller, da sie nur einen Logarithmus benutzt:

1. Erzeuge zwei voneinander unabhängige, im Intervall $[-1, 1]$ gleichverteilte Zufallszahlen $u_1$ und $u_2$
2. Berechne $q=u_1^2+u_2^2$. Falls $q = 0$ oder $q > 1$, gehe zurück zu Schritt 1.
3. Berechne $p = \sqrt {\frac{-2 \cdot \ln q}{q}}$.
4. $x_{1,2}=u_{1,2} \cdot p$ liefert zwei voneinander unabhängige, standardnormalverteilte Zufallszahlen $x_1$ und $x_2$.

Durch lineare Transformation lassen sich hieraus beliebige normalverteilte Zufallszahlen erzeugen: Ist die Zufallsvariable $x \sim \mathcal{N}(0,1)$-verteilt, so ist $a \cdot x + b$ schließlich $\mathcal{N}(b,a^2)$-verteilt.

Zwölferregel

Der zentrale Grenzwertsatz besagt, dass sich unter bestimmten Voraussetzungen die Verteilung der Summe unabhängiger, identisch verteilter Zufallszahlen einer Normalverteilung nähert.

Ein Spezialfall ist die Zwölferregel, die sich auf die Summe von zwölf Zufallszahlen aus einer Gleichverteilung auf dem Intervall [0,1] beschränkt und bereits zu passablen Verteilungen führt.

Stark ins Gewicht fällt die Forderung der Unabhängigkeit der zwölf Zufallsvariablen $X_i$, die bei immer noch häufig verwendeten (Linearen Kongruenzgeneratoren (LKG)) nicht garantiert ist. Im Gegenteil wird vom Spektraltest für LKG meist nur die Unabhängigkeit von maximal vier bis sieben der $X_i$ garantiert. Für numerische Simulationen ist die Zwölferregel daher sehr bedenklich und sollte, wenn überhaupt, dann ausschließlich mit aufwändigeren, aber besseren Pseudo-Zufallsgeneratoren wie z. B. dem Mersenne Twister (Standard in Python, GNU R) oder WELL durchgeführt werden. Andere, sogar leichter zu programmierende Verfahren, sind daher i. d. R. der Zwölferregel vorzuziehen.

Verwerfungsmethode

Normalverteilungen lassen sich mit der Verwerfungsmethode (s. dort) simulieren.

Inversionsmethode

Die Normalverteilung lässt sich auch mit der Inversionsmethode berechnen. Da das Fehlerintegral leider nicht explizit mit elementaren Funktionen integrierbar ist, muss man auf Reihenentwicklungen der inversen Funktion für einen Startwert ($a_1 ... a_{14}$ weiter unten) und anschließende Korrektur mit dem Newtonverfahren zurückgreifen. Dazu werden erf(x) und erfc(x) benötigt, die ihrerseits mit Reihenentwicklungen und Kettenbruchentwicklungen berechnet werden können – insgesamt ein relativ hoher Aufwand. Die notwendigen Entwicklungen sind in der Literatur zu finden.

Entwicklung des inversen Fehlerintegrals (wegen des Pols nur als Startwert für das Newtonverfahren verwendbar):

$\operatorname{erf}^{-1} \left(\frac{\sqrt\pi}2 x\right) = x\Bigl(a_1 + x^2 \bigl(a_2 + x^2 (\dots)\bigr)\Bigr)$

mit den Koeffizienten

$\begin{align} a_i &= 1, \tfrac 13, \tfrac 7{30}, \tfrac {127}{630}, \tfrac {4369}{22680}, \tfrac {34807}{178200}, \tfrac {20036983}{97297200}, \tfrac {2280356863}{10216206000}, \tfrac {49020204823}{198486288000},\\ &\\ & \tfrac {65967241200001}{237588086736000}, \tfrac {15773461423793767}{49893498214560000}, \tfrac {655889589032992201}{1803293578326240000},\\ &\\ & \tfrac {94020690191035873697}{222759794969712000000}, \tfrac {655782249799531714375489}{1329207696584271504000000},\ldots \end{align}$

Anwendungen außerhalb der Wahrscheinlichkeitsrechnung

Die Normalverteilung lässt sich auch zur Beschreibung nicht direkt stochastischer Sachverhalte verwenden, etwa in der Physik für das Amplitudenprofil der Gauß-Strahlen und andere Verteilungsprofile.

Zudem findet sie Verwendung in der Gabor-Transformation.

Siehe auch

• Mehrdimensionale Normalverteilung
• Additives weißes gaußsches Rauschen
• Wahrscheinlichkeitsnetz
• Statistik
• Six Sigma Methode der Qualitätsverbesserung

Literatur

• Stephen M. Stigler: The history of statistics: the measurement of uncertainty before 1900. Belknap Series. Harvard University Press, 1986. ISBN 9780674403413.

Weblinks

 Commons: Normalverteilung – Sammlung von Bildern, Videos und Audiodateien

 Wikibooks: Anschauliche Darstellung der Normalverteilung – Lern- und Lehrmaterialien

• Darstellung mit Programmcode in Visual Basic

Diskrete univariate Verteilungen

Diskrete univariate Verteilungen für endliche Mengen:
Benford | Bernoulli | beta-binomial | binomial | kategorial | hypergeometrisch | Rademacher | Zipf | Zipf-Mandelbrot

Diskrete univariate Verteilungen für unendliche Mengen:
Boltzmann | Conway-Maxwell-Poisson | negativ binomial | erweitert negativ binomial | Compound-Poisson | diskret uniform | discrete-Phase-Type | Gauss-Kuzmin | geometrisch | logarithmisch | parabolisch-fraktal | Poisson | Poisson-Gamma | Skellam | Yule-Simon | Zeta

Kontinuierliche univariate Verteilungen

Kontinuierliche univariate Verteilungen mit kompaktem Intervall:
Beta | Cantor | Kumaraswamy | raised Cosine | Dreieck | U-quadratisch | stetig uniform | Wigner-Halbkreis

Kontinuierliche univariate Verteilungen mit halboffenem Intervall:
Beta prime | Bose-Einstein | Burr | Chi-Quadrat | Coxian | Erlang | Exponential | F | Fermi-Dirac | Folded normal | Fréchet | Gamma | Gamma-Gamma | Extremwert | verallgemeinert invers Gauß | halblogistisch | halbnormal | Hotellings T-Quadrat | hyper-exponentiale | hypoexponential | invers Chi-Quadrat | scale-invers Chi-Quadrat | Invers Normal | Invers Gamma | Lévy | log-normal | log-logistisch | Maxwell-Boltzmann | Maxwell-Speed | Nakagami | nichtzentriert Chi-Quadrat | Pareto | Phase-Type | Rayleigh | relativistisch Breit-Wigner | Rice | Rosin-Rammler | shifted Gompertz | truncated normal | Type-2-Gumbel | Weibull | Wilks’ Lambda

Kontinuierliche univariate Verteilungen mit unbeschränktem Intervall:
Cauchy | Extremwert | exponential Power | Fishers z | Fisher-Tippett (Gumbel) | generalized hyperbolic | Hyperbolic-secant | Landau | Laplace | alpha-stabil | logistisch | normal (Gauß) | normal-invers Gauß’sch | Skew-normal | Studentsche t | Type-1-Gumbel | Variance-Gamma | Voigt

Multivariate Verteilungen

Diskrete multivariate Verteilungen:
Ewen | multinomial | Dirichlet compound multinomial

Kontinuierliche multivariate Verteilungen:
Dirichlet | generalized Dirichlet | multivariat normal | multivariat Student | normalskaliert invers Gamma | Normal-Gamma

Multivariate Matrixverteilungen:
Invers Wishart | Matrix-normal | Wishart