Varianz (Stochastik)

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche
Dieser Artikel behandelt die Varianz als Kenngröße der Verteilung einer reellen Zufallsvariablen. Für die Varianz einer Stichprobe siehe Stichprobenvarianz, weitere Bedeutungen finden sich unter Varianz.
Dichtefunktionen zweier normalverteilter Zufallsvariablen mit gleichem Erwartungswert (hier: ) aber unterschiedlichen Varianzen. Die waagerechte Achse zeigt den Wert, die senkrechte die Häufigkeit. Da die rote Kurve schmaler um den Erwartungswert verläuft als die grüne, weist sie eine geringere Varianz auf. Die Quadratwurzel der Varianz, die Standardabweichung, kann bei der Normalverteilung an den Wendepunkten abgelesen werden.

In der Stochastik ist die Varianz (lat. variantia für „Verschiedenheit“) oder veraltet auch Dispersion (lat. dispersio „Zerstreuung“, von dispergere „verteilen, ausbreiten, zerstreuen“) beziehungsweise Streeung genannt, ein wichtiges Streuungsmaß und dient der Charakterisierung der Wahrscheinlichkeitsverteilung einer reellen Zufallsvariablen. Neben dem Erwartungswert ist die Varianz die zweite wichtige Kenngrößen der Verteilung einer reellen Zufallsvariablen. Im Gegensatz zum Erwartungswert, der die Wahrscheinlichkeitsmasse balanciert, ist die Varianz ein Maß für die Streuung der Wahrscheinlichkeitsmasse um ihren Erwartungswert. Die Varianz beschreibt die erwartete quadratische Abweichung der Zufallsvariablen von ihrem Erwartungswert, wenn das Zufallsexperiment unendlich oft wiederholt wird. Damit stellt die Varianz das zweite zentrierte Moment der Zufallsvariablen dar.

Ein Nachteil der Varianz für praktische Anwendungen ist, dass sie eine andere Einheit als die Ursprungsdaten besitzt. Dieser Nachteil kann mit dem Konzept der Standardabweichung behoben werden, welches in enger Beziehung zum Konzept der Varianz steht. Die Standardabweichung ergibt sich als Quadratwurzel aus der Varianz.

Eine Verallgemeinerung der Varianz stellt die Kovarianz dar. Im Gegensatz zur Varianz, die lediglich Variabilität der betrachteten Zufallsvariable misst, misst die Kovarianz die gemeinsame Variabilität von zwei Zufallsvariablen. Aus dieser Definition der Kovarianz folgt, dass die Kovarianz einer Zufallsvariablen mit sich selbst die Varianz dieser Zufallsvariablen ergibt. Im Falle eines reellen Zufallsvektors verallgemeinert sich die Varianz zur Varianz-Kovarianz-Matrix, die auf der Hauptdiagonalen alle Varianzen beinhaltet und bei der die restlichen Elemente die paarweisen Kovarianzen darstellen.

Die Varianz weist viele nützliche Eigenschaften auf. Sie ist niemals negativ, translationsinvariant und eine homogene Funktion zweiten Grades. Die Varianz einer Summe unkorrelierter Zufallsvariablen ist gleich der Summe ihrer Varianzen. Ein wichtiges Hilfsmittel zur Berechnung der Varianz stellt der Verschiebungssatz dar. Die Varianz kann mit einem Varianzschätzer, etwa ihrer induktiven Entsprechung, der Stichprobenvarianz, geschätzt werden.

Formale Definition[Bearbeiten | Quelltext bearbeiten]

Definition Varianz: Es sei eine beliebige reelle Zufallsvariable, die integrierbar ist, das heißt, es gilt . Dann existiert ihr Erwartungswert und man definiert die Varianz von wie folgt:

.[1][2]

Ist quadratisch integrierbar, gilt also , so ist die Varianz endlich.

Die Varianz wird auch als oder notiert. Da man in Rechnungen oft mit mehreren Varianzen hantiert, schreibt man den Namen der Zufallsvariablen ins Subskript oder in Klammern, um Verwechslungen zu vermeiden. Besteht keine Verwechslungsgefahr wird sie einfach als notiert. Da die Varianz vor allem in älterer Literatur auch als Dispersion bezeichnet wurde, findet sich selten auch die Notation . Die Notation mit dem Quadrat des griechischen Buchstaben Sigma rührt daher, dass die Berechnung der Varianz der Dichtefunktion einer Normalverteilung genau dem Parameter der Normalverteilung entspricht. Da die Normalverteilung in der Statistik eine sehr wichtige Rolle spielt, wird die Varianz im Allgemeinen mit notiert (siehe auch Abschnitt Wichtige Varianzen).

Berechnung bei diskreten Zufallsvariablen[Bearbeiten | Quelltext bearbeiten]

Eine reelle Zufallsvariable mit einem endlichen oder abzählbar unendlichen Wertebereich wird diskret genannt. Ihre Varianz berechnet sich dann wie folgt:

.

Hierbei ist die Wahrscheinlichkeit, dass den Wert annimmt. Da einen festen Wert darstellt und somit nicht vom Zufall abhängig ist, ist die Wahrscheinlichkeit gleich der Wahrscheinlichkeit . Es wird in obiger Summe also jede mögliche Ausprägung mit der Wahrscheinlichkeit ihres auftretens gewichtet.[3] Der Erwartungswert einer diskreten Zufallsvariablen stellt ebenfalls eine gewichtete Summe dar, die gegeben ist durch

.

Die Summen erstrecken sich jeweils über alle Werte, die diese Zufallsvariable annehmen kann. Im Falle eines abzählbar unendlichen Wertebereiches ergibt sich eine unendliche Summe. In Worten berechnet sich die Varianz, im diskreten Fall, als Summe der Produkte der Wahrscheinlichkeiten der Realisationen der Zufallsvariablen mit der jeweiligen quadrierten Distanz.

Berechnung bei stetigen Zufallsvariablen[Bearbeiten | Quelltext bearbeiten]

Eine Zufallsvariable wird als stetig bezeichnet, wenn das Merkmal alle Werte in einem Intervall der reellen Zahlen annehmen kann. Für stetige Zufallsvariablen verwendet man eine Wahrscheinlichkeitsdichtefunktion , um Wahrscheinlichkeiten über einem Intervall zu berechnen. Für die Varianz dieser stetigen Zufallsvariablen gilt:

,

wobei für den Erwartungswert dieser stetigen Zufallsvariablen gilt

[4]

Die Varianz berechnet sich also im stetigen Fall als Integral über das Produkt der quadrierten Distanz zwischen der Realisation der Zufallsvariablen und dem Erwartungswert und der Dichtefunktion der Verteilung. Es wird also über den Raum aller möglichen Ausprägungen integriert. Die Formeln für den diskreten und stetigen Fall zeigen, dass man nur Kenntnis der Wahrscheinlichkeitsverteilung von (in Form der Größen beziehungsweise ) benötigt, um den Erwartungswert und die Varianz zu berechnen.

Interpretation[Bearbeiten | Quelltext bearbeiten]

Die Varianz stellt neben dem Erwartungswert das zweite zentrierte Moment der Zufallsvariablen dar. Der Begriff Moment stammt originär aus der Physik. Wenn man die möglichen Werte als Massepunkte mit den Massen auf der (als gewichtslosen angenommenen) reellen Zahlengeraden interpretiert, dann erhält man eine physikalische Interpretation des Erwartungswertes: Das erste Moment, der Erwartungswert, stellt dann den physikalischen Schwerpunkt beziehungsweise Massenmittelpunkt des so entstehenden Körpers dar. Die Varianz kann dann als Trägheitsmoment des Massesystems bezüglich der Rotationsachse um den Schwerpunkt interpretiert werden.

Im Gegensatz zum Erwartungswert, der also die Wahrscheinlichkeitsmasse balanciert, ist die Varianz ein Maß für die Streuung der Wahrscheinlichkeitsmasse um ihren Erwartungswert. Die Interpretation der Varianz als mittlere quadrierte Distanz lässt sich wie folgt erklären: Die Distanz zwischen zwei Punkten und auf der reellen Zahlengeraden ist gegeben durch . Wenn man jetzt definiert, dass ein Punkt die Zufallsvariable ist und der andere , dann gilt und die quadrierte Distanz lautet . Folglich wird als die mittlere (oder erwartete) quadrierte Distanz zwischen der Realisation der Zufallsvariablen und dem Erwartungswert interpretiert, wenn das Zufallsexperiment unendlich oft wiederholt wird.[5] Die Varianz beschreibt also die Breite einer Dichtefunktion. Die Breite wiederum ist ein Maß für die Unsicherheit, die mit einer Zufallsvariablen verbunden ist. Je schmaler die Dichtefunktion ist, desto genauer kann der Wert von vorhergesagt werden. Folglich beschreibt die Varianz, wie „stochastisch“ oder, wie „deterministisch“ ein betrachtetes Phänomen ist. Bei einer großen Varianz liegt eher eine stochastische Situation vor und bei einer kleinen Varianz eher eine deterministische. Bei dem Spezialfall, bei dem die Varianz gleich Null ist, liegt eine vollständig deterministische Situation vor. Die Varianz wird genau dann Null, wenn sie mit hundertprozentiger Sicherheit einen bestimmen Wert annimmt, wenn also gilt .

Varianz als Kenngröße einer Wahrscheinlichkeitsverteilung[Bearbeiten | Quelltext bearbeiten]

Jede Wahrscheinlichkeitsverteilung beziehungsweise Zufallsvariable kann durch sogenannte Kenngrößen (Parameter) beschrieben werden, die diese Verteilung charakterisieren. Die Varianz und der Erwartungswert sind die wichtigsten Kenngrößen einer Wahrscheinlichkeitsverteilung. Sie werden bei einer Zufallsvariablen als Zusatzinformationen wie folgt angegeben: . Sprich: Die Zufallsvariable folgt einer (hier nicht näher spezifizierten) Verteilung mit Erwartungswert und Varianz . Es sei angenommen die Zufallsvariable folge einer Standardnormalverteilung, dass heißt: . Der Erwartungswert von ist also Null und die Varianz Eins. Weitere wichtige Kenngrößen einer Wahrscheinlichkeitsverteilung stellen neben den Momenten beispielsweise der Median, der Modus oder Quantile dar.[6]

Beziehung zur Standardabweichung[Bearbeiten | Quelltext bearbeiten]

Die Varianz einer Zufallsvariablen ist immer in Quadrateinheiten angegeben. Dies ist oft problematisch, da quadrierte Einheiten wie zum Beispiel oft keine sinnvolle Interpretation bieten. Um die gleiche Einheit wie die Ursprungsdaten zu bekommen, wird daher statt der Varianz oft das Konzept der Standardabweichung verwendet. Die Standardabweichung, die ebenfalls ein Streuungsmaß darstellt, ergibt sich aus der positiven Quadratwurzel der Varianz:

.

Man zieht also die Quadratwurzel, damit das Streuungsmaß die gleiche Maßeinheit besitzt wie die Zufallsvariable. Im Gegensatz zur Varianz gilt für die Standardabweichung die folgende Rechenregel für lineare Transformationen

.

Rechenregeln und Eigenschaften[Bearbeiten | Quelltext bearbeiten]

Verschiebungssatz[Bearbeiten | Quelltext bearbeiten]

Varianzen lassen sich oft einfacher mit Hilfe des Verschiebungssatzes als nicht-zentrierte Momente darstellen:

.[7]

Vor der Anwendung des Verschiebungssatzes heißen Momente solcher Art „zentriert“, weil sie auf den Erwartungswert (das „Zentrum“) bezogen sind (). Der Verschiebungssatz erleichtert die Berechnung der Varianz, da hierzu außer dem Erwartungswert von nur noch der Erwartungswert von bestimmt werden muss. Eine allgemeinere Darstellung des Verschiebungssatzes ergibt sich aus:

.

Für Erwartungswerte gilt die Jensensche Ungleichung, dass heißt wenn konvex ist und eine integrierbare Zufallsvariable, dann gilt

.

Hieraus lässt sich wiederum schließen, dass

, was äquivalent ist zu
.

Demnach gilt für die Varianz obige Nicht-Negativitäsbedingung und die Varianz ist somit niemals kleiner als Null. Diese Nicht-Negativitäsbedingung ist vor allem in der einfachen linearen Regression von Bedeutung, da für die Berechnung von Parameterschätzern durch die Varianz geteilt werden muss. Für das vorliegen diskreter und stetiger Zufallsvariablen ergibt der Verschiebungssatz:

Falls diskret Falls stetig

Am Computer ist diese Art der Berechnung aber zu vermeiden, da es bei der Verwendung von Fließkommazahlen leicht zu katastrophaler Auslöschung kommen kann.

Beziehung zur Kovarianz[Bearbeiten | Quelltext bearbeiten]

Die Kovarianz , welche die gemeinsame Variabilität von zwei Zufallsvariablen misst, steht mit der Varianz in folgender Beziehung:

.

Beweis:

Die Varianz ist demnach die Kovarianz einer Zufallsvariablen mit sich selbst und misst lediglich die Variabilität der betrachteten Zufallsvariable. Diese Beziehung folgt direkt aus den Definitionen der Varianz und Kovarianz. Des Weiteren gilt die Cauchy-Schwarzsche Ungleichung:

,

da die Kovarianz eine positiv semidefinite Bilinearform ist.

Lineare Transformation[Bearbeiten | Quelltext bearbeiten]

Für Skalare (Konstanten) gilt:

  • Die Varianz eines Skalar ist Null, da dieses per Definition nicht zufällig ist und somit auch nicht streut:
  • Skalare können quadriert aus der Varianz herausgezogen werden: . Dies liegt daran, dass die Varianz eine homogene Funktion zweiten Grades ist
  • Zusammengefasst: . Dies bedeutet, dass eine „Verschiebung der Zufallsvariablen“ um einen konstanten Betrag keine Auswirkung deren Streuung hat. Jedoch hat die multiplikative Konstante eine Auswirkung auf die Skalierung der Varianz. Sie wird mit dem quadrierten der Konstanten skaliert.

Dieses Resultat kann mittels des Verschiebungssatzes hergeleitet werden:[8]

.

Insbesondere für folgt:

.

Varianz von Summen von Zufallsvariablen[Bearbeiten | Quelltext bearbeiten]

Für die Varianz einer beliebigen Summe von Zufallsvariablen gilt allgemein:

.

Hierbei bezeichnet die Kovarianz der Zufallsvariablen und und es wurde die Eigenschaft verwendet. Speziell für zwei Zufallsvariablen und ergibt sich beispielsweise

.

Sind die beiden Zufallsvariablen unkorreliert, das heißt ihre Kovarianz ist Null, dann folgt:

[9]

beziehungsweise allgemeiner, wenn Zufallsvariablen paarweise unkorreliert sind, das heißt ihre Kovarianzen alle gleich Null sind:

.

Das bedeutet, dass die Varianz der Summe der Summe der Varianzen entspricht. Dieses Resultat wird auch als Gleichung von Bienaymé bezeichnet.[10] Sie gilt insbesondere dann, wenn die Zufallsvariablen unabhängig sind, denn aus Unabhängigkeit folgt Unkorreliertheit. Berücksichtigt man obiges Resultat für lineare Transformationen, dann gilt für die Varianz der Linearkombination zweier Zufallsvariablen:

.

Varianz von Produkten von Zufallsvariablen[Bearbeiten | Quelltext bearbeiten]

Sind zwei Zufallsvariablen and unabhängig, dann ist die Varianz ihres Produktes gegeben durch[11]

.

Charakteristische Funktion[Bearbeiten | Quelltext bearbeiten]

Die Varianz einer Zufallsvariablen lässt sich auch mit Hilfe ihrer charakteristischen Funktion : darstellen.

Wegen und folgt nämlich mit dem Verschiebungssatz:

.

Momenterzeugende Funktion[Bearbeiten | Quelltext bearbeiten]

Da für die momenterzeugenden Funktion der Zusammenhang

gilt, lässt sich die Varianz, durch den Verschiebungssatz, damit auf folgende Weise berechnen:

.

Wahrscheinlichkeitserzeugende Funktion[Bearbeiten | Quelltext bearbeiten]

Auch mit der wahrscheinlichkeitserzeugenden Funktion

,

lässt sich für diskrete die Varianz berechnen. Es gilt dann für die Varianz

,

falls der linksseitige Grenzwert existiert.

Kumulantenerzeugende Funktion[Bearbeiten | Quelltext bearbeiten]

Die kumulantenerzeugende Funktion einer Zufallsvariable ist definiert als:

.

Leitet man sie zweimal ab und wertet sie an der Stelle Null aus, so erhält man für die Varianz:

.

Die zweite Kumulante ist also die Varianz.

Varianz einer zusammengesetzten Zufallsvariable[Bearbeiten | Quelltext bearbeiten]

Ist eine zusammengesetzte Zufallsvariable, sprich sind unabhängige Zufallsvariablen und sind die identisch verteilt und ist auf definiert, so lässt sich darstellen als:

.

Existieren die zweiten Momente von , so gilt für die zusammengesetzte Zufallsvariable:

.

Diese Aussage ist auch als Blackwell-Girshick-Gleichung bekannt.

Beispiele[Bearbeiten | Quelltext bearbeiten]

Diskrete Zufallsvariable[Bearbeiten | Quelltext bearbeiten]

Gegeben ist eine diskrete Zufallsvariable , welche die Werte , und mit je den Wahrscheinlichkeiten , und annimmt. Diese Werte lassen sich in folgender Tabelle zusammenfassen

Der Erwartungswert beträgt nach obiger Definition

.

Die Varianz ist demnach gegeben durch

.

Mit dem Verschiebungssatz erhält man ebenfalls den gleichen Wert für die Varianz:

.

Für die Standardabweichung ergibt sich damit:

.

Stetige Zufallsvariable[Bearbeiten | Quelltext bearbeiten]

Eine stetige Zufallsvariable habe die Dichtefunktion

,

mit dem Erwartungswert von

und dem Erwartungswert von

.

Die Varianz dieser Dichtefunktion berechnet sich mit Hilfe des Verschiebungssatzes wie folgt:

.

Wichtige Varianzen[Bearbeiten | Quelltext bearbeiten]

Verteilung Stetig/diskret Wahrscheinlichkeitsfunktion Varianz
Normalverteilung Stetig
Bernoulli-Verteilung Diskret
Binomialverteilung Diskret
Stetige Gleichverteilung Diskret

Bedingte Varianzen[Bearbeiten | Quelltext bearbeiten]

Hauptartikel: Bedingte Varianz

Analog zu bedingten Erwartungswerten lassen sich beim Vorliegen von Zusatzinformationen, wie beispielsweise den Werten einer weiteren Zufallsvariablen, bedingte Varianzen betrachten. Es seien und zwei reelle Zufallsvariable auf einem Wahrscheinlichkeitsraum , dann heißt

die bedingte Varianz von gegeben (oder Varianz von bedingt auf ). Im stetigen Fall ist die bedingte Varianz definiert durch

,

wobei der bedingte Erwartungswert und die bedingte Dichte darstellt. Für diskrete Zufallsvariablen entsprechend:

.

Für die bedingte Varianz gilt folgender Verschiebungssatz

.

Verallgemeinerungen[Bearbeiten | Quelltext bearbeiten]

Hauptartikel: Kovarianzmatrix

Im Falle eines reellen Zufallsvektors mit quadratisch integrierbaren Komponenten verallgemeinert sich die Varianz zu der Kovarianzmatrix eines Zufallsvektors:

.[12]

Dabei ist der Vektor der Erwartungswerte.[13] Der Eintrag der -ten Zeile und -ten Spalte der Kovarianzmatrix ist die Kovarianz der Zufallsvariablen und . In der Diagonale stehen also die Varianzen der einzelnen Komponenten der Kovarianzmatrix.

Verwandte Begriffe[Bearbeiten | Quelltext bearbeiten]

Fasst man die Varianz als Streuungsmaß der Verteilung einer Zufallsvariable auf, so ist sie mit den folgenden Streuungsmaßen verwandt:

In der Statistik gibt es noch weitere empirische Streuungsmaße, die sich aber nicht alle sinnvoll für Verteilungen definieren lassen.

Weblinks[Bearbeiten | Quelltext bearbeiten]

Einzelnachweise[Bearbeiten | Quelltext bearbeiten]

  1. L. Fahrmeir, R. Künstler, et al.: Statistik. Der Weg zur Datenanalyse. 8. Auflage, S.232
  2. Die Verwendung des Varianzoperators hebt die Berechnungsoperationen hervor, und mit ihm lässt sich die Gültigkeit bestimmter Rechenoperationen besser ausdrücken
  3. Von Auer: Ökonometrie. Eine Einführung. 6. Auflage, S. 29
  4. L. Fahrmeir, R. Künstler, et al.: Statistik. Der Weg zur Datenanalyse. 8. Auflage, S.283
  5. G. Judge und R. Carter Hill: Introduction to the Theory and Practice of Econometrics. 1998, S. 40
  6. Bayer, Hackel: Wahrscheinlichkeitsrechnung und mathematische Statistik, S.58
  7. Ansgar Steland: Basiswissen Statistik, S.116
  8. L. Fahrmeir, R. Künstler, et al.: Statistik. Der Weg zur Datenanalyse. 8. Auflage, S.233
  9. L. Fahrmeir, R. Künstler, et al.: Statistik. Der Weg zur Datenanalyse. 8. Auflage, S.233
  10. Loeve, M. (1977) "Probability Theory", Graduate Texts in Mathematics, Volume 45, 4. Auflage, Springer-Verlag, S. 12.
  11. Goodman, Leo A., "On the exact variance of products," Journal of the American Statistical Association, December 1960, 708–713. DOI: 10.2307/2281592
  12. G. Judge und R. Carter Hill: Introduction to the Theory and Practice of Econometrics. 1998, S. 43
  13. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang: Regression: Models, Methods and Applications., S. 646