Reduktionsprinzip

Diese Baustelle befindet sich fälschlicherweise im Artikelnamensraum. Bitte verschiebe die Seite oder entferne den Baustein {{Baustelle}}.

Dieser Artikel ist im Entstehen und noch nicht Bestandteil der freien Enzyklopädie Wikipedia.

Solltest du über eine Suchmaschine darauf gestoßen sein, bedenke, dass der Text noch unvollständig sein und Fehler oder ungeprüfte Aussagen enthalten kann. Wenn du Fragen zum Thema hast, nimm Kontakt mit den Autoren auf.

Hinweis: Du darfst diese Seite editieren!

Ja, wirklich. Es ist schön, wenn jemand vorbeikommt und Fehler oder Links korrigiert und diese Seite verbessert. Sollten deine Änderungen aber anderen nicht gefallen, sei bitte nicht traurig oder verärgert, wenn sie rückgängig gemacht werden.
Wikipedia ist ein Wiki, sei mutig!

Als Reduktionsprinzipien bezeichnet man in der mathematischen Statistik verschiedene Methoden und Argumentationsweisen, welche das Auffinden von guten statistischen Verfahren erleichtern. Dabei wird die Menge der in Frage kommenden Verfahren durch eine gewissen strukturelle Anforderung verkleinert, was das Auffinden der guten Verfahren erleichtert. Die strukturelle Anforderung entspringt dabei beispielsweise den Eigenschaften des statistischen Modells oder pragmatischen Überlagungen. Drei klassische Reduktionsprinzipien sind Suffizienz, Äquivarianz/Invarianz und Erwartungstreue.

Motivation

Betrachtet man als Beispiel das Normalverteilungsmodell mit bekannter Varianz $\sigma =1$ und unbekanntem Erwartungswert, sowie einem Stichprobenumfang von $n$. Es werden also $n$-mal Daten erhoben, wobei jede Erhebung einer Realisierung der Normalverteilung mit unbekanntem Erwartungswert $\mu$ und einer Varianz von eins entspricht. Geschätzt werden soll der unbekannte Erwartungswert.

Die erhobenen Daten $(x_{1},x_{2},\dots ,x_{n})$ sind Elemente des $\mathbb {R} ^{n}$, der Erwartungswert ist eine reelle Zahl. Jeder Schätzer $T$ für den Erwartungswert ist also eine Funktion von $\mathbb {R} ^{n}$ nach $\mathbb {R}$, formal

$T\colon \mathbb {R} ^{n}\to \mathbb {R}$.

Um nun von guten oder schlechten Schätzern sprechen zu können, wird noch eine Verlustfunktion eingeführt, mit der sich dann eine Risikofunktion bestimmen lässt. Gängig ist der Gauß-Verlust, der als Risikofunktion den mittleren quadratischen Fehler (Means squared error, MSE)

$\operatorname {MSE} (T,\mu ):=\operatorname {E} _{\mu }\left(\left(T-\mu )\right)^{2}\right)$

liefert (Hierbei bezeichnet $\operatorname {E} _{\mu }$ die Bildung des Erwartungswertes bezüglich ${\mathcal {N}}(\mu ,1)$).

Nun soll ein möglichst guter Schätzer für $\mu$ gefunden werden, sprich ein Schätzer, dessen mittlerer quadratischen Fehler kleiner ist als der aller weiteren Schätzer.

Das Problem ist nun, dass es sich bei der bisherigen Fragestellung um eine sehr offene Fragestellung mit wenig Struktur handelt, da die Menge der in Frage kommenden Schätzer sehr groß ist. Somit ist einerseits die Anzahl der potentiellen optimalen Schätzer sehr groß, andererseits ist es auch schwierig zu zeigen, dass ein Kandidat für den besten Schätzer wirklich besser ist als alle anderen Schätzer.

Daher ist es sinnvoll, nach Kriterien zu suchen, welche die Menge der möglichen Schätzfunktionen verkleinert, um die Suche nach optimalen Schätzern zu vereinfachen. Drei tpische Kriterien sind:

• Erwartungstreue: Hierbei schränkt man sich auf Schätzer ein, die im Mittel den zu richtig liegen und somit keinen systematischen Fehler besitzen
• Suffizienz: Zentrale Fragestellung der Suffizienz ist, ob die vorhandene Daten ohne Informationsverlust komprimiert werden können. Die komprimierten Daten bilden dann ein einfacheres Modell, was sich besser untersuchen lässt.
• Äquivarianz und Invarianz: Diese Kriterien beschäftigen sich mit den geometrischen Eigenschaften des Modells und nutzen diese aus. So sollten gewisse Schätzwerte unabhängig von der Skaliereung der Daten sein, ebenso sollte sich der Erwartungswert im obigen Modell bei einer Verschiebung der Daten um ebendiesen Wert verschieben.

Reduktion durch Suffizienz

Die der Suffizienz zugrundeliegenden Idee ist, dass statistische Modelle möglicherweise Informationen enthalten, die für die Lösung einer Aufgabe (Schätzen, Testen usw.) garnicht benötigt werden. Daher versucht man, die vorhandenen Daten ohne Informationsverlust zu komprimieren. Daraufhin kann nach optimalen statistischen Verfahren auf den kompromierten Daten weitergesucht werden.

Ein einfaches Beispiel hierfür ist das n-malige Werfen einer Münze. Die Wiederholungen sollen dabei unabhängig voneinander sein. Aufgabe ist es, die unbekannte Wahrscheinlichkeit der Münze, Kopf zu zeigen, zu schätzen. Der Einfachheit halber sei Kopf mit der Zahl 1 und Zahl mit der Zahl 0 codiert. Das n-malige Hintereinanderausführen des Werfens legt nahe, das Experiment als Produktexperiment zu modellieren. Dabei kann in jedem Durchgang entweder eine eins oder eine null geworfen werden, nach n Durchgängen ergibt sich also als Grundraum

${\mathcal {X}}_{1}=\{0,1\}^{n}$.

Dieser enthält zu jedem Durchgang von 1 bis n die Information, ob 0 oder ob 1 geworfen wurde. Eine Möglichkeit, diese Information zu komprimieren besteht darin, lediglich die Anzahl der geworfenen Einsen zu notieren. Dies entspricht dem Grundraum

${\mathcal {X}}_{2}:=\{0,1,2,\dots ,n\}$,

die Kompression wird durch die Abbildung

$(x_{1},x_{2},\dots ,x_{n})\mapsto x_{1}+x_{2}+\dots +x_{n}$

vermittelt. Dass eine Kompression vorliegt ist hier bereits an der Mächtigkeit der Mengen zu erkennen: ${\mathcal {X}}_{1}$ enthält $2^{n}$ Elemente, wohingegen ${\mathcal {X}}_{2}$ nur $n+1$ Elemente enthält. Interessant ist nun die Frage, ob noch alle relevanten Informationen für die Schätzung vorhanden sind oder ob bereits ein Informationsverlust aufgetreten ist. Sind alle relevanten Informationen (für die gestellte Aufgabe!) noch in ${\mathcal {X}}_{2}$ enthalten, so genügt es völlig, nach guten Schätzern auf ${\mathcal {X}}_{2}$ zu suchen.

Zentrales Werkzeug bei der Modellierung der Kompression ist der bedingte Erwartungswert. Er ermöglicht es nicht nur, die Kompression von Daten durch Abbildungen, sondern auch den Informationsgehalt von Mengensystemen, insbesondere σ-Algebren, zu erfassen.

Reduktion durch Invarianz und Äquivarianz

Bei der Reduktion durch Invarianz und Äquivarianz versucht man, geometrische und algebraischen Strukturen im Modell und der Aufgabenstellung ausfindig zu machen und zu nutzen. So gilt beispielsweise für den Erwartungswert einer Zufallsvariable

$\operatorname {E} (X+a)=\operatorname {E} (X)+a$

für eine Zahl $a$. Verschiebung der Zufallsvariable um $a$ führt also zur Verschiebung des Erwartungswertes um $a$. Diese Eigenschaft wird auch Verschiebungsäquivarianz genannt.

Soll nun der Erwartungswert geschätzt werden, so ist es sinnvoll, von Schätzern zu fordern, dass sie mit dieser Eigenschaft des Erwartungswertes verträglich sind. Ist als $T$ ein Schätzer für den Erwartungswert, so sollte

$T(X+a)=T(X)+a$

gelten. Solche Schätzer werden äquivariant genannt. Dies entspricht der Intuition, dass sich ein Lagemaß wie der Erwartungswert bei einer Verschiebung der Lage der Daten und genau diese Verschiebung verändern sollte, da es ja die Lage der Daten erfassen soll. Ein analoges Beispiel gilt für die Varianz, da sie immer

$\operatorname {Var} (X+a)=\operatorname {Var} (X)$

erfüllt. Sie ist somit verschiebungsinvariant. Dementsprechend sollte ein Schätzer für die Varianz auch verschiebungsinvariant sein, also

$V(X+a)=V(X)$

erfüllen. Dies entspricht der Intuition, dass ein Streuungsmaß wie die Varianz unabhängig von der Position der Daten ist.

Bei der Reduktion durch Invarianz und Äquivarianz versucht man daher, solche zugrundeliegenden algebraischen und geometrischen Anforderungen ausfindig zu machen und schränkt dann die Suche nach optimalen statistischen Verfahren auf solche ein, die mit der zugrundeliegenden Struktur verträglich sind. Hierbei wird die Gruppentheorie als Hilfsmittel herangezogen, da die geometrischen und algebraischen Strukturen durch Gruppen formalisiert werden. Die relevanten statistischen Verfahren sind dann diejenigen, welche mit den Gruppenoperationen verträglich sind.

Im obigen Beispiel wäre die entsprechende Gruppe die Translationsgruppe auf $\mathbb {R} ^{n}$, die Verträglichkeit der Abbildungen entspricht dann der (Verschiebungs-)Äquivarianz im Falle des Erwartungswertes und der Verschiebungsinvarianz im Falle der Varianz.