Whitening (Statistik)

Die Whitening-Transformation bezeichnet eine lineare Transformation, bei der ein Vektor von Zufallsvariablen mit bekannter Kovarianzmatrix in eine Reihe von neuen Variablen umgewandelt wird, deren Kovarianzmatrix der Einheitsmatrix gleicht. Angestrebt wird ein Zustand, in dem die einzelnen Variablen unkorreliert sind und jeweils eine Varianz von 1 haben. Die Transformation wird als „Whitening“ bezeichnet, da nach der Umwandlung die Verteilungseigenschaften des Inputvektors denen des Weißen Rauschens entsprechen. Ziel ist eine Stetige Gleichverteilung.

Einige andere Transformationen stehen in enger Beziehung zum Whitening:

1. die Dekorrelationstransformation entfernt nur Korrelationen aber lässt die Varianzen intakt,
2. die Standardisierungstransformation setzt die Varianzen 1 aber lässt die Korrelationen intakt,
3. die Coloring-Transformation übersetzt einen Vektor mit „weißen“ Zufallsvariablen in einen Zufallsvektor mit einer spezifischen Kovarianzmatrix.

Definition

Angenommen $X$ ist ein Zufalls-Spalten-Vektor mit nicht-singulärer Kovarianzmatrix $M$und Mittelwert $0$. Dann führt die Transformation $Y=WX$mit einer Whitening-Matrix $W$, welche die Bedingung $W^{\mathrm {T} }W=M^{-1}$ erfüllt, zu einem „whitened“ Zufallsvektor $Y$mit einheitlicher diagonaler Kovarianz.

Es gibt eine unendliche Anzahl möglicher Whitening-Matrizen $W$. Gebräuchliche Auswahlen sind $W=M^{-1/2}$ (Mahalanobis or ZCA whitening), die Cholesky-Zerlegung von $M^{-1}$ (Cholesky whitening) oder die Eigenvektoren von $M$ (PCA whitening).

Kessy et al. (2018) demonstrieren, dass optimale Whitening-Transformationen durch Untersuchen der Kreuzvarianzen und Kreuzkorrelationen von $X$und $Y$erkannt werden können. Zum Beispiel, die singuläre optimale Whitening-Transformation zum Erreichen der maximalen komponentenweisen Korrelation zwischen dem ursprünglichen $X$ und geweißten $Y$ wird durch die Whitening-Matrix $W=P^{-1/2}V^{-1/2}$ erzeugt. Hierbei ist $P$ die Korrelationsmatrix und $V$ die Varianzmatrix.

Eine Datenmatrix „weißen“

Das Whitening einer Datenmatrix folgt den gleichen Transformationen wie Zufallsvariablen. Eine empirische Whitening-Transformation erfolgt durch die Schätzung der Kovarianz (z. B. durch die Maximum-Likelihood-Methode) und anschließender Konstruktion einer entsprechend geschätzten Whitening-Matrix (z. B. durch die Cholesky-Zerlegung).

Siehe auch

• Hauptkomponentenanalyse
• Kanonische Korrelation
• Symmetrische Orthogonalisierung

Weblinks

• courses.media.mit.edu (PDF)
• The ZCA whitening transformation. (PDF; 4,0 MB) Appendix A von A. Krizhevsky: Learning Multiple Layers of Features from Tiny Images.