QR-Algorithmus

aus Wikipedia, der freien Enzyklopädie
Wechseln zu: Navigation, Suche

Der QR-Algorithmus ist ein numerisches Verfahren zur Berechnung aller Eigenwerte und eventuell der Eigenvektoren einer quadratischen Matrix. Das auch QR-Verfahren oder QR-Iteration genannte Verfahren basiert auf der QR-Zerlegung und wurde im Jahre 1961–1962 unabhängig voneinander von John G. F. Francis und Wera Nikolajewna Kublanowskaja eingeführt. Ein Vorläufer war der LR-Algorithmus von Heinz Rutishauser (1958), der aber weniger stabil ist und auf der LR-Zerlegung basiert. Oft konvergieren die Iterierten aus dem QR-Algorithmus gegen die Schur-Form der Matrix. Das originale Verfahren ist recht aufwendig und damit – selbst auf heutigen Rechnern – für Matrizen mit hunderttausenden Zeilen und Spalten nicht praktikabel.

Abgeleitete Varianten wie das Multishift-Verfahren von Z. Bai und James Demmel 1989 und die numerisch stabilere Variante von K. Braman, R. Byers und R. Mathias 2002 haben praktische Laufzeiten, die kubisch in der Größe der Matrix sind. Letzteres Verfahren ist in der numerischen Softwarebibliothek LAPACK implementiert, die wiederum in vielen Computeralgebrasystemen (CAS) für die numerischen Matrixalgorithmen verwendet wird.

Beschreibung des QR-Algorithmus[Bearbeiten]

Ziel des Rechenverfahrens[Bearbeiten]

Ausgehend von einer reellen oder komplexen Matrix A\in\R^{n\times n} bzw. A\in\mathbb{C}^{n\times n} wird eine Folge orthogonaler oder unitärer Matrizen Q_1,Q_2,\dots, bestimmt, so dass die rekursive Matrixfolge A_1=A,\,A_2=Q_1^{-1}A_1Q_1,\dots,A_{k+1}=Q_k^{-1}A_kQ_k,\dots weitestgehend gegen eine obere Dreiecksmatrix konvergiert. Da alle Umformungen in der Rekursion Ähnlichkeitstransformationen sind, haben alle Matrizen der Matrixfolge A_1,A_2,\dots, dieselben Eigenwerte mit denselben Vielfachheiten.

Wird im Grenzwert eine obere Dreiecksmatrix erreicht, eine Schurform von A, so lassen sich die Eigenwerte aus den Diagonalelementen ablesen. Im Falle einer reellen Matrix mit orthogonalen Umformungen kann es jedoch auch komplexe Eigenwerte geben. Dann ist das Ergebnis des Verfahrens eine obere Blockdreiecksmatrix, deren Diagonalblöcke die Größe 1 für die reellen Eigenwerte oder die Größe 2 für komplexe Eigenwerte haben. Einem Eigenwert \lambda=a+ib und seinem konjugiert komplexen Eigenwert entspricht dabei der Diagonalblock der entsprechenden Drehstreckung \left(\begin{smallmatrix}a&-b\\b&a\end{smallmatrix}\right).

Allgemeines Schema des Verfahrens[Bearbeiten]

Ausgehend von einer Matrix A_1=A\in\R^{n\times n} (bzw. A\in\mathbb{C}^{n\times n}) wird eine Folge von Matrizen A_i nach folgender Vorschrift bestimmt:

  1. for i\in\mathbb{N} do
  2. Bestimme ein Polynom p_i und werte es in der Matrix A_i aus.
  3. Berechne die QR-Zerlegung von p_i(A_i)=Q_iR_i.
  4. Berechne die neue Iterierte: A_{i+1}=Q_i^{-1}A_iQ_i.
  5. end for

In dieser allgemeinen Form können auch die Varianten mit (impliziten) Shifts (engl. für Verschiebung) und Mehrfach-Shifts dargestellt und analysiert werden.

Die Matrixfunktion p_i ist oft ein Polynom (hier also eine Linearkombination von Matrixpotenzen) mit reellen (bzw. komplexen) Koeffizienten. Im einfachsten Fall wird ein lineares Polynom gewählt, das dann die Gestalt p_i(A_i)=A_i-\kappa_iI hat. Der Algorithmus vereinfacht sich in diesem Fall auf die klassische Version (mit Einfach-Shift):

  1. for i\in\mathbb{N} do
  2. Bestimme eine geeignete Zahl \kappa_i
  3. Berechne die QR-Zerlegung von A_i-\kappa_iI=Q_iR_i
  4. Berechne die neue Iterierte: A_{i+1}=Q_i^{-1}A_iQ_i=Q_i^{-1}(Q_iR_i+\kappa_iI)Q_i=R_iQ_i+\kappa_iI
  5. end for

Wird in jedem Iterationsschritt \kappa_i=0 gesetzt, so stimmt das Verfahren mit der auf Unterräume (hier den vollen Vektorraum) erweiterten Potenzmethode überein.

Das die QR-Zerlegung steuernde Polynom kann von Anfang an fixiert sein oder dynamisch in jedem Iterationsschritt der aktuellen Matrix A_i angepasst werden. Es gibt auch Versuche, für p_i rationale Matrixfunktionen zu verwenden, d.h. Funktionen der Form p(A)=h(A)^{-1}g(A) mit Polynomen g und h.

Deflation[Bearbeiten]

Ergibt es sich in einem Iterationsschritt, dass ein linksunterer Block aus den Spalten 1,\dots,i und deren Zeilen i+1,\dots,n in den Beträgen aller seiner Komponententen eine vorher bestimmte Schwelle unterschreitet, so wird das Verfahren auf den zwei diagonalen quadratischen Teilblöcken der Zeilen/Spalten 1,\dots,i sowie i+1,\dots,n separat fortgesetzt. Sind die durch Teilung entstandenen Matrizen klein genug, so kann die Bestimmung der Eigenwerte z.B. mittels Berechnung des charakteristischen Polynoms und dessen Nullstellen beendet werden.

Transformation auf Hessenberg-Form[Bearbeiten]

Das Ziel des QR-Algorithmus ist es, eine obere Dreiecksform, oder eine Block-Dreiecksform herzustellen, in der Blöcke der Größe 2 komplexen Eigenwerten entsprechen. Das kann nahezu auf einfache Weise durch eine Ähnlichkeitstransformation auf Hessenberg-Form, d. h. auf eine Matrix mit nur einer (nicht identisch verschwindenden) unteren Nebendiagonalen, erreicht werden.

  • Setze \tilde A=A
  • für k=1 bis n-1 führe aus
  1. Bilde das Spaltensegment u=\tilde A_{k+1:n,\,k}
  2. Bestimme die Householder-Spiegelung \tilde P_k=I-2vv^T, die u auf den ersten kanonischen Basisvektor abbildet,
  3. Führe mit der Blockmatrix P_k=\left(\begin{smallmatrix}I_k&0\\0& \tilde P_k\end{smallmatrix}\right) die Ersetzung von \tilde A durch die ähnliche Matrix P_k^{-1}\tilde AP_k=P_k\tilde AP_k durch.
  • Vermerke die Gesamttransformationsmatrix Q_0=P_1P_2\cdots P_{n-1}.
  • A_1=\tilde A=Q_0^{-1}AQ_0 befindet sich nun in Hessenberg-Form.

Durch die Hessenberg-Form wird die Bestimmung der charakteristischen Polynome von Teilmatrizen erleichtert. Die Hessenberg-Form einer symmetrischen Matrix ist eine Tridiagonalform, was weitere Rechnungen wesentlich beschleunigt.

Weiterhin wird in jedem Schritt des QR-Algorithmus die Hessenberg-Form erhalten. Grundlage hierfür ist die Arithmetik verallgemeinerter Dreiecksmatrizen, bei denen alle Einträge unterhalb einer unteren Nebendiagonalen verschwinden. Eine Hessenberg-Matrix ist demnach eine verallgemeinerte Dreiecksmatrix mit einer Nebendiagonalen. Unter Multiplikation addieren sich die Anzahlen nichtverschwindender Nebendiagonalen, bei Addition bleibt meist die größere Anzahl erhalten.

Daher haben p_i(A_i) wie auch die orthogonale Matrix Q_i=p_i(A_i)R_i^{-1} die Anzahl von m=\deg p_i unteren Nebendiagonalen. Nun gilt, wegen A_{i+1}=Q_i^{-1}A_iQ_i, auch

p_i(A_{i+1})=Q_i^{-1}p_i(A_i)Q_i=R_iQ_i,

und letzteres Produkt hat ebenfalls m Nebendiagonalen. Das ist im Allgemeinen nur möglich, wenn A_{i+1} genau eine Nebendiagonale aufweist, also wieder in Hessenbergform ist. Aus der Zerlegung von P-i(x) in Linearfaktoren folgt (s. unten), dass dies immer der Fall ist.

Man kann darauf aufbauend zeigen (Francis 1962 nach Bai/Demmel), dass schon die erste Spalte x von p_i(A_i), die auch proportional zur ersten Spalte von Q_i ist, die nachfolgende Matrix A_{i+1}=Q_i^{-1}A_iQ_i vollständig bestimmt. Genauer, ist U eine orthogonale Matrix, deren erste Spalte proportional zu x ist, so entsteht A_{i+1}, indem die transformierte Matrix U^{-1}A_iU wieder in Hessenbergform gebracht wird. Da in x nur die Komponenten der Zeilen 1,…,m+1 von Null verschieden sind, kann U als eine Modifikation der Einheitsmatrix im linksoberen s\times s-Block sein, mit einem s>m.

Varianten des QR-Algorithmus[Bearbeiten]

Einfache QR-Iteration[Bearbeiten]

Es wird p_i(A)=A gewählt. Das Verfahren kann dann kurz als QR-Zerlegung A_i=Q_iR_i gefolgt vom Zusammenmultiplizieren A_{i+1}=R_iQ_i in umgekehrter Reihenfolge angegeben werden. Dieses Verfahren ist die direkte Verallgemeinerung der simultanen Potenzmethode zur Bestimmung der ersten k Eigenwerte einer Matrix. Indirekt wird auch eine simultane inverse Potenzmethode ausgeführt.

QR-Algorithmus mit einfachen Shifts[Bearbeiten]

Es wird p_i(A)=A-\kappa_iI gesetzt. Damit kann das Verfahren alternativ auch als QR-Zerlegung A_i-\kappa_iI=Q_iR_i gefolgt vom um den Shift korrigierten Zusammenmultiplizieren A_{i+1}=R_iQ_i+\kappa_iI dargestellt werden. Üblicherweise wird versucht, mit dem Shift \kappa_i den betragskleinsten Eigenwert zu approximieren. Dazu kann das letzte Diagonalelement \kappa_i=(A_i)_{n,n} gewählt werden. Die einfache QR-Iteration ergibt sich, indem alle Shifts zu Null gesetzt werden.

Besitzt A_i Hessenberg-Form, so muss Q_i=(A_i-\kappa_iI)R_i^{-1} als Produkt einer Matrix mit und einer Matrix ohne Nebendiagonalen ebenfalls Hessenberg-Form besitzen. Desgleichen gilt daher auch für A_{i+1}=R_iQ_i+\kappa_iI. Wird also in Vorbereitung des QR-Algorithmus in A_1=Q_0^{-1}AQ_0 auf Hessenberg-Form gebracht, so bleibt dies während des gesamten Algorithmus erhalten.

Einfache Shifts für symmetrische Matrizen[Bearbeiten]

Eine symmetrische reelle Matrix A_1=A hat ausschließlich reelle Eigenwerte. Die Symmetrie bleibt während des QR-Algorithmus in allen A_i erhalten. Für symmetrische Matrizen schlug Wilkinson (1965) vor, denjenigen Eigenwert der rechtsuntersten 2\times2-Teilmatrix


\begin{pmatrix}
a_{n-1,n-1}&a_{n-1,n}\\a_{n,n-1}&a_{n,n}
\end{pmatrix}

als Shift zu wählen, der näher an a_{n,n} liegt. Wilkinson zeigte, dass die so bestimmte Matrixfolge (A_i)_{i\in\N} gegen eine Diagonalmatrix konvergiert, deren Diagonalelemente die Eigenwerte von A=A_1 sind. Die Konvergenzgeschwindigkeit ist dabei quadratisch.

QR-Algorithmus mit doppelten Shifts[Bearbeiten]

Es kann ein Paar von einfachen Shifts in einem Iterationsschritt zusammengefasst werden. In der Konsequenz bedeutet dies, dass für reelle Matrizen auf komplexe Shifts verzichtet werden kann. In der oben angegebenen Notation ist

(A_1-\kappa_2I)(A_1-\kappa_1I)=(A_1-\kappa_2I)Q_1R_1=Q_1(A_2-\kappa_2I)R_1=Q_1Q_2R_2R_1

eine QR-Zerlegung für das quadratische Polynom p_1(x)=x^2-(\kappa_1+\kappa_2)x+\kappa_1\kappa_2, ausgewertet in A_1. Die Koeffizienten dieses Polynoms sind auch für ein konjugiertes Paar komplexer Shifts reell. Somit können auch komplexe Eigenwerte reeller Matrizen approximiert werden, ohne dass in der Rechnung komplexe Zahlen auftauchen.

Eine übliche Wahl für diesen Doppelshift besteht aus den Eigenwerten der rechtsuntersten 2\times2-Teilmatrix, d.h. das quadratische Polynom ist das charakteristische dieses Blocks,

p_i(x) = x^2-(a_{n-1,n-1}+a_{n,n})x+a_{n-1,n-1}a_{n,n}-a_{n-1,n}a_{n,n-1}.

QR-Algorithmus mit multiplen Shifts[Bearbeiten]

Es wird eine Zahl m größer 2, aber wesentlich kleiner als die Größe n der Matrix A festgelegt. Das Polynom p_i(x) kann als das charakteristische Polynom der rechtsuntersten quadratischen m\times m-Teilmatrix der aktuellen Matrix A_i gewählt werden. Eine andere Strategie besteht darin, die s>m Eigenwerte der rechtsuntersten s\times s-Teilmatrix zu bestimmen und die m betragskleinsten Eigenwerte s_1,\dots,s_m darunter auszuwählen. Mit diesen wird dann eine QR-Zerlegung von

p_i(A_i)=(A_i-s_1I)(A_i-s_2I)\cdots(A_i-s_mI)=Q_iR_i und A_{i+1}=Q_i^{-1}A_iQ_i

bestimmt.

Mit einem Multishift-Verfahren wird oft erreicht, dass die Komponenten des linksunteren (n-m+1,\dots,n)\times(1,\dots,n-m)-Blocks in der Folge der iterierten Matrizen besonders schnell klein werden und somit eine Aufspaltung des Eigenwertproblems erreicht wird.

Implizite Multishift-Iteration[Bearbeiten]

Das Zusammenfassen mehrfacher Shifts in der allgemeinen Form ist sehr aufwendig. Wie oben angesprochen, kann der Aufwand dadurch verringert werden, dass in einem vorbereitenden Schritt in A_1=Q_0^{-1}AQ_0 die Hessenberg-Form hergestellt wird. Da jeder Multishift-Schritt aus einzelnen (auch komplexen) Shifts zusammengesetzt werden kann, bleibt die Hessenberg-Form während des gesamten Algorithmus erhalten.

Dadurch kann der QR-Algorithmus in einen „Bulge-chasing“-Algorithmus umgewandelt werden, der eine Delle in der Hessenbergform am oberen Diagonalenende erzeugt und diese dann die Diagonale herunter und am unteren Ende aus der Matrix „jagt“.

  1. for j\in\mathbb{N}_0 do
  2. Berechne das Polynom p(x) nach einer der angegebenen Varianten,
  3. Bestimme den Vektor x=p(A_j)e_1.
  4. Bestimme eine Spiegelung von x auf den ersten Einheitsvektor. Da in x nur die ersten m+1 Komponenten nicht verschwinden, hat diese Spiegelung eine einfache Blockgestalt.
  5. Bilde die Matrix \tilde A=U^{-1}A_jU und transformiere sie so, dass A_{j+1}=Q^{-1}U^{-1}A_jUQ wieder in Hessenberg-Form ist.
  6. end for

Wird Q aus Householder-Spiegelungen zusammengesetzt, Q=P_1P_2\cdots P_{n-1}, so haben diese Blockdiagonalgestalt P_k=\mathrm{diag}(I_k,\tilde P_k,I_{\max(0,n-k-m)}).

Anmerkungen zur Funktionsweise[Bearbeiten]

Ähnlichkeitstransformationen[Bearbeiten]

Die im QR-Algorithmus berechneten Matrizen sind zueinander unitär ähnlich, da aufgrund von A_i-\kappa_iI=Q_iR_i\quad\Leftrightarrow\quad R_i=Q_i^H(A_i-\kappa_iI)

  A_{i+1}=R_iQ_i+\kappa_iI
                =Q_i^H(A_i-\kappa_iI)Q_i+\kappa_iI
                =Q_i^HA_iQ_i-\kappa_iQ_i^HQ_i+\kappa_iI
                =Q_i^HA_iQ_i

gilt. Damit haben alle Matrizen A_i dieselben Eigenwerte (mit der algebraischen und geometrischen Vielfachheit gezählt).

Wahl der Shifts, Konvergenz[Bearbeiten]

Eine einfache aber nicht sehr effektive Wahl ist die Wahl von Shifts identisch Null. Die Iterierten A_i des resultierenden Algorithmus, des QR-Algorithmus in der Grundform, konvergieren im Wesentlichen, wenn alle Eigenwerte dem Betrage nach verschieden sind, gegen eine obere Dreiecksmatrix mit den Eigenwerten auf der Diagonalen. Konvergenz im Wesentlichen bedeutet, daß die Elemente des unteren Dreiecks von A_i gegen Null gehen und die Diagonalelemente gegen die Eigenwerte. Über die Elemente im oberen Dreieck wird also nichts ausgesagt.

Werden die Shifts als das Matrixelement unten rechts der aktuellen Iterierten gewählt, also \kappa_i=a_{nn}^{(i)}, so konvergiert der Algorithmus unter geeigneten Umständen quadratisch oder sogar kubisch. Dieser Shift ist als Rayleigh-Quotienten-Shift bekannt, da er über die Inverse Iteration mit einem Rayleigh-Quotienten im Zusammenhang steht.

Bei der Rechnung im Reellen (A\in\mathbb{R}^{n\times n}) möchte man die reelle Schur-Form berechnen und trotzdem mit konjugiert komplexen Eigenwerten arbeiten können. Dazu gibt es verschiedene Shift-Strategien.

Eine Erweiterung von einfachen Shifts ist der nach James Hardy Wilkinson benannte Wilkinson-Shift. Für den Wilkinson-Shift wird der näher am letzten Matrixelement liegende Eigenwert der letzten 2\times 2 Hauptunterabschnittsmatrix

  \begin{pmatrix}
            a_{n-1,n-1}^{(i)} & a_{n-1,n}^{(i)} \\
            a_{n,n-1}^{(i)} & a_{n,n}^{(i)}
         \end{pmatrix}

verwendet.

Der QR-Algorithmus als Erweiterung der Potenzmethode[Bearbeiten]

Zur Analyse des Algorithmus werden die zusätzlichen Matrixfolgen der kumulierten Produkte \tilde Q_k=Q_1Q_2\cdots Q_k und \tilde R_k=R_kR_{k-1}\cdots R_2R_1, k\in\N definiert. Dabei sind die Produkte \tilde Q_k von orthogonalen bzw. unitären Matrizen wieder orthogonale bzw. unitäre Matrizen, genauso sind die Produkte \tilde R_k von rechtsoberen Dreiecksmatrizen wieder rechtsobere Dreiecksmatrizen. Die Matrizen der QR-Iteration ergeben sich durch Ähnlichkeitstransformationen aus A, denn


  A_1=A,\;
  A_2=R_1Q_1=Q_1^{-1}A_1Q_1,\;
  A_3=Q_2^{-1}A_2Q_2=\tilde Q_2^{-1}A\tilde Q_2,
  \dots,\;
  A_k=\tilde Q_k^{-1}A\tilde Q_k,
  \dots
.

Daraus folgert man auf QR-Zerlegungen der Potenzen von A:

\begin{align}
A=&&&Q_1R_1&=&\tilde Q_1\tilde R_1\\
A^2=&AQ_1R_1=Q_1A_2R_1&=&Q_1Q_2R_2R_1&=&\tilde Q_2\tilde R_2\\
\vdots&\\
A^k=&A\tilde Q_{k-1}\tilde R_{k-1} =\tilde Q_{k-1}A_{k}\tilde R_{k-1}&=&\tilde Q_{k-1}Q_{k}R_k\tilde R_{k-1} &=&\tilde Q_k\tilde R_k
\end{align}

Es werden also im Verlaufe des Algorithmus implizit QR-Zerlegungen der Potenzen der Matrix A bestimmt. Aufgrund der Form dieser Zerlegungen gilt, dass für jedes j=1,2,…,n die ersten j Spalten der Matrix A^k denselben Unterraum aufspannen wie die ersten j Spalten der Matrix \tilde Q_k; zusätzlich sind die Spalten von \tilde Q_k orthonormal zueinander. Dieses jedoch ist genau die Situation nach dem k-ten Schritt einer simultanen Potenziteration. Die Diagonalelemente von R_k sind wegen A\tilde Q_{k-1}=\tilde Q_k R_k die Approximationen der Eigenwerte von A. Daher lassen sich die Konvergenzeigenschaften der Potenziteration übertragen:

Der einfache QR-Algorithmus konvergiert nur, wenn alle Eigenwerte in ihren Beträgen voneinander verschieden sind. Sind die Eigenwerte nach

|\lambda_1|<|\lambda_2|<\dots<|\lambda_n|

sortiert, so ist die Konvergenzgeschwindigkeit linear mit einem Kontraktionsfaktor, der dem Minimum der Quotienten \tfrac{|\lambda_k|}{|\lambda_{k+1}|} entspricht.

Insbesondere für reelle Matrizen kann dieser Algorithmus nur konvergieren, wenn alle Eigenwerte reell sind (da sonst konjugiert komplexe Paare mit gleichem Betrag existieren würden). Diese Situation ist für alle symmetrischen Matrizen gegeben.

Der QR-Algorithmus als simultane inverse Potenziteration[Bearbeiten]

Es gilt, falls A invertierbar ist, für die Transponierte (für komplexe Matrizen die hermitesch Adjungierte) der Inversen von A und alle ihre Potenzen

(A^{-T})^k=(A^k)^{-T}=(\tilde R_k^{-1}\tilde Q_k^{-1})^T=\tilde Q_k\tilde R_k^{-T}

Die Inverse einer rechtsoberen Dreiecksmatrix ist wieder eine rechtsobere Dreiecksmatrix, deren Transponierte eine linksuntere Dreiecksmatrix. Damit bestimmt der QR-Algorithmus auch eine QL-Zerlegung der Potenzen von A^{-T}. Aus der Form dieser Zerlegung erhellt, dass für jedes j=1,2,…,n die letzten j Spalten von \tilde Q_k denselben Unterraum aufspannen wie die letzten j Spalten von (A^{-T})^k. In der letzten Spalte von \tilde Q_k wird somit eine inverse Potenziteration für A^T durchgeführt, diese Spalte konvergiert also gegen den dualen Eigenvektor zum kleinsten Eigenwert von A. Im Produkt \tilde Q_k^T A \tilde Q_k=A_k ist also die linke untere Komponente (A_k)_{nn} der sog. Rayleigh-Quotient der inversen Potenziteration. Die Konvergenzeigenschaften sind analog zum oben angegebenen.

Weblinks[Bearbeiten]

Literatur[Bearbeiten]