Jacobi-Verfahren

In der numerischen Mathematik ist das Jacobi-Verfahren (auch Jacobi-Iteration oder Gesamtschrittverfahren genannt), ein Algorithmus zur näherungsweisen Lösung von linearen Gleichungssystemen. Es ist, wie das Gauß-Seidel-Verfahren und das SOR-Verfahren, ein stationäres Splitting-Verfahren (äquivalent: eine vorkonditionierte Richardson-Iteration). Benannt ist es nach Carl Gustav Jacob Jacobi.

Das Jacobi-Verfahren gehört zu den frühen iterativen Alternativen zu direkten Lösern wie gaußsche Elimination, welche zwar exakt sind jedoch für Rundungsfehler anfälliger. Bei iterativen Lösern hingegen wird die Lösung stabil schrittweise angenähert.

Beschreibung des Verfahrens

Gegeben ist ein lineares Gleichungssystem mit $n$ Variablen und $n$ Gleichungen.

${\begin{matrix}a_{11}\cdot x_{1}+\dotsb +a_{1n}\cdot x_{n}&=&b_{1}\\a_{21}\cdot x_{1}+\dotsb +a_{2n}\cdot x_{n}&=&b_{2}\\&\vdots &\\a_{n1}\cdot x_{1}+\dotsb +a_{nn}\cdot x_{n}&=&b_{n}\\\end{matrix}}$

Mit dem Matrix-Vektor-Produkt kann das lineare Gleichungssystem auch als $A\cdot x=b$ geschrieben werden, wobei die Matrix $A$ die Koeffizientenmatrix, $b$ der Ergebnisvektor und $x$ der gesuchte Vektor der Unbekannten $x_{i}$ ist. Die ausführliche Schreibweise als Matrix und Vektoren mit den einzelnen Elementen wird üblicherweise wie folgt notiert:

${\begin{pmatrix}a_{11}&a_{12}&\cdots &a_{1n}\\a_{21}&a_{22}&\cdots &a_{2n}\\\vdots &\vdots &\ddots &\vdots \\a_{n1}&a_{n2}&\cdots &a_{nn}\\\end{pmatrix}}{\begin{pmatrix}x_{1}\\x_{2}\\\vdots \\x_{n}\end{pmatrix}}={\begin{pmatrix}b_{1}\\b_{2}\\\vdots \\b_{n}\end{pmatrix}}$

Um dieses zu lösen, wird die $i$-te Gleichung nach der $i$-ten Variablen $x_{i}$ aufgelöst,

$x_{i}^{(m+1)}:={\frac {1}{a_{ii}}}\left(b_{i}-\sum _{j\not =i}a_{ij}\cdot x_{j}^{(m)}\right),\,i=1,\dotsc ,n$

und diese Ersetzung, ausgehend von einem Startvektor $x^{(0)}$, iterativ wiederholt. Als Bedingung für die Durchführbarkeit ergibt sich, dass die Diagonalelemente $a_{ii}$ von Null verschieden sein müssen. Da die Berechnung einer Komponente der nächsten Näherung unabhängig von den anderen Komponenten ist, ist das Verfahren, im Gegensatz zum Gauß-Seidel-Verfahren, zur Nutzung auf Parallelrechnern geeignet.

Als Algorithmus in Pseudocode ergibt sich:

Gegeben Startvektor $x^{\text{alt}}$
für $m=1,\dotsc$ bis Erfüllung eines Abbruchkriteriums
  $x=b$
  für $i=1$ bis $n$
       für $j=1$ bis $n$
         falls $j\not =i$
            $x_{i}=x_{i}-a_{ij}x_{j}^{\text{alt}}$;
       ende
       $x_{i}=x_{i}/a_{ii}$;
  ende
  $x^{\text{alt}}=x;$
ende

Dabei wurde die willkürliche Erstbelegung des Variablenvektors als Eingangsgrößen des Algorithmus angenommen, die Näherungslösung ist die vektorielle Rückgabegröße.

Bei dünnbesetzten Matrizen reduziert sich der Aufwand des Verfahrens pro Iteration deutlich.

Beschreibung in Matrixschreibweise

Die Matrix $A$ des linearen Gleichungssystems $A\cdot x=b$ wird hierzu in eine Diagonalmatrix $D$, eine strikte untere Dreiecksmatrix $L$ und eine strikte obere Dreiecksmatrix $U$ zerlegt, so dass gilt:

$A=D+(L+U)$

oder in ausführlicher Schreibweise mit den einzelnen Elementen der Matrizen wie folgt:

${\begin{pmatrix}a_{11}&a_{12}&\cdots &a_{1n}\\a_{21}&a_{22}&\cdots &a_{2n}\\\vdots &\vdots &\ddots &\vdots \\a_{n1}&a_{n2}&\cdots &a_{nn}\\\end{pmatrix}}={\begin{pmatrix}a_{11}&0&\cdots &0\\0&a_{22}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &a_{nn}\\\end{pmatrix}}+{\begin{pmatrix}0&a_{12}&\cdots &a_{1n}\\a_{21}&0&\cdots &a_{2n}\\\vdots &\vdots &\ddots &\vdots \\a_{n1}&a_{n2}&\cdots &0\\\end{pmatrix}}$

Die obige komponentenweise Iterationsvorschrift lässt sich dann folgendermaßen für den kompletten Vektor darstellen:

$x^{(m+1)}=D^{-1}\left(b-\left(L+U\right)x^{(m)}\right)$.

Üblich zur Einbettung als Präkonditionierer in andere iterative Verfahren wie Krylow-Unterraum-Verfahren schreibt man den Präkonditionierer als Matrix $M$, wobei $M$ eine Approximation an $A^{-1}$ ist, zu der sich ein lineares Gleichungssysteme $M^{-1}\cdot u=v$ günstig nach $u$ lösen lässt. Es gilt für das Jacobi-Verfahren $M=D^{-1}$. Für das Residuum $r^{(m)}=b-A\cdot x^{(m)}$ ist $x^{(m+1)}-x^{(m)}$ gerade die Näherungslösung. Die Beziehung $M=D^{-1}$ folgt unmittelbar:

$x^{(m+1)}=D^{-1}\cdot \left(b-\left(L+D+U\right)\cdot x^{(m)}+D\cdot x^{(m)}\right)=D^{-1}\cdot r^{(m)}+x^{(m)}$,

$x^{(m+1)}-x^{(m)}=D^{-1}\cdot r^{(m)}$.

Konvergenzuntersuchung

Die Konvergenz wird wie bei allen Splitting-Verfahren mittels des banachschen Fixpunktsatzes untersucht. Das Verfahren konvergiert also, wenn der Spektralradius der Iterationsmatrix $D^{-1}(D-A)$ kleiner als eins ist. Insbesondere ergibt sich dies, wenn die Systemmatrix $A$ strikt diagonaldominant oder allgemeiner irreduzibel diagonaldominant ist.

Erweiterung auf nichtlineare Gleichungssysteme

Die Idee des Jacobi-Verfahrens lässt sich auf nichtlineare Gleichungssysteme $f(x)=g$ mit einer mehrdimensionalen nichtlinearen Funktion $f$ erweitern. Wie im linearen Fall wird im $i$-ten Schritt die $i$-te Gleichung bezüglich der $i$-ten Variablen gelöst, wobei für die anderen Variablen der bisherige Näherungswert genommen wird:

Für $k=1,\dotsc$ bis Erfüllung eines Abbruchkriteriums

Für $i=1,\dotsc ,n$:

Löse $f_{i}(x_{1}^{k},\dotsc ,x_{i-1}^{k},x_{i}^{k+1},x_{i+1}^{k},\dotsc ,x_{n}^{k})=g_{i}$ nach $x_{i}^{k+1}$ auf.

Hierbei ist das Lösen in der Regel als die Anwendung eines weiteren iterativen Verfahrens zur Lösung nichtlinearer Gleichungen zu verstehen. Um dieses Verfahren vom Jacobi-Verfahren für lineare Gleichungssysteme zu unterscheiden, wird häufig vom Jacobi-Prozess gesprochen. Die Konvergenz des Prozesses folgt aus dem Banachschen Fixpunktsatz wieder als linear.

Jacobi-Varianten in HPC-Bibliotheken

In großen numerischen Anwendungen kann das klassische Jacobi-Verfahren wenig wirksam sein, wenn die auftretenden Matrizen zwar lokal fast diagonal strukturiert sind, die Diagonaldominanz aber schwach ist. Betrachtet man dagegen mehrere Freiheitsgrade gemeinsam als Punkt-Blöcke wird die Matrixstruktur besser erfasst.

Daher bezeichnet „Jacobi“ in HPC-Bibliotheken häufig nicht nur das Jacobi-Verfahren mit Punkt-Diagonalvorkonditionierung, sondern eine größere Familie Jacobi-artiger Vorkonditionierer. So unterscheidet PETSc unter anderem zwischen Jacobi (also Punkt-Jacobi), Punkt-Block-Jacobi, variablem Punkt-Block-Jacobi und Block-Jacobi. Dabei werden statt einzelner Diagonaleinträge kleine feste, variable oder größere diagonale Matrixblöcke exakt oder näherungsweise invertiert.

Literatur

• A. Meister: Numerik linearer Gleichungssysteme, 2. Auflage, Vieweg 2005, ISBN 3-528-13135-7
• R. Barrett et al.: Templates for the Solution of Linear Systems: Building Blocks for Iterative Methods, 2nd Edition, SIAM Philadelphia, 1994
• Plato, Robert: Numerische Mathematik Kompakt. Vieweg, 2004, ISBN 3-528-13153-5, S. 262. 
• W. C. Rheinboldt: Methods for Solving Systems of Nonlinear Equations, 2. Auflage, SIAM, 1998, ISBN 0-89871-415-X

Weblinks

• Eric W. Weisstein et al. „Jacobi Method“ MathWorld
• Gesamt- und Einzelschrittverfahren bzw. Jacobi- und Gauss-Seidel-Verfahren für N = 3. (PDF; 90 kB) Archiviert vom Original (nicht mehr online verfügbar) am 24. Juni 2018; abgerufen am 10. Februar 2021 (deutsch).  Jacobi und Gauss-Seidel-Verfahren verständlich erklärt, inklusive Matlab-Programme.