GMRES-Verfahren

Gegeben sei das lineare Gleichungssystem ${\displaystyle Ax=b}$ mit einer reellen ${\displaystyle n\times n}$ Matrix A. Das Gleichungssystem sei eindeutig lösbar, A habe also vollen Rang. Gegeben sei außerdem eine Startnäherung ${\displaystyle x_{0}}$, etwa einfach die rechte Seite b. Dann wird das GMRES-Verfahren dadurch definiert, dass im m-ten Schritt die euklidische Norm des Residuums ${\displaystyle \|Ax-b\|_{2}}$ über den affinen Krylow-Unterraum ${\displaystyle x_{0}+{\mathcal {K}}_{m}(A,r_{0})=x_{0}+{\mbox{span}}\{r_{0},Ar_{0},\ldots ,A^{m-1}r_{0}\}}$ minimiert wird, mit dem Fehler ${\displaystyle r_{0}=b-Ax_{0}}$ der Startnäherung.

Hierzu wird eine orthonormale Basis ${\displaystyle \{v_{1},\dots ,v_{m}\}}$ des Raumes mit Hilfe der Arnoldi-Prozedur iterativ berechnet. Diese erlaubt eine Darstellung der von den Basisvektoren gebildeten Matrizen ${\displaystyle V_{m}\in \mathbb {R} ^{n\times m}}$ und ${\displaystyle V_{m+1}\in \mathbb {R} ^{n\times (m+1)}}$ über eine Matrix ${\displaystyle H_{m}\in \mathbb {R} ^{(m+1)\times m}}$, die eine obere Hessenbergmatrix ist, an die eine Zeile angehängt wurde, in der nur der letzte Eintrag nicht Null ist, als

${\displaystyle AV_{m}=V_{m+1}H_{m}}$.

Mit dem Ansatz ${\displaystyle x_{m}=x_{0}+V_{m}y}$ ergibt sich eine effizient berechenbare Form der Norm des Residuums, da ${\displaystyle V_{m+1}}$ die Euklidische Norm erhält:

${\displaystyle \|Ax_{m}-b\|_{2}=\|\|r_{0}\|_{2}v_{1}-V_{m+1}H_{m}y\|_{2}=\|\|r_{0}\|_{2}e_{1}-H_{m}y\|_{2}}$.

Hierbei bezeichnet ${\displaystyle e_{1}\in \mathbb {R} ^{m+1}}$ den ersten Einheitsvektor. Die Hessenbergmatrix H wird in jedem Schritt aufdatiert und dann durch eine zusammengesetzte orthogonale Transformation ${\displaystyle Q_{m}}$, meist durch Givens-Rotationen wie im unten angegebenen Pseudo-Code, auf eine rechte obere Dreiecksmatrix ${\displaystyle {\bar {R}}_{m}\in \mathbb {R} ^{(m+1)\times m}}$ mit Nullen in der letzten Zeile, gebracht. Hier sind nur m-1 Rotationen notwendig, da jede ein Element auf der unteren Nebendiagonalen auf Null setzen kann. In manchen Fällen verlieren die berechneten Vektoren aufgrund von Rundungsfehlern ihre Orthogonalität. Dies kann meist durch Verwendung der aufwändigeren Householder-Spiegelungen statt der Drehungen behoben werden. Anwendung von ${\displaystyle Q_{m}}$ liefert in beiden Fällen

${\displaystyle \|\|r_{0}\|_{2}e_{1}-H_{m}y\|_{2}=\|Q_{m}(\|r_{0}\|_{2}e_{1}-H_{m}y)\|_{2}=\|{\bar {g}}_{m}-{\bar {R}}_{m}y\|_{2}={\sqrt {|\gamma _{m+1}|^{2}+\|g_{m}-R_{m}y\|_{2}^{2}}}}$,

wobei ${\displaystyle g_{m}}$ und ${\displaystyle R_{m}}$ aus ihren Pendants durch Weglassen der letzten Zeile erhalten werden. Hier ist nun ersichtlich, an welcher Stelle das Residuum minimal wird, nämlich für den eindeutig bestimmten Vektor y, der ${\displaystyle g_{m}=R_{m}y}$ erfüllt. Das Residuum im m-ten Schritt ist damit genau ${\displaystyle |\gamma _{m+1}|}$.

Eine Besonderheit des Verfahrens ist, dass die aktuelle Näherung ${\displaystyle x_{m}}$ im Laufe der Iteration zunächst nicht berechnet wird, sondern nur der Hilfsvektor y. Stattdessen liefert das Verfahren in jedem Schritt die Norm des Residuums. Ist diese kleiner als die gewünschte Genauigkeit wird das Verfahren üblicherweise abgebrochen. Dann wird die aktuelle Näherung als Linearkombination der Basisvektoren berechnet. Hierbei sind die Komponenten von y einfach die Koeffizienten der Basisdarstellung.

Alternativ ist die Lösung des obigen Minimierungsproblems gegeben als der Vektor ${\displaystyle x_{m}}$ des affinen Krylow-Unterraumes ${\displaystyle x_{0}+{\mathcal {K}}_{m}(A,r_{0})}$, dessen Residuum ${\displaystyle b-Ax_{m}}$ senkrecht auf dem Raum ${\displaystyle A{\mathcal {K}}_{m}(A,r_{0})}$ steht. Damit ist GMRES eine schiefe Projektionsmethode.

Aufgrund der Definition des Verfahrens über das Minimierungsproblem fällt die euklidische Norm der Residuen monoton. In exakter Arithmetik ist GMRES sogar ein direktes Lösungsverfahren, welches spätestens nach n Schritten die exakte Lösung liefert. Wird die Dimension des Krylow-Unterraums in jedem Schritt um eins erhöht, ist diese Aussage klar, da dann im letzten Schritt über den kompletten ${\displaystyle \mathbb {R} ^{n}}$ minimiert wird. Ist dies nicht der Fall, so kommt es vorher zu einem Abbruch des Algorithmus, allerdings mit der exakten Lösung.

Für allgemeine Matrizen ist dies auch das stärkste Ergebnis das möglich ist, denn nach einem Satz von Greenbaum, Pták und Strakoš gibt es zu jeder monoton fallenden Folge eine Matrix, so dass die Folge der durch GMRES erzeugten Residuen der gegebenen Folge entspricht. Insbesondere ist es also möglich, dass die Residuen konstant bleiben und erst im allerletzten Schritt auf Null fallen.

Für spezielle Matrizen gibt es schärfere Konvergenzresultate. Ist die Matrix diagonalisierbar, so existiert eine reguläre Matrix V und eine Diagonalmatrix ${\displaystyle \Lambda }$ mit ${\displaystyle A=V\Lambda V^{-1}}$. Dann gilt für jedes Polynom vom Grad k mit ${\displaystyle p(0)=1}$:

${\displaystyle {\frac {\|r_{k}\|_{2}}{\|r_{0}\|_{2}}}\leq \kappa _{2}(V)\max _{z\in \sigma (A)}|p_{k}(z)|.}$

Hierbei bezeichnet ${\displaystyle \kappa _{2}}$ die Konditionszahl der Matrix in euklidischer Norm und ${\displaystyle \sigma (A)}$ das Spektrum, also die Menge der Eigenwerte. Für eine normale Matrix ist ${\displaystyle \kappa _{2}(V)=1}$. Aus der Ungleichung folgt insbesondere, dass die Vorkonditionierung die Eigenwerte zu Clustern zusammenführen sollte.

Ist die Matrix positiv definit (nicht notwendigerweise symmetrisch) so gilt:

${\displaystyle \|r_{m}\|_{2}\leq \left(1-{\frac {\lambda _{\text{min}}^{2}({\frac {A^{T}+A}{2}})}{\lambda _{\text{max}}(A^{T}A)}}\right)^{m/2}\|r_{0}\|_{2}}$,

wobei ${\displaystyle \lambda _{\text{min}}}$ und ${\displaystyle \lambda _{\text{max}}}$ den größten beziehungsweise kleinsten Eigenwert einer Matrix bezeichnen.

Ist die Matrix A nicht nur positiv definit, sondern auch symmetrisch, so gilt sogar:

${\displaystyle \|r_{m}\|_{2}\leq \left({\frac {\kappa _{2}^{2}(A)-1}{\kappa _{2}^{2}(A)}}\right)^{m/2}\|r_{0}\|_{2}}$.

All diese Aussagen gelten nur für die Residuen und geben damit keine Auskunft über den tatsächlichen Fehler, also den Abstand der aktuellen Näherung zur exakten Lösung. Zu diesem sind keine Aussagen bekannt.

GMRES benötigt pro Iteration eine Matrix-Vektor-Multiplikation und eine Reihe von Skalarprodukten, deren Anzahl um eine pro Iterationsschritt steigt, ebenso wie die Anzahl der (vollbesetzten!) zu speichernden Basisvektoren. Dies liegt daran, dass das Verfahren nicht durch eine kurze Rekursion gegeben ist, sondern auf alle Basisvektoren in jedem Schritt zugegriffen wird.

Da der Aufwand und der Speicherplatz linear mit der Iterationszahl steigen, ist es üblich, nach k Schritten die berechnete Basis zu verwerfen und die Iteration mit der aktuellen Näherungslösung neu zu starten (=Restart). Dieses Verfahren wird GMRES(k) genannt, übliche Restart-Längen sind 20 bis 40. Hier lässt sich allerdings nur noch für Spezialfälle Konvergenz beweisen, und es lassen sich Matrizen angeben, so dass ein Restart nicht zu Konvergenz führt.

Der Gesamtaufwand von GMRES ist wie bei allen Krylow-Unterraum-Verfahren bei dünnbesetzten Matrizen O(n) mit einer hohen Konstanten, wenn deutlich weniger Iterationen durchgeführt werden, als es Unbekannte gibt.

Für symmetrische Matrizen fällt das Arnoldi-Verfahren zur Berechnung der orthogonalen Basis mit dem Lanczos-Verfahren zusammen. Das entsprechende Krylow-Unterraum-Verfahren ist das MINRES-Verfahren (für Minimal Residual Method) von Paige und Saunders. Dieses kommt im Gegensatz zur verallgemeinerten Variante mit einer Dreitermrekursion aus. Es lässt sich zeigen, dass es für allgemeine Matrizen kein Krylow-Unterraum-Verfahren gibt, welches mit kurzen Rekursionen arbeitet, aber gleichzeitig wie das GMRES-Verfahren eine Optimalitätsbedingung bezüglich der Norm des Residuums erfüllt.

Eine andere Klasse von Verfahren baut auf dem unsymmetrischen Lanczos-Verfahren auf, insbesondere das BiCG-Verfahren. Solche Verfahren zeichnen sich durch eine Dreitermrekursion aus, allerdings haben sie aufgrund der fehlenden Optimalität keine monotone Konvergenzhistorie mehr. Darüber hinaus liefern sie zwar im Konvergenzfall die exakte Lösung, haben allerdings keine garantierte Konvergenz mehr.

Die dritte Variante sind Verfahren wie CGS und BiCGSTAB. Diese arbeiten ebenfalls mit Dreitermrekursionen ohne Optimalität und können ebenfalls vorzeitig ohne Konvergenz abbrechen. Die Idee bei diesen Verfahren ist es, die generierenden Polynome der Iterationssequenz geschickt zu wählen.

Keine der drei Gruppen ist für alle Matrizen besser, es gibt jeweils Beispiele, wo eine Klasse die anderen übertrumpft. In der Praxis werden deswegen mehrere Löser ausprobiert, um für das gegebene Problem Erfahrungswerte zu sammeln.

Für den Fall symmetrischer, positiv-definiter Matrizen ist das von NVIDIA bereitgestellte CHOLMOD eine Hochleistungsbibliothek für die spärliche Cholesky-Faktorisierung. Die Berechnung kann auf einfache Weise auch auf die GPU ausgelagert werden, wodurch eine wesentliche zusätzliche Beschleunigung der Berechnung erzielt werden kann. CHOLMOD ist Teil des SuiteSparse-Pakets für lineare Algebra, das von Prof. Tim Davis von der Texas A&M University entwickelt wurde. SuiteSparse und CHOLMOD werden seit langem in der Industrie und im akademischen Bereich eingesetzt – insbesondere als Löser linearer Systeme, die mit dem Matlab-Operator „Backslash“ aufgerufen werden (wie in x = A\b)[1].

Weniger entscheidend als die Auswahl des tatsächlichen Lösers ist die Wahl des Vorkonditionierers, durch den entscheidende Geschwindigkeitsverbesserungen erzielt werden können. Für sequentielle Codes bietet sich hier eine ILU-Zerlegung an, aber je nach Problem können sich auch andere Vorkonditionierer als sehr effizient erweisen. Da ILU nicht parallelisierbar ist, werden in diesem Falle andere eingesetzt, beispielsweise Schwarz-Gebietszerlegungs-Verfahren.

• C. T. Kelley: Iterative Methods for Linear and Nonlinear Equations. Society for Industrial and Applied Mathematics SIAM, Philadelphia PA 1995, ISBN 0-89871-352-8, (Frontiers in applied mathematics 16).
• Andreas Meister: Numerik linearer Gleichungssysteme. Eine Einführung in moderne Verfahren. 2. überarbeitete Auflage. Vieweg, Wiesbaden 2005, ISBN 3-528-13135-7.
• Yousef Saad: Iterative Methods for Sparse Linear Systems. 2nd edition. Society for Industrial and Applied Mathematics SIAM, Philadelphia PA 2003, ISBN 0-89871-534-2.
• Yousef Saad, Martin H. Schultz: GMRES: A generalized minimal residual algorithm for solving nonsymmetric linear systems. In: SIAM Journal on Scientific and Statistical Computing Bd. 7, 1986, ISSN 0196-5204, S. 856–869.

1. CHOLMOD-Verfahren. 15. Dezember 2019, abgerufen am 15. März 2023.