BFGS-Verfahren

Das Broyden–Fletcher–Goldfarb–Shanno (BFGS) Verfahren ist ein numerisches Verfahren zur Lösung von nichtlinearen Optimierungsproblemen. Das Verfahren wurde von den Mathematikern Broyden, Fletcher, Goldfarb und Shanno im Jahre 1970 unabhängig voneinander entwickelt und in vier wissenschaftlichen Artikeln publiziert.

Beispiellauf des BFGS-Verfahrens mit der Rosenbrock-Funktion ("Bananenfunktion")

Es gehört zu der Gruppe der Quasi-Newton-Verfahren. Als solches vermeidet es die direkte Berechnung der Hesse-Matrix, indem es die Hesse-Matrix iterativ approximiert. Bei quadratischen Funktionen benötigen sowohl das Newton-Verfahren als auch Quasi-Newton-Verfahren ca. N² Funktionsaufrufe (wenn man die Ableitungen über Differenzenquotienten approximiert); dies gilt auch für das Verfahren der konjugierten Gradienten. Allerdings hat sich insbesondere das BFGS-Verfahren in der Praxis besonders bewährt (z. B. ist es relativ tolerant gegenüber Fehlern bei der Schrittweitensteuerung).