Verfahren höherer Ordnung

Nächste Seite: Optimal Brain Demage Aufwärts: Lernen Vorherige Seite: Momentum-Term Inhalt

Unterabschnitte

Quickprop nutzt aus, dass die Fehleroberfläche quadratisch ist¹⁴. Nach einem Backprop-Schritt - wobei wir uns den Fehler merken, der vor diesem Schritt aktuell war - können wir mit Hilfe des neuen Fehlers das Minimum der Parabel berechnen und direkt ins Minimum springen.

Allerdings haben wir mehrere Fälle, wo wir Quickprop nicht anwenden können:

Parabel ist falsch herum. Ihr Extrempunkt, in welchen wir hineinspringen würden, ist ein Maximum.
über steile Schluchten wird hinweggesprungen
...

Backprop wird dann angewandt, wenn wir kein Quickprop anwenden können. Wollen wir all diese Fallunterscheidungen machen, lohnt sich Quickprop gar nicht mehr und wir machen lieber Backprop.

Zwei Gewichte

Wir springen gleich mit zwei Gewichten ins Minimum. Wir benötigen die Hessische Matrix. Diese ist relativ gross.

Analytische Methode

Wir können mit Hilfe einer Funktionalmatrix (gigantisch gross) das Problem sofort ausrechnen. Dies können wir mit dem Levenberg-Marquardt-Verfahren.