Optimal Brain Demage

Nächste Seite: RBF-Netze Aufwärts: Lernen Vorherige Seite: Verfahren höherer Ordnung Inhalt

Optimal Brain Demage

Problem: Netze mit wenigen Neuronen können Probleme manchmal nicht lernen. Netze mit zuvielen Neuronen lernen auswendig und generalisieren nicht. Optimal Brain Damage ist ein Verfahren Gewichte und Neuronen wegzustreichen. Dabei wird mit einem Term gelernt, der aus zwei sich wiederstrebenden Zielen besteht

$\begin{displaymath}\underbrace{\frac{1}{2}\sum(t-o)^{2}}_{\mbox{Fehler ist zu mi... ...eren}}+\underbrace{\gamma\sum_{w}(w)}_{\mbox{Gewichte gegen 0}}\end{displaymath}$

Durch das Bestreben den Fehler zu minimieren, werden die Gewichte von

weggedrückt. Einer der beiden Terme ist nun stärker. Wenn das Gewicht tatsächlich benötigt wird, wird es nicht

werden. Wenn das Gewicht nicht benötigt wird, wird es gegen

tendieren und es kann gelöscht werden. Ein Neuron mit allen Gewichten auf

kann gelöscht werden.
Die Lernregel wäre

$\begin{displaymath}\Delta w_{ij}= \eta\delta_{j}\tilde{o}_{i}-\epsilon w_{ij}\end{displaymath}$

oder

$\begin{displaymath}\Delta w_{ij}= \eta\delta_{j}\tilde{o}_{i} \mbox { und } \Delta w_{ij}= \Delta w_{ij}(1-\epsilon)\end{displaymath}$