Deltaregel

Die Deltaregel ist ein überwachter Lernalgorithmus, der in künstlichen neuronalen Netzen verwendet wird. Die Grundidee besteht darin, dass Gewichte in Abhängigkeit von der Differenz zwischen dem Output des Netzes und dem eigentlich korrekten Output modifiziert werden. Unter den verschiedenen Varianten überwachten Lernens gehört die Deltaregel zu den unkompliziertesten. Sie ist angelehnt an das Hebb’sche Lernen und lässt sich als Formel wie folgt darstellen:

Dabei ist ∆w_xy die Veränderung des Gewichts zwischen dem Inputknoten x und dem Outputknoten y. Durch y_korrekt wird der korrekte Output angegeben. Der Wert y_beobachtet ist der tatsächliche Output des Knotens. Der Parameter α bezeichnet die Lernrate, die Werte zwischen 0 und 1 annimmt und die Geschwindigkeit des Lernens beeinflusst. Die Differenz zwischen gewünschtem und beobachtetem Output kann auch als ∆y geschrieben werden, was die Namensherkunft der Deltaregel erklärt. Die verkürzte Formel sieht dann folgendermaßen aus:

Beim Lernen kann es zu drei Szenarien kommen. Wenn die Aktivität des Outputknotens zu gering ist, nimmt ∆y einen positiven Wert an, sodass das Gewicht der Verbindung erhöht wird. Sollte die Aktivität des Outputknotens zu hoch sein, wird die Differenz zwischen gewünschtem und beobachtetem Output negativ und sorgt für eine Schwächung der Verbindung. Im Optimalfall entspricht die Aktivität des Outputknotens dem gewünschten Wert, sodass ∆y Null ist und keine Gewichtsanpassung mehr notwendig ist. Interessant ist nun noch, dass die Veränderung abhängt von der Aktivierung der beteiligten Inputknoten x. Je stärker ein Inputknoten x an dem produzierten Output beteiligt war, je stärker er also selbst gefeuert hat, desto stärker ist auch seine Verbindung zum Output von der Veränderung betroffen.

Die Deltaregel besitzt gegenüber der Hebb’schen Lernregel den Vorteil, dass sie zielgerichtet einen bestimmten Output mit einem Input assoziieren kann. Außerdem funktioniert überwachtes Lernen in der Regel schneller als unüberwachtes. Von Nachteil ist jedoch, dass der gewünschte Output für jedes Neuron der Outputschicht (output layer) bekannt sein muss. Dies ist meist nicht der Fall und mindert zudem die biologische Plausibilität des Lernens. Ein weiteres Problem besteht darin, dass die Deltaregel nur für zweischichtige Netze mit einer Input- und einer Outputschicht anwendbar ist, da der gewünschte Output nicht für Hiddenschichten (hidden layers) gilt. Dieses Problem wird durch die Backpropagation-Regel gelöst, die eine Verallgemeinerung der Deltaregel für mehrschichtige Netze darstellt.