Deltaregel: Unterschied zwischen den Versionen
Wehner (Diskussion | Beiträge) Keine Bearbeitungszusammenfassung |
Keine Bearbeitungszusammenfassung |
||
| (Eine dazwischenliegende Version desselben Benutzers wird nicht angezeigt) | |||
| Zeile 2: | Zeile 2: | ||
Die Deltaregel ist ein überwachter [[Lernen|Lernalgorithmus]], der in [[Neuronale Netze|künstlichen neuronalen Netzen]] verwendet wird. Die Grundidee besteht darin, dass Gewichte in Abhängigkeit von der Differenz zwischen dem Output des [[Neuronale Netze|Netzes]] und dem eigentlich korrekten Output modifiziert werden. Unter den verschiedenen Varianten [[Supervised|überwachten Lernens]] gehört die Deltaregel zu den unkompliziertesten. Sie ist angelehnt an das [[Unsupervised: Hebb|Hebb’sche Lernen]] und lässt sich als Formel wie folgt darstellen: | Die Deltaregel ist ein überwachter [[Lernen|Lernalgorithmus]], der in [[Neuronale Netze|künstlichen neuronalen Netzen]] verwendet wird. Die Grundidee besteht darin, dass Gewichte in Abhängigkeit von der Differenz zwischen dem Output des [[Neuronale Netze|Netzes]] und dem eigentlich korrekten Output modifiziert werden. Unter den verschiedenen Varianten [[Supervised|überwachten Lernens]] gehört die Deltaregel zu den unkompliziertesten. Sie ist angelehnt an das [[Unsupervised: Hebb|Hebb’sche Lernen]] und lässt sich als Formel wie folgt darstellen: | ||
[[Datei:Deltaregel1.png|301px]] | [[Datei:Deltaregel1.png|301px|link=Ausgelagerte_Formeln#Deltaregel|Ausgelagerte Formel Deltaregel]] | ||
Dabei ist ''∆w<sub>xy</sub>'' die Veränderung des Gewichts zwischen dem Inputknoten ''x'' und dem Outputknoten ''y''. Durch ''y<sub>korrekt</sub>'' wird der korrekte Output angegeben. Der Wert ''y<sub>beobachtet</sub>'' ist der tatsächliche Output des Knotens. Der Parameter ''α'' bezeichnet die Lernrate, die Werte zwischen 0 und 1 annimmt und die Geschwindigkeit des [[Lernen|Lernens]] beeinflusst. Die Differenz zwischen gewünschtem und beobachtetem Output kann auch als ''∆y'' geschrieben werden, was die Namensherkunft der Deltaregel erklärt. Die verkürzte Formel sieht dann folgendermaßen aus: | Dabei ist ''∆w<sub>xy</sub>'' die Veränderung des Gewichts zwischen dem Inputknoten ''x'' und dem Outputknoten ''y''. Durch ''y<sub>korrekt</sub>'' wird der korrekte Output angegeben. Der Wert ''y<sub>beobachtet</sub>'' ist der tatsächliche Output des Knotens. Der Parameter ''α'' bezeichnet die Lernrate, die Werte zwischen 0 und 1 annimmt und die Geschwindigkeit des [[Lernen|Lernens]] beeinflusst. Die Differenz zwischen gewünschtem und beobachtetem Output kann auch als ''∆y'' geschrieben werden, was die Namensherkunft der Deltaregel erklärt. Die verkürzte Formel sieht dann folgendermaßen aus: | ||
[[Datei:Deltaregel2.png|150px]] | [[Datei:Deltaregel2.png|150px|link=Ausgelagerte_Formeln#Deltaregel (verkürzt)|Ausgelagerte Formel Deltaregel (verkürzt)]] | ||
Beim [[Lernen]] kann es zu drei Szenarien kommen. Wenn die Aktivität des Outputknotens zu gering ist, nimmt ''∆y'' einen positiven Wert an, sodass das Gewicht der Verbindung erhöht wird. Sollte die Aktivität des Outputknotens zu hoch sein, wird die Differenz zwischen gewünschtem und beobachtetem Output negativ und sorgt für eine Schwächung der Verbindung. Im Optimalfall entspricht die Aktivität des Outputknotens dem gewünschten Wert, sodass ''∆y'' Null ist und keine Gewichtsanpassung mehr notwendig ist. Interessant ist nun noch, dass die Veränderung abhängt von der Aktivierung der beteiligten Inputknoten ''x''. Je stärker ein Inputknoten ''x'' an dem produzierten Output beteiligt war, je stärker er also selbst gefeuert hat, desto stärker ist auch seine Verbindung zum Output von der Veränderung betroffen. | Beim [[Lernen]] kann es zu drei Szenarien kommen. Wenn die Aktivität des Outputknotens zu gering ist, nimmt ''∆y'' einen positiven Wert an, sodass das Gewicht der Verbindung erhöht wird. Sollte die Aktivität des Outputknotens zu hoch sein, wird die Differenz zwischen gewünschtem und beobachtetem Output negativ und sorgt für eine Schwächung der Verbindung. Im Optimalfall entspricht die Aktivität des Outputknotens dem gewünschten Wert, sodass ''∆y'' Null ist und keine Gewichtsanpassung mehr notwendig ist. Interessant ist nun noch, dass die Veränderung abhängt von der Aktivierung der beteiligten Inputknoten ''x''. Je stärker ein Inputknoten ''x'' an dem produzierten Output beteiligt war, je stärker er also selbst gefeuert hat, desto stärker ist auch seine Verbindung zum Output von der Veränderung betroffen. | ||
Die Deltaregel besitzt gegenüber der [[Unsupervised: Hebb|Hebb’schen Lernregel]] den Vorteil, dass sie zielgerichtet einen bestimmten Output mit einem Input assoziieren kann. Außerdem funktioniert [[Supervised|überwachtes Lernen]] in der Regel schneller als [[Unsupervised: Hebb|unüberwachtes]]. Von Nachteil ist jedoch, dass der gewünschte Output für jedes Neuron der Outputschicht (output layer) bekannt sein muss. Dies ist meist nicht der Fall und mindert zudem die biologische Plausibilität des [[Lernen|Lernens]]. Ein weiteres Problem besteht darin, dass die Deltaregel nur für zweischichtige [[Neuronale Netze|Netze]] mit einer Input- und einer Outputschicht anwendbar ist, da der gewünschte Output nicht für Hiddenschichten (hidden layers) gilt. Dieses Problem wird durch die [[Backpropagation]]-Regel gelöst, die eine Verallgemeinerung der Deltaregel für mehrschichtige [[Neuronale Netze|Netze]] darstellt. | Die Deltaregel besitzt gegenüber der [[Unsupervised: Hebb|Hebb’schen Lernregel]] den Vorteil, dass sie zielgerichtet einen bestimmten Output mit einem Input assoziieren kann. Außerdem funktioniert [[Supervised|überwachtes Lernen]] in der Regel schneller als [[Unsupervised: Hebb|unüberwachtes]]. Von Nachteil ist jedoch, dass der gewünschte Output für jedes Neuron der Outputschicht (output layer) bekannt sein muss. Dies ist meist nicht der Fall und mindert zudem die biologische Plausibilität des [[Lernen|Lernens]]. Ein weiteres Problem besteht darin, dass die Deltaregel nur für zweischichtige [[Neuronale Netze|Netze]] mit einer Input- und einer Outputschicht anwendbar ist, da der gewünschte Output nicht für Hiddenschichten (hidden layers) gilt. Dieses Problem wird durch die [[Backpropagation]]-Regel gelöst, die eine Verallgemeinerung der Deltaregel für mehrschichtige [[Neuronale Netze|Netze]] darstellt. | ||
Aktuelle Version vom 12. November 2021, 11:43 Uhr
Die Deltaregel ist ein überwachter Lernalgorithmus, der in künstlichen neuronalen Netzen verwendet wird. Die Grundidee besteht darin, dass Gewichte in Abhängigkeit von der Differenz zwischen dem Output des Netzes und dem eigentlich korrekten Output modifiziert werden. Unter den verschiedenen Varianten überwachten Lernens gehört die Deltaregel zu den unkompliziertesten. Sie ist angelehnt an das Hebb’sche Lernen und lässt sich als Formel wie folgt darstellen:
Dabei ist ∆wxy die Veränderung des Gewichts zwischen dem Inputknoten x und dem Outputknoten y. Durch ykorrekt wird der korrekte Output angegeben. Der Wert ybeobachtet ist der tatsächliche Output des Knotens. Der Parameter α bezeichnet die Lernrate, die Werte zwischen 0 und 1 annimmt und die Geschwindigkeit des Lernens beeinflusst. Die Differenz zwischen gewünschtem und beobachtetem Output kann auch als ∆y geschrieben werden, was die Namensherkunft der Deltaregel erklärt. Die verkürzte Formel sieht dann folgendermaßen aus:
Beim Lernen kann es zu drei Szenarien kommen. Wenn die Aktivität des Outputknotens zu gering ist, nimmt ∆y einen positiven Wert an, sodass das Gewicht der Verbindung erhöht wird. Sollte die Aktivität des Outputknotens zu hoch sein, wird die Differenz zwischen gewünschtem und beobachtetem Output negativ und sorgt für eine Schwächung der Verbindung. Im Optimalfall entspricht die Aktivität des Outputknotens dem gewünschten Wert, sodass ∆y Null ist und keine Gewichtsanpassung mehr notwendig ist. Interessant ist nun noch, dass die Veränderung abhängt von der Aktivierung der beteiligten Inputknoten x. Je stärker ein Inputknoten x an dem produzierten Output beteiligt war, je stärker er also selbst gefeuert hat, desto stärker ist auch seine Verbindung zum Output von der Veränderung betroffen.
Die Deltaregel besitzt gegenüber der Hebb’schen Lernregel den Vorteil, dass sie zielgerichtet einen bestimmten Output mit einem Input assoziieren kann. Außerdem funktioniert überwachtes Lernen in der Regel schneller als unüberwachtes. Von Nachteil ist jedoch, dass der gewünschte Output für jedes Neuron der Outputschicht (output layer) bekannt sein muss. Dies ist meist nicht der Fall und mindert zudem die biologische Plausibilität des Lernens. Ein weiteres Problem besteht darin, dass die Deltaregel nur für zweischichtige Netze mit einer Input- und einer Outputschicht anwendbar ist, da der gewünschte Output nicht für Hiddenschichten (hidden layers) gilt. Dieses Problem wird durch die Backpropagation-Regel gelöst, die eine Verallgemeinerung der Deltaregel für mehrschichtige Netze darstellt.