Unsupervised: Hebb

Unüberwachtes Lernen im Allgemeinen

Unüberwachtes Lernen ist dadurch gekennzeichnet, dass das Netz ohne einen „Lehrer“ lernen muss, der einen korrekten Output vorgibt. Stattdessen lernen Netze beim unüberwachten Lernen allein aufgrund der gezeigten Inputmuster und finden in diesen Mustern statistische Regularitäten wie Cluster oder Korrelationen. Jeder Knoten lernt durch Koaktivierung seiner Inputknoten die Assoziation der Inputs. Daher ist diese Form des Lernens geeignet, wenn unbekannte Strukturen in Datensätzen gefunden werden sollen.

Hebb'sches Lernen im Konkreten

Eine der einfachsten Lernregeln stammt von Donald O. Hebb (1949):
"Wenn ein Axon der Zelle A [...] Zelle B erregt und wiederholt und dauerhaft zur Erzeugung von Aktionspotentialen in Zelle B beiträgt, so resultiert dies in Wachstumsprozessen oder metabolischen Veränderungen in einer oder in beiden Zellen, die bewirken, dass die Effizienz von Zelle A in Bezug auf die Erzeugung eines Aktionspotentials in B größer wird."
Kurz gesagt: "What fires together, wires together".

Diese Lernregel lässt sich auch als Formel ausdrücken:

Dabei steht w für „weight“, also die Verbindungsgewichte zwischen den Inputknoten x und dem Outputknoten y . Entsprechend ist ∆w_xy die Veränderung dieser Verbindungsgewichte in einem Lerndurchgang. Diese Lernveränderung ist abhängig von einer (üblicherweise sehr kleinen) Lernrate λ, welche die Geschwindigkeit des Lernens bestimmt. Ein anschauliches Beispiel für Hebb’sches Lernen ist das klassische Konditionieren. Die Glocke sowie das Essen werden jeweils durch einen Inputknoten repräsentiert und der Speichelfluss durch einen Outputknoten.

Essen und Speichelfluss sind von Anfang an stark assoziiert, deshalb liegt ein hohes Verbindungsgewicht vor. Die Wahrnehmung von Essen (Aktivierung des „Essensknotens“) ruft Speichelfluss (Aktivierung des „Speichelflussknotens“) hervor. Eine Glocke allein sorgt üblicherweise nicht für Speichelfluss – es liegt keine Assoziation vor und das Verbindungsgewicht liegt bei Null. Wenn jedoch häufiger die Glocke läutet (Aktivierung des Glockenknotens), während der Essensknoten aktiv ist und Speichel produziert wird, führt die gemeinsame Aktivierung von Glocken- und Speichelflussknoten zu einer Stärkung der Verbindung zwischen ihnen. Daher kann die Glocke nach einigen Lerndurchgängen auch ohne Vorhandensein von Essen Speichelfluss anregen.

Vor- und Nachteile des unüberwachten Lernens

Eine Stärke des unüberwachten Lernens liegt darin, dass kein Output vorgegeben werden muss und somit gänzlich neue Zusammenhänge entdeckt werden können. Auch ist das Lernen ohne „Lehrer“ ökologisch valide, da die meisten Lernvorgänge implizit und ohne Korrektur stattfinden. Die biologische Plausibilität des Verfahrens ist höher als beim überwachten Lernen, stößt jedoch auch an ihre Grenzen. Klassisches Hebb’sches Lernen steht beispielsweise vor dem Problem, dass ein unbegrenztes Wachstum der Gewichte möglich ist, was auf biologischer Ebene aufgrund der räumlichen und ressourcenbedingten Einschränkungen der Hirnkapazität nicht gewährleistet ist. Ebenso kann durch den Algorithmus der Befund nicht erklärt werden, dass Synapsen auch wieder an Stärke verlieren können. Entsprechend gibt es viele Varianten bzw. Verbesserung der Grundregeln des Hebb‘schen Lernens, welche diese Probleme auf unterschiedliche Art und Weise zu lösen versuchen.

Ein einfaches Beispiel für Hebb'sches Lernen kann in der R-Shiny-App "Neuronale Netze" beobachtet und untersucht werden.