Aufmerksamkeit (Maschinelles Lernen)

Aufmerksamkeit ist in künstlichen neuronalen Netzen eine Technik, die die kognitive Aufmerksamkeit imitieren soll. Durch diesen Effekt werden einige Teile der Eingabedaten verstärkt, während andere Teile abgeschwächt werden - die Motivation ist, dass das Netz den kleinen, aber wichtigen Teilen der Daten mehr Aufmerksamkeit widmen sollte. Das Lernen, welcher Teil der Daten wichtiger ist als ein anderer, hängt vom Kontext ab und wird durch Gradientenabstieg trainiert.

Aufmerksamkeitsähnliche Mechanismen wurden in den 1990er Jahren unter Bezeichnungen wie multiplikative Module, Sigma-Pi-Einheiten und Hypernetzwerke eingeführt. Ihre Flexibilität ergibt sich aus ihrer Rolle als "weiche Gewichte", die sich während der Laufzeit ändern können, im Gegensatz zu Standardgewichten, die zur Laufzeit fest bleiben müssen. Zu den Anwendungen der Aufmerksamkeit gehören das Gedächtnis in neuronalen Turing-Maschinen, logische Aufgaben in differenzierbaren neuronalen Computern, Sprachverarbeitung in Transformern und LSTMs sowie die Verarbeitung multisensorischer Daten (Ton, Bild, Video und Text) in Wahrnehmungsgeräten. Es gibt verschiedene Arten von Aufmerksamkeit, darunter (a) die Bahdanau-Aufmerksamkeit, auch als additive Aufmerksamkeit bezeichnet, (b) die Luong-Aufmerksamkeit, die als multiplikative Aufmerksamkeit bekannt ist und auf der additiven Aufmerksamkeit aufbaut, und (c) die in Transformern eingeführte Selbstaufmerksamkeit. Bei neuronalen Faltungsnetzen können die Aufmerksamkeitsmechanismen auch nach der Dimension unterschieden werden, auf der sie wirken, nämlich: räumliche Aufmerksamkeit, Kanalaufmerksamkeit, oder Kombinationen aus beiden.

Grundidee

Bei einer Folge von Tokens $t_{i}$, die durch den Index $i$ gekennzeichnet sind, berechnet ein neuronales Netz für jedes $t_{i}$ ein weiches Gewicht $w_{i}$ mit der Eigenschaft, dass $w_{i}$ nicht-negativ ist und ${\textstyle \sum _{i}w_{i}=1}$. Jedem $t_{i}$ ist ein Wertevektor $v_{i}$ zugeordnet, der aus der Worteinbettung des $i$-ten Tokens berechnet wird. Der gewichtete Durchschnitt ${\textstyle \sum _{i}w_{i}v_{i}}$ ist das Ergebnis des Aufmerksamkeitsmechanismus.

Der Query-Key-Mechanismus errechnet die weichen Gewichte. Aus der Worteinbettung jedes Tokens berechnet er den entsprechenden Abfragevektor $q_{i}$ und den Schlüsselvektor $k_{i}$. Die Gewichte erhält man durch die Softmax-Funktion des Skalarprodukts $q_{i}k_{j}$, wobei $i$ für das aktuelle Token und $j$ für das Token steht, auf das gerade geachtet wird.

In einigen Architekturen gibt es mehrere Aufmerksamkeitsbereiche (so genannte "Multi-Head-Attention"), die jeweils unabhängig voneinander mit eigenen Abfragen, Schlüsseln und Werten arbeiten.