AI-fogalom · Kutatás
Önfigyelem (self-attention)
Olyan mechanizmus, amellyel egy szekvencia minden eleme megméri a saját fontosságát a sorozat összes többi eleméhez viszonyítva.
Más néven: Self-attention, Öndfigyelmi mechanizmus, Scaled dot-product attention, Belső figyelem
Az önfigyelem egy neurális hálózati mechanizmus, amely lehetővé teszi, hogy egy bemeneti sorozat (például egy mondat szavai) minden eleme közvetlenül kapcsolatba kerüljön a sorozat összes többi elemével, és ennek alapján súlyozza azok fontosságát. A módszer minden elemhez három vektort rendel: egy lekérdezést (query), egy kulcsot (key) és egy értéket (value). A lekérdezés és a kulcsok közötti hasonlóság határozza meg, mennyi figyelmet kap az adott elem, majd ezekkel a súlyokkal kombinálják az értékeket, így minden pozíció egy kontextusfüggő új reprezentációt kap.
A mechanizmus jelentősége abban áll, hogy a hagyományos rekurrens hálózatokkal (RNN) ellentétben nem szükséges lépésről lépésre haladni a sorozaton: minden elem egyszerre, párhuzamosan tudja figyelembe venni a többi elemet, bármilyen távol is legyenek egymástól. Ez megoldja a hosszú távú függőségek kezelésének problémáját, és jelentősen felgyorsítja a tanítást, mivel a számítások jól párhuzamosíthatók grafikus processzorokon.
Az önfigyelem a Transformer architektúra központi eleme, amelyre a mai nagy nyelvi modellek (például a GPT és a BERT családok) épülnek. Gyakran több, párhuzamosan futó úgynevezett többfejű (multi-head) önfigyelem-blokkot alkalmaznak egymás mellett, hogy a modell egyszerre több szempontból, különböző típusú kapcsolatokat is megtanulhasson a bemeneti elemek között. Ez a képesség tette lehetővé a nyelvi, majd később a képi és multimodális modellek minőségi ugrását.