AI-fogalom · Modellek
Transformer architektúra
Neurális hálózati architektúra, amely az önfigyelem (self-attention) mechanizmussal dolgozza fel a sorozatokat, és a mai nagy nyelvi modellek alapja.
Más néven: Transformer, transzformer modell, attention-alapú architektúra, self-attention hálózat
A Transformer egy 2017-ben bemutatott neurális hálózati architektúra, amelyet eredetileg gépi fordításra terveztek, mára azonban a nagy nyelvi modellek és sok más gépi tanulási rendszer alapjává vált. Lényege, hogy a bemeneti sorozat (például egy mondat szavai) elemeit nem egymás után, hanem párhuzamosan dolgozza fel, miközben az úgynevezett önfigyelem (self-attention) mechanizmus segítségével minden elemhez hozzárendeli, mennyire fontos számára a sorozat többi eleme.
A korábban elterjedt visszacsatolt (rekurrens) hálózatokkal szemben a Transformer nem szekvenciálisan halad végig a bemeneten, hanem egyszerre látja az egész sorozatot, és súlyokkal fejezi ki az egyes elemek közötti kapcsolatok erősségét. Ez a megközelítés lehetővé teszi a hosszú távú összefüggések hatékony megragadását, és mivel a számítások nagy része párhuzamosítható, sokkal jobban kihasználja a modern grafikus processzorok (GPU-k) teljesítményét, mint a korábbi architektúrák.
A Transformer több egymásra épülő rétegből áll, amelyek mindegyike önfigyelem-blokkokat és egyszerű előrecsatolt hálózatokat tartalmaz, kiegészítve a pozícióinformációt hordozó jelölésekkel, hiszen a párhuzamos feldolgozás miatt a modell önmagától nem érzékelné a szavak sorrendjét. Ez az építőelem képezi a nagy nyelvi modellek, a képfelismerő és -generáló rendszerek, valamint számos más modern mesterséges intelligencia alapját, és gyakorlatilag az elmúlt évek AI-fejlődésének egyik legfontosabb technikai alapköve.
Jelentőségét az adja, hogy méretezhető: a rétegek és paraméterek számának növelésével, valamint nagyobb adathalmazokon történő tanítással a Transformer-alapú modellek teljesítménye következetesen javul, ami lehetővé tette az egyre nagyobb és képességesebb nyelvi modellek megjelenését.