AI-fogalom · Kutatás
Visszaterjesztés (backpropagation)
Neurális hálók tanítására használt algoritmus, amely a hiba gradiensét a kimenettől a bemenet felé haladva számítja ki a súlyok frissítéséhez.
Más néven: backpropagation, hibavisszaterjesztés, backprop, gradiens visszaterjesztés
A visszaterjesztés egy matematikai eljárás, amellyel neurális hálózatok megtanulják, hogyan módosítsák belső paramétereiket, a súlyokat, hogy egyre pontosabb kimenetet adjanak. A módszer a lánc szabályára épül: a háló kimenetén mért hibát rétegről rétegre visszafelé haladva bontja szét, meghatározva, hogy az egyes súlyok mennyiben járultak hozzá a hibához.
A folyamat két fő lépésből áll. Először a bemenet végigmegy a hálón, és kiszámolja a kimenetet, ezt előre irányú lefutásnak nevezik. Ezután a kimenet és az elvárt érték közötti eltérésből kiindulva a hiba visszafelé terjed a rétegeken, minden súlyhoz kiszámítva egy gradienst, ami megmutatja, milyen irányban és mekkora mértékben kellene módosítani a súlyt a hiba csökkentése érdekében. Ezt a gradienst egy optimalizáló algoritmus, jellemzően valamilyen gradiens-ereszkedés variáns használja fel a súlyok tényleges frissítésére.
A visszaterjesztés jelentősége abban áll, hogy hatékonyan, viszonylag kevés számítási lépésben teszi lehetővé nagy, sokrétegű hálózatok tanítását, amelyek manuálisan kezelhetetlenül sok paramétert tartalmaznak. Nélküle a mai mélytanulási modellek, köztük a nagy nyelvi modellek és képfelismerő rendszerek betanítása nem lenne kivitelezhető méretben és sebességben. A módszert az 1980-as években népszerűsítették, és mára a mélytanulás egyik alapkövévé vált, amelyet a legtöbb tanítási keretrendszer automatikusan, a fejlesztő számára rejtve végez el.