AI-fogalom · Kutatás
Előtanítás (pretraining)
Egy nagy neurális modell nagy mennyiségű, általános adaton történő kezdeti betanítása, mielőtt konkrét feladatra finomhangolnák.
Más néven: pretraining, pre-training, előzetes tanítás, alaptanítás, önfelügyelt előtanítás
Az előtanítás egy gépi tanulási modell, jellemzően egy nagy neurális háló, első betanítási szakasza, amely során a modell hatalmas mennyiségű, gyakran feliratozatlan adaton (például szöveg, kép vagy hangfelvétel) tanul meg általános mintázatokat, nyelvi vagy vizuális szabályszerűségeket. Ez a szakasz megelőzi azt a lépést, amikor a modellt egy konkrét, szűkebb feladatra hangolják tovább, ezért gyakran alap- vagy háttértudás kialakításának tekinthető.
A folyamat leggyakrabban önfelügyelt tanulással történik, ami azt jelenti, hogy nincs szükség emberi címkézésre: a modell maga generál tanulási feladatokat az adatból, például egy szövegben hiányzó szót kell megjósolnia, vagy egy kép egy részét kell helyreállítania. Ez lehetővé teszi, hogy a tanításhoz felhasznált adathalmaz mérete gyakorlatilag korlátlan legyen, mivel nem igényel költséges, kézi annotálást. A nagy nyelvi modellek, mint például a GPT-típusú architektúrák, jellemzően így tanulják meg a nyelv szerkezetét, a tényszerű ismereteket és a következtetési képességek alapjait.
Az előtanítás jelentősége abban áll, hogy az így létrehozott modell egy általános célú, sokoldalú kiindulási pontot ad, amelyet aztán viszonylag kevés további adattal és számítási kapacitással lehet specifikus feladatokra alakítani, ezt hívják finomhangolásnak. Ez a kétlépcsős megközelítés jelentősen csökkenti az egyes alkalmazások fejlesztési költségét és időt, mivel a legköltségesebb, legidőigényesebb rész, az alaptudás kiépítése, csak egyszer történik meg, az eredmény pedig sokféle célra újrahasználható.
Az előtanítás mérete és minősége szorosan összefügg a modell teljesítményével: nagyobb adathalmaz és több paraméter általában jobb általánosítást és szélesebb tudásbázist eredményez, ám ez egyúttal jelentős számítási erőforrást és energiát is igényel. Emiatt az előtanítás költsége és környezeti hatása is fontos szempont a modern mesterséges intelligencia fejlesztésében.