AI-fogalom · Eszközök
GPU és TPU (Graphics Processing Unit és Tensor Processing Unit)
Speciális processzorok, amelyek párhuzamos számítási képességük miatt ideálisak a mesterséges intelligencia modelljeinek betanítására és futtatására.
Más néven: grafikus feldolgozóegység, tenzor feldolgozóegység, AI-gyorsító, gépi tanulási chip, hardveres gyorsító, ML accelerator
A GPU (grafikus feldolgozóegység) eredetileg számítógépes grafika megjelenítésére készült, de kiderült, hogy ezrével tartalmaz egyszerű számítási egységeket, amelyek egyszerre, párhuzamosan tudnak dolgozni. Ez a tulajdonság kiválóan alkalmassá teszi a mesterséges intelligencia, különösen a mély neurális hálózatok betanítására, mivel ott hatalmas mennyiségű, egymástól független mátrixműveletet kell elvégezni. A TPU (Tensor Processing Unit) egy ennél is specializáltabb chip, amelyet kifejezetten a gépi tanulási feladatokban gyakori tenzorműveletek felgyorsítására terveztek.
Míg a hagyományos processzor (CPU) néhány, de rendkívül rugalmas és gyors magból áll, amelyek soros feladatokra optimálisak, addig a GPU és a TPU több ezer egyszerűbb magot tartalmaz, amelyek egyidejűleg végeznek el azonos típusú, tömeges számításokat. Egy nagy nyelvi modell betanítása során milliárdnyi paramétert kell folyamatosan módosítani hatalmas adathalmazokon, amit ez a párhuzamos architektúra jelentősen felgyorsít, akár a CPU-alapú megoldásokhoz képest több nagyságrenddel is.
A GPU-k és TPU-k jelentősége abban áll, hogy gyakorlatilag lehetővé tették a mai mesterséges intelligencia forradalmát: nélkülük a modern nagy nyelvi modellek és képfelismerő rendszerek betanítása évekig tartana vagy gazdaságilag kivitelezhetetlen lenne. Emiatt ezek a chipek az AI-ipar egyik legfontosabb és legkeresettebb erőforrásává váltak, a hozzáférésük és a beszerzésük komoly üzleti és geopolitikai kérdéssé is nőtte ki magát.
A gyakorlatban a fejlesztők és kutatók felhő alapú szolgáltatásokon keresztül vagy saját adatközpontokban telepített GPU- és TPU-klasztereken futtatják a modelljeiket. A választás gyakran attól függ, hogy a feladat betanítást (training) vagy következtetést (inference) igényel-e, illetve hogy melyik hardvertípus illeszkedik jobban az adott szoftverkörnyezethez és költségkerethez.