AI-fogalom · Eszközök
Inferencia (Inference)
A betanított AI-modell futtatása új adatokon, hogy az eredmény, azaz predikció vagy válasz szülessen.
Más néven: Modell-inferencia, Következtetés, AI inference, Predikció végrehajtása
Az inferencia az a folyamat, amikor egy már betanított mesterséges intelligencia modell új, korábban nem látott bemeneten dolgozik, és ebből kimenetet - például osztályozást, előrejelzést vagy generált szöveget - állít elő. Ez az a szakasz, amikor a modell a gyakorlatban ténylegesen használatba kerül, szemben a betanítással (training), amikor a modell paramétereit az adatokból tanulva alakítják ki.
Működése szempontjából az inferencia jellemzően gyorsabb és kevesebb számítási erőforrást igényel, mint a tanítás, hiszen a modell súlyai már rögzítettek, csupán a bemeneten kell végigfuttatni a számításokat. Nagy nyelvi modellek esetén az inferencia mégis jelentős számítási kapacitást és memóriát igényelhet, különösen valós idejű vagy nagy volumenű alkalmazásoknál, ezért külön iparág foglalkozik az inferencia optimalizálásával, gyorsításával és költséghatékonyabbá tételével.
Az inferencia jelentősége abban áll, hogy ez az a pont, ahol az AI valódi értéket teremt: egy chatbot válaszol a felhasználónak, egy képfelismerő rendszer azonosít egy tárgyat, vagy egy ajánlórendszer javaslatot tesz. A gyakorlati alkalmazásokban gyakran megkülönböztetik a felhő alapú inferenciát, amikor a számítás távoli szervereken zajlik, és az eszközön futó (on-device) inferenciát, amikor a modell közvetlenül a felhasználó eszközén, például telefonon vagy beágyazott rendszerben dolgozik, ez utóbbi előnye a kisebb késleltetés és a nagyobb adatvédelem.