2026. november 4., szerda · Eszközök
A Google bemutatta a LiteRT Tensor API-t eszközön futó AI-modellekhez
A Google bemutatta a LiteRT Tensor API-t, egy könnyűsúlyú C++ felületet gépi tanulási modellek eszközön futó építéséhez, testreszabásához és optimalizálásához. A vállalat szerint az API ötvözi a natív modellírás rugalmasságát a platformfüggetlen hordozhatósággal: ugyanaz a C++ gráf CPU-n, GPU-n és NPU-n lefuttatható anélkül, hogy minden hardverhez újra kellene írni a kódot. Az API támogatja a súlyok közvetlen betöltését ellenőrzőpontokból, köztük Hugging Face.safetensors fájlokból, valamint a zero-copy pufferkezelést a feldolgozási lépések között. A Google egy kódoló AI-ügynökkel készített demót a SAM 2 modell többobjektumos szegmentálására és követésére, és a cég szerint ez MacBook Pro-n futtatva mintegy 1,5-szer gyorsabb volt, mint az Apple MLX. Laurence Moroney, az Arm AI-igazgatója a LinkedInen azt írta, a C++ API-t csak gráfszintű kontroll igényekor érdemes használni, egyébként a modellkonverzió az ajánlott kiindulópont.
Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.
Miért fontos?
Laurence Moroney szerint egy kódoló ügynök a WebGPU-n 10 kép/másodperc alatti sebességről 30 fölé emelte a feldolgozást, ami szerinte azt mutatja, hogy a strukturált C++ gráf valódi optimalizációs munkát tesz lehetővé AI-ügynököknek.
Források
Említve a tudásbázisban
Kapcsolódó témák
Napi összefoglaló
Ez a hír a 2026. november 4., szerda napi AI összefoglaló része.