2026. július 23., csütörtök · Eszközök

A TensorRT motorépítés immár valós időben nyomon követhető és megszakítható

Az NVIDIA technikai blogján bemutatta, hogyan használható a TensorRT-ben több kiadás óta elérhető IProgressMonitor API a motorépítés valós idejű követésére és megszakítására Python és C++ környezetben. A cég szerint nagy modellek és mély taktikakeresés akár percekig tartó építést eredményezhet, ami felügyelet nélkül elvesztegetett GPU-órákat okozhat. Az API három metódus felülírásával fa struktúrájú fáziskövetést és Ctrl-C vagy programozott leállítási jelekre való reagálást tesz lehetővé. Az integráció révén a haladási információ terminálba, IDE-be, HTTP-szolgáltatásba vagy ügynök-futtatókörnyezetbe továbbítható, de szálbiztonság és megszakítási késleltetés gondos kezelését igényli.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A TensorRT motorépítés átláthatóbbá és megszakíthatóvá válásával csökkenthető az elvesztegetett GPU-idő és javítható a fejlesztői hatékonyság.

Források

NVIDIA Technical Blog Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA TensorRT#GPU-optimalizálás

Napi összefoglaló

Ez a hír a 2026. július 23., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

NVIDIA TensorRT és Dynamo-Triton: több GPU-s modellkiszolgálás egyszerűsítve

Az NVIDIA saját fejlesztői blogján bemutatta a TensorRT több eszközös (multi-device) inferencia képességét, amely egyetlen TensorRT-hálózatot NCCL-alapú elosztott kollektívák segítségével több GPU-n futtat, miközben megtartja a TensorRT optimalizációit; a vállalat szerint ez a funkció a TensorRT 11.0-tól teljeskörűen támogatott. A cég állítása szerint a Dynamo-Triton (korábban Triton Inference Server) 26.07-es kiadása aktiválja ezt a TensorRT backendben, így egyetlen KIND_MODEL példány több GPU-t birtokolhat, és egyetlen gRPC végponton keresztül érhető el az elosztott inferencia. A demonstráció az NVIDIA Cosmos 3 Nano videógeneráló modellel készült: a Ulysses kontextus-párhuzamosítás 44 160 videótokent oszt szét akár nyolc GPU között, miközben a Diffusers végzi a promptok és a posztprocesszálás vezérlését. A vállalat mérése szerint a teljes generálási késleltetés egy GPU-n mért 156,6 másodpercről nyolc GPU-n 34,2 másodpercre csökkent, a transzformer RPC gyorsulása pedig elérte a 6,09-szeres értéket.

NVIDIA bemutatja a modern CUDA eszköztárat: akár 300-szoros gyorsulás

Az NVIDIA hivatalos technikai blogja egy lépésről lépésre bemutatott optimalizálási példán keresztül ismerteti a modern CUDA eszköztárat egy képfeldolgozó pipeline-on. A vállalat állítása szerint a CCCL könyvtár modern indexelési modellje és a Compute Sanitizer segítségével kiszűrhetők a memóriahibák, a CUB algoritmusok bevezetése pedig a számítási időt 2,1 másodpercről 773 mikroszekundumra, azaz 2717-szeresére gyorsította képenként. Az NVIDIA szerint a pool-alapú memóriakezelés 2,6-szoros, a pinned host-memória pedig 10-szeres gyorsulást hozott az adatátvitelben, míg a stream-enkénti párhuzamosítással a teljes futásidő 6,8 másodpercről 23 milliszekundumra, összesen 300-szorosára csökkent. A cikk kódpéldákkal és Google Colab notebookkal is szolgál a bemutatott technikák kipróbálásához.

NVIDIA új eszközzel egyszerűsíti a nyílt AI-modellek C++ integrálását

Az NVIDIA saját közleménye szerint elérhetővé tette a TensorRT Model Connect nevű eszközt, amely nyílt AI-modellek natív C++ alkalmazásokba történő beépítését egyszerűsíti le. A vállalat állítása szerint a folyamat két lépésre bontható: előbb egy Python parancssori eszközzel egy Hugging Face modellazonosítóból telepítési csomag épül, majd ezt egy C++ alkalmazás futásidőben betöltve futtatja, PyTorch vagy Python interpreter nélkül. Az NVIDIA szerint két API-szint áll rendelkezésre: egy feladatszintű szemantikus felület, illetve egy modulszintű, tenzor- és komponensvezérlést lehetővé tevő verzió, továbbá TVM FFI-n keresztül egyéni GPU-kernelek is beépíthetők a pipeline-ba. A cég közlése szerint a fejlesztés AI-alapú kódolóügynökökkel és éjszakai kiadásokkal zajlik, hogy lépést tartson a nyílt modellökoszisztémával.

DeepSeek nyílt forráskódúvá tette gyors következtetési motorját, a DeepInfert

A DeepSeek Apache 2.0 licenc alatt nyílt forráskódúvá tette DeepInfer nevű belső következtetési keretrendszerét, amely a V4.1-Flash modelljét szolgálja ki gyorsan és olcsón – írja a The Decoder. A vLLM-re épülő rendszer optimalizált számítási kerneleket, több chipre elosztott feldolgozást és gyorsabb szöveggenerálási technikákat használ, és a cég jövőbeli modelljeinek kódját is nyíltan teszi közzé. Emellett megjelenik a deepseek-recipe is, amely a hivatalos DeepSeek API tokenfeldolgozását replikálja, hogy az önüzemeltetett rendszerek ugyanúgy viselkedjenek. A vállalat közlése szerint a cél a közösség számítási költségeinek és energiafelhasználásának csökkentése, hogy az AI megfizethetőbb legyen. A lap szerint a lépés egyben árversenyt gerjeszt a nyugati szolgáltatókkal, és a kínai–amerikai AI-verseny fényében akár politikai motivációja is lehet.