2026. augusztus 29., szombat · Eszközök

Az NVIDIA új eszközzel egyszerűsíti a nyílt AI-modellek C++ integrálását

Az NVIDIA saját közleménye szerint elérhetővé tette a TensorRT Model Connect nevű eszközt, amely nyílt AI-modellek natív C++ alkalmazásokba történő beépítését egyszerűsíti le. A vállalat állítása szerint a folyamat két lépésre bontható: előbb egy Python parancssori eszközzel egy Hugging Face modellazonosítóból telepítési csomag épül, majd ezt egy C++ alkalmazás futásidőben betöltve futtatja, PyTorch vagy Python interpreter nélkül. Az NVIDIA szerint két API-szint áll rendelkezésre: egy feladatszintű szemantikus felület, illetve egy modulszintű, tenzor- és komponensvezérlést lehetővé tevő verzió, továbbá TVM FFI-n keresztül egyéni GPU-kernelek is beépíthetők a pipeline-ba. A cég közlése szerint a fejlesztés AI-alapú kódolóügynökökkel és éjszakai kiadásokkal zajlik, hogy lépést tartson a nyílt modellökoszisztémával.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A vállalat állítása szerint az eszköz csökkenti a nyílt AI-modellek natív C++ alkalmazásokba történő integrálásának technikai küszöbét.

Források

NVIDIA Technical Blog Hivatalos

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA TensorRT#nyílt modellek

Napi összefoglaló

Ez a hír a 2026. augusztus 29., szombat napi AI összefoglaló része.

Kapcsolódó hírek

Az NVIDIA kibővítette a TensorRT motorépítő optimalizálóját

Az NVIDIA technikai blogja szerint a vállalat bemutatta a Global Performance Tuner nevű új eszközt, amely a TensorRT 11.1 verziójában jelent meg. A cég azt írja, hogy a TensorRT eddig is számos egymással összefüggő döntést hozott a gráf-átalakítások, a műveletösszevonás, a memóriaelhelyezés és a kvantálás terén egyetlen motor felépítéséhez, az új eszköz viszont testre szabható építési útvonalakat tesz lehetővé, amelyek bővítik a vizsgált megoldások körét. A blogbejegyzés szerint minden jelölt motort végponttól végpontig tesztelnek pontosság és sebesség szempontjából, és a három vezérelv a pontosságtudatos hangolás, a testre szabható építési útvonalak, valamint a nagy megoldástér, amelyből a leggyorsabb, elfogadható pontosságú verziót választják ki. A cikk ezt egy kétrészes sorozat első részének nevezi, a részletes algoritmust és architektúrát a második rész tárgyalja majd.

Az NVIDIA TensorRT és Dynamo-Triton: több GPU-s modellkiszolgálás egyszerűsítve

Az NVIDIA saját fejlesztői blogján bemutatta a TensorRT több eszközös (multi-device) inferencia képességét, amely egyetlen TensorRT-hálózatot NCCL-alapú elosztott kollektívák segítségével több GPU-n futtat, miközben megtartja a TensorRT optimalizációit; a vállalat szerint ez a funkció a TensorRT 11.0-tól teljeskörűen támogatott. A cég állítása szerint a Dynamo-Triton (korábban Triton Inference Server) 26.07-es kiadása aktiválja ezt a TensorRT backendben, így egyetlen KIND_MODEL példány több GPU-t birtokolhat, és egyetlen gRPC végponton keresztül érhető el az elosztott inferencia. A demonstráció az NVIDIA Cosmos 3 Nano videógeneráló modellel készült: a Ulysses kontextus-párhuzamosítás 44 160 videótokent oszt szét akár nyolc GPU között, miközben a Diffusers végzi a promptok és a posztprocesszálás vezérlését. A vállalat mérése szerint a teljes generálási késleltetés egy GPU-n mért 156,6 másodpercről nyolc GPU-n 34,2 másodpercre csökkent, a transzformer RPC gyorsulása pedig elérte a 6,09-szeres értéket.

A TensorRT motorépítés immár valós időben nyomon követhető és megszakítható

Az NVIDIA technikai blogján bemutatta, hogyan használható a TensorRT-ben több kiadás óta elérhető IProgressMonitor API a motorépítés valós idejű követésére és megszakítására Python és C++ környezetben. A cég szerint nagy modellek és mély taktikakeresés akár percekig tartó építést eredményezhet, ami felügyelet nélkül elvesztegetett GPU-órákat okozhat. Az API három metódus felülírásával fa struktúrájú fáziskövetést és Ctrl-C vagy programozott leállítási jelekre való reagálást tesz lehetővé. Az integráció révén a haladási információ terminálba, IDE-be, HTTP-szolgáltatásba vagy ügynök-futtatókörnyezetbe továbbítható, de szálbiztonság és megszakítási késleltetés gondos kezelését igényli.

Az OpenAI közös token-keretet vezet be a ChatGPT és a Codex között

A The Decoder egy frissített OpenAI támogatási oldalra hivatkozva azt írja, hogy decembertől a Plus, Pro és Business előfizetések egyetlen közös token-keretet osztanak meg a ChatGPT és a Codex között. Az OpenAI ezzel olvasztja be a Work agentikus funkcióit a fő ChatGPT felületbe, amit korábban már bejelentett. A felhasználók a Beállításokban láthatják a fennmaradó keretet és a frissítés idejét; a limit elérésekor várhatnak a megújulásra, előfizetést válthatnak, vagy extra kreditet vásárolhatnak. Az Instant modellel folytatott beszélgetések nem számítanak bele a keretbe, így papíron marad a fix áras szolgáltatás, de a lap szerint az intenzív használat az olcsóbb csomagokon várhatóan gyengébb minőségű válaszokat eredményez majd. A cikk szerint a lépés feltehetően egyrészt a magasabb árú csomagok nemrég megduplázott limitjeire épít, másrészt valószínűleg válasz a ChatGPT egyre bonyolultabbá váló kezelőfelületét ért kritikákra.