2026. október 24., szombat · Eszközök

NVIDIA kibővítette a TensorRT motorépítő optimalizálóját

Az NVIDIA technikai blogja szerint a vállalat bemutatta a Global Performance Tuner nevű új eszközt, amely a TensorRT 11.1 verziójában jelent meg. A cég azt írja, hogy a TensorRT eddig is számos egymással összefüggő döntést hozott a gráf-átalakítások, a műveletösszevonás, a memóriaelhelyezés és a kvantálás terén egyetlen motor felépítéséhez, az új eszköz viszont testre szabható építési útvonalakat tesz lehetővé, amelyek bővítik a vizsgált megoldások körét. A blogbejegyzés szerint minden jelölt motort végponttól végpontig tesztelnek pontosság és sebesség szempontjából, és a három vezérelv a pontosságtudatos hangolás, a testre szabható építési útvonalak, valamint a nagy megoldástér, amelyből a leggyorsabb, elfogadható pontosságú verziót választják ki. A cikk ezt egy kétrészes sorozat első részének nevezi, a részletes algoritmust és architektúrát a második rész tárgyalja majd.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A TensorRT 11.1-ben bevezetett eszköz azáltal, hogy egyetlen fix építési stratégia helyett több párhuzamos útvonalat is kipróbál, csökkentheti a fejlesztők kézi hangolási munkáját a különböző modellek GPU-alapú telepítésénél.

Források

NVIDIA Technical Blog Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA TensorRT#Global Performance Tuner

Napi összefoglaló

Ez a hír a 2026. október 24., szombat napi AI összefoglaló része.

Kapcsolódó hírek

NVIDIA TensorRT és Dynamo-Triton: több GPU-s modellkiszolgálás egyszerűsítve

Az NVIDIA saját fejlesztői blogján bemutatta a TensorRT több eszközös (multi-device) inferencia képességét, amely egyetlen TensorRT-hálózatot NCCL-alapú elosztott kollektívák segítségével több GPU-n futtat, miközben megtartja a TensorRT optimalizációit; a vállalat szerint ez a funkció a TensorRT 11.0-tól teljeskörűen támogatott. A cég állítása szerint a Dynamo-Triton (korábban Triton Inference Server) 26.07-es kiadása aktiválja ezt a TensorRT backendben, így egyetlen KIND_MODEL példány több GPU-t birtokolhat, és egyetlen gRPC végponton keresztül érhető el az elosztott inferencia. A demonstráció az NVIDIA Cosmos 3 Nano videógeneráló modellel készült: a Ulysses kontextus-párhuzamosítás 44 160 videótokent oszt szét akár nyolc GPU között, miközben a Diffusers végzi a promptok és a posztprocesszálás vezérlését. A vállalat mérése szerint a teljes generálási késleltetés egy GPU-n mért 156,6 másodpercről nyolc GPU-n 34,2 másodpercre csökkent, a transzformer RPC gyorsulása pedig elérte a 6,09-szeres értéket.

NVIDIA új eszközzel egyszerűsíti a nyílt AI-modellek C++ integrálását

Az NVIDIA saját közleménye szerint elérhetővé tette a TensorRT Model Connect nevű eszközt, amely nyílt AI-modellek natív C++ alkalmazásokba történő beépítését egyszerűsíti le. A vállalat állítása szerint a folyamat két lépésre bontható: előbb egy Python parancssori eszközzel egy Hugging Face modellazonosítóból telepítési csomag épül, majd ezt egy C++ alkalmazás futásidőben betöltve futtatja, PyTorch vagy Python interpreter nélkül. Az NVIDIA szerint két API-szint áll rendelkezésre: egy feladatszintű szemantikus felület, illetve egy modulszintű, tenzor- és komponensvezérlést lehetővé tevő verzió, továbbá TVM FFI-n keresztül egyéni GPU-kernelek is beépíthetők a pipeline-ba. A cég közlése szerint a fejlesztés AI-alapú kódolóügynökökkel és éjszakai kiadásokkal zajlik, hogy lépést tartson a nyílt modellökoszisztémával.

A TensorRT motorépítés immár valós időben nyomon követhető és megszakítható

Az NVIDIA technikai blogján bemutatta, hogyan használható a TensorRT-ben több kiadás óta elérhető IProgressMonitor API a motorépítés valós idejű követésére és megszakítására Python és C++ környezetben. A cég szerint nagy modellek és mély taktikakeresés akár percekig tartó építést eredményezhet, ami felügyelet nélkül elvesztegetett GPU-órákat okozhat. Az API három metódus felülírásával fa struktúrájú fáziskövetést és Ctrl-C vagy programozott leállítási jelekre való reagálást tesz lehetővé. Az integráció révén a haladási információ terminálba, IDE-be, HTTP-szolgáltatásba vagy ügynök-futtatókörnyezetbe továbbítható, de szálbiztonság és megszakítási késleltetés gondos kezelését igényli.

Az AWS Wordle-lel mutatja be a többlépéses megerősítéses tanítást SageMakeren

Az AWS hivatalos blogbejegyzése szerint a vállalat bemutatta a Multi-Turn Reinforcement Learning (MTRL) módszert az Amazon SageMaker AI platformon, amely nem egyetlen válaszra, hanem több lépésből álló, egymásra épülő döntéssorozatra tanít modelleket, és csak a teljes epizód végén kapott jutalomból tanul. A bemutatóhoz a Wordle szójátékot használták példaként, ahol az ügynök a tanítandó modellt hívja meg, és a SageMaker AI a Bedrock AgentCore-on vagy saját infrastruktúrán (EKS, EC2, Fargate) futó ügynöknek küld promptokat. Az AWS saját mérése szerint a módszer a gpt-oss-20b modell találati arányát alapértelmezett következtetési szint mellett 61-ről 84 százalékra, alacsony következtetési szint mellett pedig 15-ről 69 százalékra növelte, mintegy 339 dollár tanítási token-költség mellett. A bejegyzés hangsúlyozza, hogy a Wordle csak tanítópélda, a módszer célja inkább kisebb, olcsóbb modellek felkészítése vállalati, több lépésből álló munkafolyamatokra.