2026. november 1., vasárnap · Eszközök

Az NVIDIA TensorRT Edge-LLM egyszerűsíti az edge AI-fejlesztést a DGX Sparkon

Az NVIDIA bemutatta a TensorRT Edge-LLM nevű könnyűsúlyú C++ futtatókörnyezetet, amely a vállalat szerint lehetővé teszi, hogy fejlesztők néhány paranccsal AI-modelleket futtassanak és teszteljenek a most 64GB-os kiépítésben elérhető NVIDIA DGX Spark gépen. A trtedge parancssori eszköz letölti a kiválasztott modellt és optimalizált TensorRT motorokat épít, a cég bemutatója szerint a Nemotron-3.5 Lightning modellel néhány lépésben chat-munkamenet indítható, illetve OpenAI-kompatibilis API-kiszolgáló is futtatható helyben. Az NVIDIA közlése szerint a DSpark nevű spekulatív dekódolási módszer három draft tokennel a HumanEval promptokon átlagosan 73,4-ről 126,9 tokenre növelte a másodpercenkénti generálási sebességet, miközben a csúcsmemória-használat 27,9GB maradt. Ugyanez a futtatókörnyezet a vállalat szerint a fejlesztői DGX Sparkról közvetlenül átvihető a Jetson Thor, a DRIVE AGX Thor és az IGX Thor beágyazott платформokra.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

Az NVIDIA szerint a TensorRT Edge-LLM kifejezetten olyan fizikai AI-alkalmazásokat céloz meg, mint a vezetőfigyelés, a robotok környezetérzékelése vagy a gyártósori gépflották koordinálása, ahol szigorú memória-, energia- és késleltetési korlátok érvényesek.

Források

NVIDIA Technical Blog Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA TensorRT Edge-LLM#DGX Spark

Napi összefoglaló

Ez a hír a 2026. november 1., vasárnap napi AI összefoglaló része.

Kapcsolódó hírek

A Netflix elosztott rendszerként kezeli a GPU-k megbízhatóságát

A Netflix saját cikkében bemutatta, hogyan épít megbízhatósági platformot nagy léptékű GPU-alapú tréning- és következtetési feladatokhoz. A vállalat szerint a rendszer többrétegű hardverellenőrzéseket (NVIDIA DCGM, hálózati adapter-figyelés), automatikus hibajavítást és hibatűrő tréninget kombinál Kubernetes és Karpenter alapon, hogy egyetlen hibás GPU vagy lassú gép ne állítsa meg a hetekig futó, több száz GPU-t használó modellbetanítást. A Netflix adatai szerint ezzel 99,95% feletti GPU-csomópont-rendelkezésre állást és a feladatok sikerességi arányának körülbelül 98%-ról 99,5% fölé emelését érték el. A platform checkpointingot, rugalmas workereket és az NVIDIA Multi-Instance GPU (MIG) technológiáját is használja, hogy a kisebb következtetési feladatok megosztva, izolált memóriával futhassanak egy GPU-n.

Az Nvidia NemoClaw nyílt blueprintjei AI-ügynök-stacket építenek

Az Nvidia bemutatta a NemoClaw nyílt blueprint-gyűjteményét, amely a már használt ügynök-keretrendszereket – az OpenClaw-t, a Hermes Agentet és a LangChain Deep Agentst – egészíti ki Nemotron modellekkel, NeMo optimalizálási eszközökkel és az OpenShell biztonságos futtatókörnyezettel. A vállalat szerint a LangChain a Deep Agents keretrendszerét a Nemotron 3 Ultra modellhez hangolta, így az a vezető zárt modellekhez közeli teljesítményt ér el, miközben a futtatási költség mintegy tízszer alacsonyabb. Az OpenShell szabályozza, hogy az ügynökök milyen fájlokhoz, hálózatokhoz, hitelesítő adatokhoz és eszközökhöz férhetnek hozzá, így szabályok kötik őket akkor is, ha a memória vagy a lehívott kontextus nem kívánt műveletre utalna. Az Nvidia szerint a NemoClaw-ügynökök felhőben, adatközpontban, DGX Spark eszközökön és RTX PC-ken is futtathatók.

Az AWS új kvótakezelést vezetett be a SageMaker tanítási feladatokhoz

Az AWS Batch mostantól kvótakezelést kínál a SageMaker Training feladatokhoz, amely lehetővé teszi, hogy a vállalatok a megosztott GPU-kapacitást csapatonként vagy projektenként osszák fel. A vállalat szerint az adminisztrátorok kvótarészeket hozhatnak létre, amelyekhez konfigurálható erőforrás-megosztási stratégiák (fenntartás, kölcsönadás, vagy kölcsönadás és -vétel) tartoznak, így a szabadon álló kapacitás automatikusan átirányítható a dolgozó csapatokhoz. A rendszer úgynevezett kereszt-megosztási elvonást (cross-share preemption) alkalmaz, amely automatikusan visszaveszi a kikölcsönzött kapacitást, ha a kölcsönadó csapatnak újra szüksége van rá, elkerülve a manuális feladatleállítást. Emellett bevezethető a prioritás alapú, csapaton belüli elővásárlás (in-share preemption) is, amely a magasabb prioritású feladatokat előresorolja a várakozási sorban. Az AWS a funkciót a SageMaker Python SDK-n keresztül teszi elérhetővé, mintakóddal és felhasználói útmutatóval.

Az Anthropic szerint nem kell teljes mentális modell a Claude Code-hoz

Az Anthropic közzétette, hogyan működik most a Claude Code kódellenőrzése, miután a vállalat szerint a kód mintegy 90%-át maga a Claude írja. A cég szerint a csapat tagjai közül senki nem tart fejben teljes képet a kódbázisról, ehelyett Claude-tól kérnek magyarázatot egy-egy részlethez, amikor valakinek meg kell értenie egy szeletét. A monorepó napi összevont változtatásainak száma májusról szeptemberre a cég szerint körülbelül 2500-ról 30 000 fölé nőtt, ezért a korábbi kódellenőrzési folyamat is átalakult. A beolvasztást egy kockázati besorolás szabályozza: alacsony kockázatú változtatás emberi jóváhagyás nélkül mehet át, és egy ügynök jóváhagyása sosem számít emberi jóváhagyásnak. A cég szerint egyelőre nincsenek olyan automatikus féklépcsők, amelyek szigorítanák a jóváhagyást, ha a mutatók romlanak, és a mérnökök ezt hiányolják, mielőtt több kód kerülne nulla emberi beavatkozással élesítésre.