2026. szeptember 5., szombat · Eszközök

NVIDIA: kompakt nyílt AI-modellek futnak a Jetson edge-eszközökön

Az NVIDIA technikai blogja szerint a 2026-ban megjelent kompakt nyílt modellek, mint a Nemotron 3.5 Lightning (mixture-of-experts, 30 milliárd paraméter, tokenenként 3 milliárd aktív) és a Qwen3.8-27B (sűrű modell, mind a 27 milliárd paraméter aktív), már helyben futtathatók az NVIDIA Jetson platformon. A vállalat állítása szerint az NVFP4 kvantálás és a spekulatív dekódolás kombinációja a BF16-hoz képest akár 6,28-szoros dekódolási sebességnövekedést biztosít. A cikk szerint a leggyorsabb spekulatív dekódolási módszer modellenként eltér: a Nemotron 3.5 Lightninghoz a DSpark, a Qwen3.8-27B-hez a DFlash2 illik legjobban. Az NVIDIA hangsúlyozza, hogy az általános benchmarkok önmagukban nem garantálják a konkrét munkaterheléshez szükséges viselkedés megőrzését, ezért alkalmazásspecifikus tesztelés szükséges.

Miért fontos?

A fejlesztés szerint a korábban csak adatközpontban futtatható agentikus AI-képességek most helyben, hálózati függőség és adatkiszivárgási kockázat nélkül elérhetők edge-eszközökön.

Források

NVIDIA Technical Blog Hivatalos

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA Jetson#Edge AI

Napi összefoglaló

Ez a hír a 2026. szeptember 5., szombat napi AI összefoglaló része.

Kapcsolódó hírek

AWS és NVIDIA: automatizált AI-gyártósor fizikai robotoknak

Az AWS hivatalos technikai blogja szerint a NVIDIA Cosmos 3 nevű nyílt, omnimodális világmodelljével és az Amazon SageMaker HyperPod infrastruktúrával úgynevezett Physical AI modellgyárat lehet építeni robotok és autonóm járművek számára. A leírás szerint a rendszer folyamatos hurokban generál szintetikus adatot, utótanítja az érzékelési és irányítási modelleket, majd zárt hurkú szimulációban értékeli őket, egyetlen Kubernetes-alapú klaszteren, elkerülve a külön GPU-kapacitást igénylő szakaszos gyakorlatot. Az AWS bemutatja a Cosmos 3 Mixture-of-Transformers architektúráját, valamint egy nyilvános DROID adathalmazon futtatott robotirányítási utótanítási példát, a kód pedig elérhető GitHubon. A cég szerint a kulcsfontosságú mutató nem az egyes feladatok csúcsteljesítménye, hanem a lefoglalt GPU-órákra vetített hasznos GPU-goodput.

Vortex: oszloporientált fájlformátum GPU-alapú gépi tanuláshoz

Egy QCon London előadáson Onur Satici, a SpiralDB mérnöke és a Vortex nyílt forráskódú, oszloporientált fájlformátum egyik fejlesztője mutatta be, hogyan lehet adatokat közvetlenül S3 tárolóból GPU-ra streamelni egyetlen másolási lépésben. Az előadó szerint a Vortex, amely mára a Linux Foundation AI & Data projektjeinek része, réteges könnyű kódolásokkal, elrendezés alapú szegmens-szűréssel és nulla másolású memóriacsővezetékkel akár 60 gigabit/másodperc sebességet is elér, kiküszöbölve a CPU és NVMe szűk keresztmetszeteket. A demonstráció során egy 4K videó feldolgozását vizualizálták valós időben, GPU-n végzett átkódolással szemléltetve az oszlopszűrés hatását. Az állítások a projekt egyik fő fejlesztőjétől származnak, független teljesítménymérés az anyagban nem szerepel.

GitHub Copilot kódellenőrzés minden Azure DevOps ügyfélnek elérhető

Microsoft minden Azure DevOps ügyfél számára megnyitotta a GitHub Copilot kódellenőrzési funkcióját, megszüntetve a június óta érvényben lévő regisztrációs korlátozást. A funkció automatikusan megjegyzéseket fűz a pull requestekhez, a felhasznált tokenek alapján a kapcsolt Azure-előfizetésen keresztül számláz, a költségjelentés viszont két nappal a tényleges felhasználás után válik elérhetővé. Microsoft közleménye szerint évekig a GitHub-ra való migrálásra ösztönözte ügyfeleit, de sok szervezet mérete, testreszabásai vagy megfelelőségi kötelezettségei miatt nem tud váltani, ezért hozzák el a GitHub-funkciókat az Azure Repos-hoz. Az augusztusi frissítés szervezeti, projekt- és tárolószintű beállításokat, Managed DevOps Pools támogatást, egyedi utasításokat és ágpolitika-alapú automatikus felülvizsgálatokat is tartalmaz.

AWS útmutatót adott ki agentikus rendszerek Bedrock AgentCore-ra költöztetéséhez

Az AWS hivatalos blogbejegyzése egy konkrét példán, egy LangGraph-alapú ügyfélszolgálati ügynökön keresztül mutatja be, hogyan vihető át egy éles agentikus alkalmazás az Amazon Bedrock AgentCore platformra. A cég állítása szerint a migráció két szakaszban történik: az első lépésben az ügynök változatlan logikával kerül át az AgentCore Runtime, Gateway és Memory szolgáltatásokra, ami kezeli a felhasználói munkameneteket, az állapotmegőrzést és az eszközök hitelesítését, míg a második szakaszban a kézzel írt döntési ág helyett modellvezérelt tervezés épül be a Strands Agents keretrendszerrel. Az AWS szerint ezzel tíz olyan üzemeltetési terhet lehet leválasztani az ügynök tényleges logikájáról, mint a munkamenetek elkülönítése, az állapotkezelés vagy az operációs rendszer patchelése; a leírás fejlesztői gyakorlati útmutató, nem független teszteredmény.