2026. szeptember 18., péntek · Modellek

NVIDIA: 6,4-szer gyorsabb agentikus AI-következtetés a Jetson AGX Thor élperemes chipen

Az NVIDIA saját közleménye szerint a TensorRT Edge-LLM szoftverük a Qwen3.6-27B modellt futtatva egyetlen Jetson AGX Thor fejlesztői eszközön 52,33 tokent generált másodpercenként, és az MLPerf Inference v6.1 Edge Agentic teszt mind az 1007 fordulóját 24 perc 36 másodperc alatt teljesítette. Ez a vállalat mérése szerint 6,4-szer gyorsabb, mint a llama.cpp referencia-futtatás 2 óra 37 perces ideje. A gyorsítást az NVIDIA szerint az NVFP4 kvantálás, az FP8 KV-gyorsítótár, egy fastruktúrás többtokenes predikció és a promptok mintegy 96 százalékát kiszolgáló KV-gyorsítótár-újrahasznosítás kombinációja adja. A cég állítása szerint a fastruktúrás predikció önmagában mintegy 40 százalékos dekódolási teljesítménynövekedést ad a lineáris megoldáshoz képest függvényhívásos munkaterheléseknél.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A benchmark azt mutatja, hogy hosszú, több lépéses ügynöki feladatsorozatok (pl. robotok vagy járművek fedélzeti vezérlése) helyben, felhő nélkül is futtathatók korlátozott energia- és memóriakeretben egy Blackwell-alapú Jetson chipen.

Források

NVIDIA Technical Blog Hivatalos

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #NVIDIA Jetson AGX Thor#MLPerf Edge Agentic

Napi összefoglaló

Ez a hír a 2026. szeptember 18., péntek napi AI összefoglaló része.

Kapcsolódó hírek

A Mistral bemutatta a Le Chonk nyílt modellt, de a tesztek szerint még lemarad Kína mögött

A párizsi Mistral nyilvánosan elérhetővé tette a Large 4, becenevén „Le Chonk” súlyozott modelljét a Hugging Face-en, módosított MIT licenc alatt. A billió paraméteres modellből 52 milliárd aktív egyszerre; a cég szerint kódolásban és kiberbiztonsági feladatokban megközelíti vagy felülmúlja a vezető kínai nyílt modelleket, például a DeepSeeket és a Z.ait, amit Pierre Stock, a Mistral tudományos alelnöke „a globális AI-vezető szerep fordulópontjának” nevezett. A The Decoder független elemzése szerint azonban a modell az Artificial Analysis Intelligence Indexén mindössze 26 pontot ér el, lemaradva a DeepSeek V4.1 Flash és a GLM-5.3 mögött, a kiberbiztonsági rangsorban pedig csak harmadik a nyílt modellek között. A Mistral modellje gyorsabb és olcsóbb riválisainál, és a károkozásra irányuló kéréseket 96,6 százalékban utasítja el.

A Google bemutatta a Gemini 4 Carbon modellt

A Google DeepMind mindössze két héttel a Gemini 4 Argon után bemutatta új frontier modelljét, a Gemini 4 Carbont, amely a vállalat szerint jelentős előrelépést hoz a kódolásban, az ügynöki feladatokban és a kiberbiztonságban. A Google közlése szerint a modell vezeti az Artificial Analysis Intelligence Index v5.0 rangsorát 59 ponttal, megelőzve a Claude Opus 5.5-öt és a GPT-6 Astrát. A cég szerint Carbon a SEC-bench Pro és az ExploitGym kiberbiztonsági benchmarkokon is élen jár, és a Gray Swan prompt-injekciós teszten minden támadást kivédett. A modell egyelőre csak kiválasztott kiberbiztonsági védelmi partnerek számára érhető el a Fairwind programon keresztül, a szélesebb elérhetőségről a Google nem adott időpontot. Az árazás megegyezik az Argonéval: 2 dollár millió bemeneti és 10 dollár millió kimeneti tokenenként.

A Google DeepMind bemutatta a Genie 4 világmodellt

A Google DeepMind kutatási előnézetben bemutatta a Genie 4 nevű világmodellt, amely a cég szerint fotórealisztikusabb, hangot is generáló és valós időben szerkeszthető virtuális környezeteket hoz létre. A modell a Gemini-családra épül: a Gemini Omni biztosítja a vizuális alapot, míg más Gemini-modellek – a TechCrunch szerint egy Gemini 4 Argon változat egy robotikai kísérletben – segítik a szimuláció koherenciájának fenntartását. Az Ars Technica szerint a rendszer a Gemini 3.8 Flash modellt használja irányító ügynökként, és a világ körülbelül két percig marad konzisztens, mielőtt elfelejtené a kezdeti állapotot. A Genie 4 egyelőre megbízható tesztelőknél fut, a tervek szerint a következő hetekben kapnak hozzáférést a Google AI Ultra előfizetői a Project Genie-ben és a Gemini API korai partnerei, az AI Ultra csomagok havi 100 dollártól indulnak.

Az OpenAI bemutatta a feleáras GPT-6.1 Terra modellt

Az OpenAI kiadta a GPT-6.1 Terra nevű középkategóriás modellt, amelynek API-ára a cég szerint fele az elődjének, a GPT-5.6 Terrénak: az input tokenek 1 dollárba, az output tokenek 5 dollárba kerülnek millióként, szemben a korábbi 2 és 12 dollárral. Az OpenAI a modellt irodai feladatokra és automatizált szoftvervezérlésre szánja, az Artificial Analysis elemzése szerint pedig a GPT-6.1 Terra az Intelligence Indexen 6-13 ponttal jobb eredményt ér el elődjénél, miközben a feladatonkénti költség a harmadára csökken. A privát AA-Omniscience benchmarkon a modell az esetek mindössze 38 százalékában találgat, amikor nem ismeri a választ, szemben a GPT-5.6 Terra 88 százalékával, ami jelentős hallucinációcsökkenésre utal. Az OpenAI szerint a GPT-6.1 Terra teljesíti a vállalat „kritikus” kiberbiztonsági küszöbét, és a rendszerleírás szerint jobban ellenáll a közvetett prompt-injekciós támadásoknak, mint elődje.