2026. július 25., szombat · Eszközök

NVIDIA ModelExpress: modellsúlyok villámgyors elosztása GPU-k között a klaszterben

Az NVIDIA bemutatta a ModelExpress (MX) nevű platformot, amely a nagy nyelvi modellek súlyainak klaszteren belüli mozgatását gyorsítja fel. A rendszer a betöltés előtt megkeresi, hol található már kompatibilis súlymásolat, és a leggyorsabb elérhető útvonalat választja: ha egy kiszolgáló társgépen megvannak a súlyok, azokat közvetlenül GPU-ról GPU-ra másolja RDMA-n keresztül az NIXL könyvtár segítségével, elkerülve az objektumtárolót, a lemezt és a gazdagép memóriáját. Az NVIDIA szerint az MX a DeepSeek-V4 Pro súlyait és a JIT kernelgyorsítótárat kevesebb mint 10 másodperc alatt képes átvinni egy új replikába. A platform többszálú streamelést, elosztott atomi gyorsítótárazást és GPUDirect Storage támogatást alkalmaz, valamint integrálódik a vLLM, SGLang, Dynamo és llm-d keretrendszerekkel, így az éles LLM-telepítések hidegindítási és skálázási idejét jelentősen csökkenti.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A modellsúlyok mozgatása az LLM-kiszolgálás egyik fő szűk keresztmetszete, és az MX ezt a lépést GPU-közvetlen átvitellel nagyságrendileg gyorsítja.

Források

NVIDIA Technical Blog Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA ModelExpress#LLM-inferencia

Napi összefoglaló

Ez a hír a 2026. július 25., szombat napi AI összefoglaló része.

Kapcsolódó hírek

Anthropic bemutatta a Claude Duet proaktív AI-ügynököt

Az Anthropic a The Decoder beszámolója szerint elindította a Claude Duet nevű alkalmazás előzetesét, amely a Claude Opus 5.5 modellre épül, és felhőalapú virtuális gépen, a háttérben dolgozik a felhasználó helyett. A cég szerint a rendszer több mint 6000 konnektoron keresztül kapcsolódik olyan szolgáltatásokhoz, mint a Gmail, a Slack, a Stripe, a Docusign és a Shopify, így képes számlákat nyomon követni, fizetési emlékeztetőt írni vagy bérszámfejtést előkészíteni. Az Anthropic állítása szerint minden érzékeny lépés - fizetés, üzenetküldés - előtt jóváhagyást kér, a banki átutalást teljesen letiltja, vásárlásnál pedig Stripe Link virtuális kártyát használ, hogy a valódi kártyaadat ne kerüljön megosztásra. Az app iOS-en, Androidon és weben érhető el, amerikai Pro és Max előfizetők egyelőre várólistán juthatnak hozzá, a Team és Enterprise csomagokat még nem érinti. A lépés a lap szerint válasz az xAI Grok Bot, a Meta Muse és az OpenAI Dots nevű hasonló, önállóan cselekvő ügynökalkalmazásaira.

Google elkülönített virtuális gépet ad minden Gemini-ügynöknek

A Google bejelentette az Agent Compute Engine szolgáltatást, amely minden egyes AI-ügynöknek saját, hardveresen elkülönített mikro-virtuális gépet biztosít. A vállalat szerint a rendszer már most működteti a Gemini-ügynököket, nyilvános előnézete pedig a következő hónapokban indul, és minden ügynök a Google Titanium chipje által védett microVM-ben fut, amely tétlenség esetén automatikusan szüneteltethető, felszabadítva az erőforrást mások számára. A megosztott memóriahasználat a cég állítása szerint csökkenti az üzemeltetési költségeket, a nyílt forráskódú Agent Substrate Kubernetes-futtatókörnyezet pedig a Google szerint tízszer annyi ügynököt enged elhelyezni egyetlen szerveren. A vállalat egy 200 000 ügynökkel végzett tesztben 500 milliszekundum alatti felfüggesztési és visszaállítási időt mért. A Google emellett token-követést, modell-útválasztást, valamint külső azonosságszolgáltatók, köztük a Ping Identity és a SailPoint támogatását is bevezeti, ezek a kontrollok pedig a Cloud Run, a GKE és a felügyelt végpontok szolgáltatásokra is kiterjednek majd.

1Password: AI-ügynökök jelszó nélkül jelentkezhetnek be fiókjainkba

Az 1Password csütörtökön bemutatta a 1Password for Agents nevű funkciót, amely lehetővé teszi, hogy AI-ügynökök — például az Anthropic Claude Duet, az OpenAI ChatGPT Work és Dots, a Grok Bot, a Meta Muse vagy a Town ügynökei — a felhasználó nevében jelentkezzenek be fiókokba anélkül, hogy látnák a jelszavakat. A cég szerint az ügynök egyedi digitális kulccsal igazolja magát az 1Password felé, a felhasználó pedig értesítést kap arról, mely fiókhoz és miért kér hozzáférést, és csak jóváhagyás után tölti ki a jelszómenedzser a bejelentkezési adatokat. Aashish Tripathi, az 1Password termékigazgatója szerint ez „bizalmi réteget” ad ahhoz, hogy az ügynökök elvégezhessék a rájuk bízott feladatot anélkül, hogy állandó hozzáférést kapnának a teljes fiókhoz. A TechCrunch szerint a vállalat további partnerekkel — köztük a Browserbase, a Browser Use, a Perplexity és a Ramp — dolgozik az integráció bővítésén.

Amazon Polly: nagy frissítés a generatív hangmotorhoz

Az Amazon bejelentette, hogy frissítette Polly nevű szolgáltatásának generatív hangmotorját, amely a vállalat szerint természetesebb, kifejezőbb és pontosabb beszédet produkál alacsony késleltetéssel. A frissítés 14 új hangot hoz 9 nyelvi régióban, köztük először érhető el általánosan hindi és finn nyelvű generatív hang. Az AWS közlése szerint a frissítés zökkenőmentesen, API-váltás nélkül illeszthető be a meglévő alkalmazásokba, mivel a hangnevek és hívások változatlanok maradnak. A szolgáltatás mostantól éles környezetben, általánosan elérhető. A cég mintaszövegekkel demonstrálja, hogy a rendszer pontosan visszaadja a számokat, pénznemeket és címeket, például egy rendelési visszaigazolásban.