2026. október 13., kedd · Eszközök

AWS Ray LLM konténer: multi-node LLM-kiszolgálás EKS-en

Az AWS hivatalos blogbejegyzése szerint a vállalat bemutatta a Ray LLM Deep Learning Containers (DLC) multi-node változatát, amellyel egyetlen nagy nyelvi modell két GPU-csomóponton, Amazon EKS-en futtatható egy közös, OpenAI-kompatibilis végponton keresztül. A megoldás külön csomópontra választja szét az előfeltöltési (prefill) és a dekódolási (decode) fázist, így a hosszú, számításigényes promptok nem akasztják meg a már folyamatban lévő kérések token-generálását. Az AWS azt írja, hogy korábban az ügyfeleknek maguknak kellett összeállítaniuk és karbantartaniuk a kompatibilis GPU-függőségi láncot (CUDA-könyvtárak, keretrendszerek), ami jelentős, a modellfejlesztéstől elvonó mérnöki munkát igényelt. A most bemutatott, előre tesztelt és patchelt konténer ezt a réteget automatikusan biztosítja, kiterjesztve a korábbi, egycsomópontos Ray Serve DLC-nél alkalmazott megközelítést a többcsomópontos, szétválasztott (disaggregated) inferenciára.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

Az AWS szerint a megoldás kifejezetten a hosszú kontextusú, például visszakeresés-alapú (RAG) alkalmazásokhoz illeszkedik, mert a GPU-függőségek kézi összehangolásának terhét veszi le a fejlesztőkről.

Források

AWS Machine Learning Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #AWS#Ray LLM DLC

Napi összefoglaló

Ez a hír a 2026. október 13., kedd napi AI összefoglaló része.

Kapcsolódó hírek

Pizza Bot: nyílt forráskódú postaláda AI-ügynököknek az AWS-től

AWS-fejlesztők nyílt forráskódúvá (Apache 2.0 licenc alatt) tették a Pizza Bot nevű, önhosztolt alkalmazást, amely e-mail-kliens stílusú felületen kezeli a háttérben futó AI-ügynökök munkáját. A rendszer kliens-szerver architektúrán alapul: az ügynökök ütemezetten vagy webhookra indulva dolgoznak, feladatokat delegálhatnak specializált munkásoknak, és emberi jóváhagyásra várhatnak fontosabb lépések előtt. A fejlesztők, Joseph Dolivo (principal technologist) és Igor Fil (solutions architect) szerint a postaláda-metafora azért illik, mert egy szál olyan munkaegység, amihez visszatérünk, nem olyan munkamenet, amit folyamatosan figyelni kell. A rendszer több modellszolgáltatót és MCP-szervert támogat, miközben az ügynök állapotát, szálait és naplóit helyben, a felhasználó gépén tárolja, és csak a kiválasztott modellszolgáltatónak, illetve az engedélyezett MCP-szervereknek küld adatot. A projekt a fejlesztők elmondása szerint egy 2025 áprilisában indult, CRM-naplózást automatizáló belső eszközből, a „JoeBot”-ból nőtte ki magát.

AWS útmutatót adott ki agentikus rendszerek Bedrock AgentCore-ra költöztetéséhez

Az AWS hivatalos blogbejegyzése egy konkrét példán, egy LangGraph-alapú ügyfélszolgálati ügynökön keresztül mutatja be, hogyan vihető át egy éles agentikus alkalmazás az Amazon Bedrock AgentCore platformra. A cég állítása szerint a migráció két szakaszban történik: az első lépésben az ügynök változatlan logikával kerül át az AgentCore Runtime, Gateway és Memory szolgáltatásokra, ami kezeli a felhasználói munkameneteket, az állapotmegőrzést és az eszközök hitelesítését, míg a második szakaszban a kézzel írt döntési ág helyett modellvezérelt tervezés épül be a Strands Agents keretrendszerrel. Az AWS szerint ezzel tíz olyan üzemeltetési terhet lehet leválasztani az ügynök tényleges logikájáról, mint a munkamenetek elkülönítése, az állapotkezelés vagy az operációs rendszer patchelése; a leírás fejlesztői gyakorlati útmutató, nem független teszteredmény.

AWS bemutatta az Agent Registry szolgáltatást az AI-ügynökök kezelésére

Az AWS hivatalos blogbejegyzése szerint elérhetővé vált az AWS Agent Registry, amely egy központi, kereshető katalógust biztosít a vállalatok számára AI-ügynökök, eszközök és képességek kezelésére. A cég állítása szerint a szolgáltatás azt a problémát oldja meg, hogy a szervezeteknél a csapatok elszigetelten fejlesztik ügynökeiket, így nincs átlátás arról, mi létezik, ki a felelőse, és átment-e ellenőrzésen. Az AWS ismertetése szerint a rendszer két rétegben működik: egy irányítási réteg, amely hozzáférés-kezelést, életciklus-követést és jóváhagyási folyamatokat biztosít, valamint egy felfedezési réteg beépített szemantikus kereséssel. A vállalat szerint ez csökkenti a duplikált fejlesztői munkát, a verziószétforgácsolódást és javítja a nyomon követhetőséget nagy szervezeti méretekben.

AWS előzetes verzióban indít központi katalógust AI-ügynökök és MCP-szerverek felfedezésére

Az AWS hivatalos bejelentése szerint közzétette az Agentic Resource Discovery (ARD) nyílt specifikációt, amely az AI-ügynökök, eszközök és Model Context Protocol (MCP) szerverek felfedezését hivatott egységesíteni. Ehhez kapcsolódóan előzetes (preview) változatban bemutatták az AWS Agent Registry szolgáltatást, egy központi, kereshető katalógust ügynökök, MCP-szerverek és eszközök számára. A rendszer regisztrációkra és rekordokra épül: adminisztrátorok hozzák létre a katalógust, közzétevők írják le erőforrásaikat, kurátorok hagyják jóvá vagy utasítják el a bejegyzéseket, a felhasználók és AI-ügynökök pedig hibrid (szemantikus és kulcsszavas) kereséssel találják meg a jóváhagyott erőforrásokat. Az AWS állítása szerint ez orvosolja azt a problémát, hogy az egyik AI-kliensre beállított ügynök a többi kliens számára nem válik elérhetővé.