2026. szeptember 10., csütörtök · Eszközök

Az AWS Ray Serve konténerekkel váltja ki a leállított TorchServe-et

Az AWS hivatalos blogbejegyzése szerint a TorchServe modellkiszolgáló keretrendszer karbantartása leállt: nem lesznek további frissítések, hibajavítások vagy biztonsági patchek, így a benne található sebezhetőségek megoldatlanul maradhatnak. A cikk állítása szerint az érintett csapatoknak ezután saját maguknak kell kezelniük a teljes függőségi láncot, a GPU-stacktől a PyTorch- és CUDA-kompatibilitásig. Válaszul az AWS bemutatta a Ray Serve Deep Learning Container (DLC) nevű, előre összeállított és tesztelt Docker image-et, amely a PyTorch keretrendszert, a Ray Serve kiszolgálórendszert, valamint a FastAPI és Uvicorn komponenseket egyetlen, karbantartott csomagba fogja össze. A bejegyzés lépésről lépésre bemutatja egy vizuális-nyelvi modell telepítését Amazon EKS-en, egyetlen GPU-node használatával.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A TorchServe leállított karbantartása miatt az azt használó fejlesztőcsapatok biztonsági kockázatnak vannak kitéve, az AWS erre válaszul kínálja fel a Ray Serve Deep Learning Container-t alternatívaként.

Források

AWS Machine Learning Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #TorchServe#AWS Ray Serve

Napi összefoglaló

Ez a hír a 2026. szeptember 10., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

Nvidia megnyitotta a Flora robotvideó-címkéző rendszerét

A Nvidia bejelentette, hogy nyílt forráskódúvá tette a Flora nevű adatmotort, amely robotvideók automatikus feliratozására szolgál. A cég szerint a rendszer három, Qwen3.5 alapon finomhangolt modellből épül fel: egy 9 milliárd paraméteres szegmentáló, egy 27 milliárd paraméteres leíró, valamint egy szintén 27 milliárd paraméteres „Flora-Rewarder” értékelő modell, amely 1-5 skálán minősíti a feladat sikerességét, fél másodperces lépésekre bontva jelzi a hibákat, és saját szempontrendszer alapján pontoz. A Nvidia állítása szerint a rendszer már most a GR00T robotmodellek betanítását szolgálja, naponta akár 200 000 óra videót dolgoz fel 512 GB300 GPU-n, és egy 50 videós teszten kismértékben jobb eredményt ért el, mint a GPT-6 Astra, miközben a cég becslése szerint egy óra videó címkézése mindössze 72 centbe kerül. A modellek elérhetők a Hugging Face platformon.

Google nyílt forráskódúvá tette az ML Drift GPU-gyorsító motort

A Google bejelentette, hogy nyílt forráskódúvá tette az ML Drift nevű, platformfüggetlen GPU-számítási motort, amely Apache 2.0 licenc alatt támogatja az OpenGL ES, OpenCL, Metal és WebGPU API-kat. A vállalat szerint ez a LiteRT keretrendszer alapmotorja, és már milliónyi eszközön fut olyan alkalmazásokban, mint a Chrome, a YouTube Shorts, a Fotók és a Meet. A cég közlése szerint a Gemma modelleken végzett belső teszteken az ML Drift 12%-kal kisebb memóriaterhelést produkált, mint a llama.cpp és az MLX LM keretrendszerek. A Google azt is állítja, hogy a YouTube Shortsban a szegmentáláson alapuló effektusok átlagos képkocka-késleltetését Androidon és iOS-en akár 40%-kal csökkentette az új motor.

Az AWS Wordle-lel mutatja be a többlépéses megerősítéses tanítást SageMakeren

Az AWS hivatalos blogbejegyzése szerint a vállalat bemutatta a Multi-Turn Reinforcement Learning (MTRL) módszert az Amazon SageMaker AI platformon, amely nem egyetlen válaszra, hanem több lépésből álló, egymásra épülő döntéssorozatra tanít modelleket, és csak a teljes epizód végén kapott jutalomból tanul. A bemutatóhoz a Wordle szójátékot használták példaként, ahol az ügynök a tanítandó modellt hívja meg, és a SageMaker AI a Bedrock AgentCore-on vagy saját infrastruktúrán (EKS, EC2, Fargate) futó ügynöknek küld promptokat. Az AWS saját mérése szerint a módszer a gpt-oss-20b modell találati arányát alapértelmezett következtetési szint mellett 61-ről 84 százalékra, alacsony következtetési szint mellett pedig 15-ről 69 százalékra növelte, mintegy 339 dollár tanítási token-költség mellett. A bejegyzés hangsúlyozza, hogy a Wordle csak tanítópélda, a módszer célja inkább kisebb, olcsóbb modellek felkészítése vállalati, több lépésből álló munkafolyamatokra.

NVIDIA kibővítette a TensorRT motorépítő optimalizálóját

Az NVIDIA technikai blogja szerint a vállalat bemutatta a Global Performance Tuner nevű új eszközt, amely a TensorRT 11.1 verziójában jelent meg. A cég azt írja, hogy a TensorRT eddig is számos egymással összefüggő döntést hozott a gráf-átalakítások, a műveletösszevonás, a memóriaelhelyezés és a kvantálás terén egyetlen motor felépítéséhez, az új eszköz viszont testre szabható építési útvonalakat tesz lehetővé, amelyek bővítik a vizsgált megoldások körét. A blogbejegyzés szerint minden jelölt motort végponttól végpontig tesztelnek pontosság és sebesség szempontjából, és a három vezérelv a pontosságtudatos hangolás, a testre szabható építési útvonalak, valamint a nagy megoldástér, amelyből a leggyorsabb, elfogadható pontosságú verziót választják ki. A cikk ezt egy kétrészes sorozat első részének nevezi, a részletes algoritmust és architektúrát a második rész tárgyalja majd.