2026. október 24., szombat · Eszközök

Hugging Face eszköz mutatja meg, mely modellek futnak AWS Trainiumon

A Hugging Face bemutatta a torch-neuronx model support nevű Space-t, amely megmutatja, mely Hugging Face Hub modellek futnak módosítás nélkül az AWS Trainium chipeken. A vállalat közlése szerint az eszköz a letöltésszám és trendi pontszám alapján legnépszerűbb modelleket vizsgálja, soronként feltüntetve a Trainium magok számát, a teljes lefutási időt (fordítással együtt) és a csúcs memóriahasználatot. A cég szerint jelenleg csak Transformers modelleket tesztelnek, kizárólag szöveggenerálási és kép-szöveg feladatokra. Kapcsolódóan az AWS hivatalos blogja ismertette, hogyan tanítható be a Qwen3 modell háromféleképpen egyetlen trn2.48xlarge Trainium2 gépen a torchtitan keretrendszerrel, a TorchNeuron natív PyTorch-integrációjára építve.

Miért fontos?

A gyakorlati tét, hogy fejlesztők előzetesen ellenőrizhetik modelljük Trainium-kompatibilitását, mielőtt GPU helyett AWS saját chipjeire váltanának, ami csökkentheti a tesztelési és migrációs költségeket.

Források

Hugging Face Blog Kutatás AWS Machine Learning Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #AWS Trainium#Hugging Face

Napi összefoglaló

Ez a hír a 2026. október 24., szombat napi AI összefoglaló része.

Kapcsolódó hírek

LeRobot v0.6.0: világmodellek, jutalommodellek és hat új szimulációs benchmark a robotikában

A Hugging Face kiadta a LeRobot keretrendszer v0.6.0 verzióját, amely három világmodell-alapú szabályzatot (VLA-JEPA, FastWAM, LingBot-VA) vezet be – ezek a jövőbeli állapotokat tanulják meg elképzelni a cselekvés előtt. Az új verzió hat szimulációs benchmarkot egyesít a lerobot-eval parancssori eszközben, valamint jutalommodell-API-t (Robometer, TOPReward) kínál a robotsiker automatikus értékeléséhez. A lerobot-rollout CLI DAgger-stílusú, emberi beavatkozásos korrekcióval a sikertelen próbákból tanítóadatot generál. Az adatkezelés oldalán mélységérzékelés, VLM-alapú automatikus nyelvi annotáció, egyedi videókódolás és akár kétszeres gyorsulás érhető el az adatbetöltésben. Megjelent továbbá az FSDP tréning és a Hugging Face Jobs felhőalapú betanítási lehetőség.

Az AWS Wordle-lel mutatja be a többlépéses megerősítéses tanítást SageMakeren

Az AWS hivatalos blogbejegyzése szerint a vállalat bemutatta a Multi-Turn Reinforcement Learning (MTRL) módszert az Amazon SageMaker AI platformon, amely nem egyetlen válaszra, hanem több lépésből álló, egymásra épülő döntéssorozatra tanít modelleket, és csak a teljes epizód végén kapott jutalomból tanul. A bemutatóhoz a Wordle szójátékot használták példaként, ahol az ügynök a tanítandó modellt hívja meg, és a SageMaker AI a Bedrock AgentCore-on vagy saját infrastruktúrán (EKS, EC2, Fargate) futó ügynöknek küld promptokat. Az AWS saját mérése szerint a módszer a gpt-oss-20b modell találati arányát alapértelmezett következtetési szint mellett 61-ről 84 százalékra, alacsony következtetési szint mellett pedig 15-ről 69 százalékra növelte, mintegy 339 dollár tanítási token-költség mellett. A bejegyzés hangsúlyozza, hogy a Wordle csak tanítópélda, a módszer célja inkább kisebb, olcsóbb modellek felkészítése vállalati, több lépésből álló munkafolyamatokra.

NVIDIA kibővítette a TensorRT motorépítő optimalizálóját

Az NVIDIA technikai blogja szerint a vállalat bemutatta a Global Performance Tuner nevű új eszközt, amely a TensorRT 11.1 verziójában jelent meg. A cég azt írja, hogy a TensorRT eddig is számos egymással összefüggő döntést hozott a gráf-átalakítások, a műveletösszevonás, a memóriaelhelyezés és a kvantálás terén egyetlen motor felépítéséhez, az új eszköz viszont testre szabható építési útvonalakat tesz lehetővé, amelyek bővítik a vizsgált megoldások körét. A blogbejegyzés szerint minden jelölt motort végponttól végpontig tesztelnek pontosság és sebesség szempontjából, és a három vezérelv a pontosságtudatos hangolás, a testre szabható építési útvonalak, valamint a nagy megoldástér, amelyből a leggyorsabb, elfogadható pontosságú verziót választják ki. A cikk ezt egy kétrészes sorozat első részének nevezi, a részletes algoritmust és architektúrát a második rész tárgyalja majd.

AWS: új SageMaker API-k egyéni betanítási ciklusokhoz

Az AWS bejelentette, hogy az Amazon SageMaker AI-hoz új training session API-kat vezetett be, amelyek feloldják az LLM-ek egyéni finomhangolásánál eddig szükséges kompromisszumot a teljes algoritmikus kontroll és az üzemeltetési egyszerűség között. A vállalat szerint az API-k nem az algoritmust, hanem a számítási infrastruktúrát absztrahálják: a forward_backward, optim_step és sample műveletek SageMaker API-hívásokká válnak, amelyeket a fejlesztők SFT-vé, preferencia-optimalizálássá vagy megerősítéses tanulássá (RL) fűzhetnek össze egy állapottartó munkamenetben, miközben a GPU-kezelést és az elosztott végrehajtást a szolgáltatás végzi. Az AWS emellett közzétette a SageMaker training sessions cookbookot, amely kész SFT- és RL-recepteket ad, köztük egy GSM8K-alapú és egy versenyprogramozási, unit tesztekkel kiértékelt RL-munkafolyamatot.