2026. augusztus 29., szombat · Eszközök

NVIDIA MPS technológiával 75%-kal csökkenthető a beszédfelismerés GPU-igénye AWS-en

Az AWS, az NVIDIA és a Heidi Health közös blogbejegyzése szerint az automatikus beszédfelismerés (ASR) GPU-kihasználtsága rendkívül alacsony: egyetlen kérés a Parakeet TDT 0.6B V2 modellel az NVIDIA L40S GPU kapacitásának mindössze 15-20 százalékát használja ki, a CUDA alapértelmezett időosztásos ütemezése miatt a kapacitás 80 százaléka kihasználatlan marad. A vállalatok állítása szerint az NVIDIA CUDA Multi-Process Service és a Triton Inference Server kombinálásával az Amazon EC2 GPU-példányokon a kiszolgáláshoz szükséges GPU-k száma 16-ról 4-re csökkenthető, miközben a rendszer 92,1 kérést dolgoz fel másodpercenkénti GPU-nként, egy másodperc alatti késleltetés mellett. A Heidi Health hetente 2,4 millió klinikai konzultációt dolgoz fel 190 országban, ami indokolta a hatékonyabb kiszolgálási architektúra kidolgozását.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A leírt módszer a vállalatok állítása szerint jelentősen csökkentheti a nagy volumenű, valós idejű AI-beszédfelismerés infrastruktúra-költségeit.

Források

AWS Machine Learning Hivatalos

Kapcsolódó témák

Napi összefoglalók AI eszközök #NVIDIA MPS#AWS EC2

Napi összefoglaló

Ez a hír a 2026. augusztus 29., szombat napi AI összefoglaló része.

Kapcsolódó hírek

AWS Ray LLM konténer: multi-node LLM-kiszolgálás EKS-en

Az AWS hivatalos blogbejegyzése szerint a vállalat bemutatta a Ray LLM Deep Learning Containers (DLC) multi-node változatát, amellyel egyetlen nagy nyelvi modell két GPU-csomóponton, Amazon EKS-en futtatható egy közös, OpenAI-kompatibilis végponton keresztül. A megoldás külön csomópontra választja szét az előfeltöltési (prefill) és a dekódolási (decode) fázist, így a hosszú, számításigényes promptok nem akasztják meg a már folyamatban lévő kérések token-generálását. Az AWS azt írja, hogy korábban az ügyfeleknek maguknak kellett összeállítaniuk és karbantartaniuk a kompatibilis GPU-függőségi láncot (CUDA-könyvtárak, keretrendszerek), ami jelentős, a modellfejlesztéstől elvonó mérnöki munkát igényelt. A most bemutatott, előre tesztelt és patchelt konténer ezt a réteget automatikusan biztosítja, kiterjesztve a korábbi, egycsomópontos Ray Serve DLC-nél alkalmazott megközelítést a többcsomópontos, szétválasztott (disaggregated) inferenciára.

Vezetők szerint a hangalapú AI-nak még nincs ChatGPT-pillanata

A TechCrunch beszámolója szerint a HumanX konferencián Shawn Wen, a vállalati hangalapú AI-t fejlesztő PolyAI technológiai igazgatója úgy véli: bár megjelentek az úgynevezett full-duplex modellek, amelyek képesek egyszerre beszélni és hallgatni, a hangalapú mesterséges intelligencia szerinte még nem érte el az áttörő, „ChatGPT-pillanatnak” nevezett szintet. Állítása szerint a következő kihívás a gyors következtetés megvalósítása, hogy a párbeszéd természetesnek hasson, emellett az ügyfélszolgálati AI-ügynököknek nem szabad robotikusan hangozniuk, hogy az emberek bizalmat építsenek feléjük. Alex Gay, az Otter jegyzetelő alkalmazás marketingigazgatója szerint a beszélő azonosítása és a szándék felismerése kulcsfontosságú az automatizáláshoz, a cég pedig úgynevezett digitális ikreken dolgozik, amelyek embereket képviselhetnének megbeszéléseken.

WIRED-teszt: vicces, de gyatra játékokat gyárt a Google Playground

A Google e héten indított Playground nevű AI-játékgenerátorát egy WIRED-újságíró tesztelte, aki kódolási tapasztalat nélkül egyetlen nap alatt három játszható, stabil, de minőségileg gyenge játékot készített. A „Tetris, de cuki malacokkal” utasításból a Pork Drop nevű klón született, ahol a kockák helyett eltorzított malacformák esnek; a „meleg vacsorapartit” kérő prompt pedig a Dinner Darling nevű 2D flash-stílusú játékot eredményezte, Bitmoji-szerű grafikával, ahol a játékos egy stresszes házigazdát, Juliant irányítja, aki fésűs vendégeket próbál leültetni. A cikk kiemeli, hogy a Playground működése hasonlít a Meta szeptemberben bejelentett Horizon Create játékgenerátorához. Az élmény a szerző szerint gyors, beszélgetős és reszponzív, de a végeredmény esztétikailag és játékmenetileg messze elmarad egy profi fejlesztéstől.

Anthropic ingyenes AI-biztonsági szkennert indít nyílt forráskódú projekteknek

Az Anthropic ingyenes OSS Scanner nevű szolgáltatást indított, amely a legerősebb modelljeivel, köztük a Claude Mythosszal, rendszeresen átvizsgálja az erre jelentkező nyílt forráskódú projekteket, és automatikusan jelzi, elmagyarázza és javítja a talált sebezhetőségeket. A cég szerint a jelentések pontossága meghaladja a 90 százalékot, de azokat nem ellenőrzi ember, így hibás vagy téves riasztások is előfordulhatnak. Az Anthropic emellett egy hosszú távú Cyber Mission programot is indított: ennek Critical Infrastructure Defense Program nevű ága áram-, víz- és közlekedési hálózatok üzemeltetőinek biztosít hozzáférést Claude-modellekhez, mérnökökhöz és fenyegetéselemzéshez, alapító partnerként a CrowdStrike, a Palo Alto Networks, a Deloitte és a Rockwell Automation vesz részt benne. A The Verge szerint hasonló AI-alapú hibakeresők korábban is találtak már komoly biztonsági réseket, például a májusi, szinte minden Linux-disztribúciót érintő „Copy Fail” hibát, ugyanakkor több projekt, köztük Linus Torvalds csapata és a Google is küzd az AI-generálta hibajelentések hirtelen özönével.