2026. augusztus 30., vasárnap · Eszközök

FreeToken: MoE-modellek futtatása fogyasztói hardveren dinamikus CPU-GPU ütemezéssel

A Berkeley és az MIT kutatói FreeToken néven nyílt forráskódú inferenciamotort mutattak be, amely a nagy, ritka aktiválású Mixture-of-Experts modellek futtatását teszi lehetővé fogyasztói számítógépeken. A projekt szerzői között szerepel Matei Zaharia és Ion Stoica (Databricks társalapítói), valamint Song Han és Kurt Keutzer is. A cikk szerint a hagyományos megoldások a nem aktív szakértői súlyokat statikusan tárolják RAM-ban, és cache-hiba esetén leállítják a GPU-t a szinkron adatátvitel idejére. A FreeToken ezzel szemben a fejlesztők állítása szerint úgynevezett q* szabályzattal dinamikusan osztja meg a token-számítást CPU és GPU között, a súlyátvitelt pedig teljesen átfedésbe hozza a futó számítással, emellett elasztikus memóriakezelővel és úgynevezett szemantikus horgony-checkpointolással kezeli az ágensi munkafolyamatok gyakran változó kontextusát.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

Ha a leírt módszer beválik, jelentősen olcsóbbá és elérhetőbbé teheti a nagy MoE-modellek futtatását adatközponti hardver nélkül, otthoni gépeken is.

Források

InfoQ AI

Kapcsolódó témák

Napi összefoglaló

Ez a hír a 2026. augusztus 30., vasárnap napi AI összefoglaló része.

Kapcsolódó hírek

Facebook bevezeti a Your Algorithm funkciót, amellyel szöveggel irányítható a hírfolyam

Meta bejelentette, hogy a Facebookra is kiterjeszti a "Your Algorithm" nevű, AI-alapú funkciót, amely lehetővé teszi, hogy a felhasználók saját szavaikkal mondják meg, mit szeretnének látni a Feedben és a Reelsben, és az ajánlások a vállalat szerint valós időben reagáljanak. A hárompontos menüből érhető el az új eszköz, ahol a felhasználók közvetlenül megadhatják és kezelhetik érdeklődési köreiket, illetve az "Érdekel" és "Nem érdekel" gombok után részletesebb, szöveges visszajelzést is adhatnak. A Verge és a TechCrunch szerint a funkció nagy nyelvi modelleket (LLM-eket) használ a rangsoroló rendszerben, hogy a természetes nyelvű szöveget összekapcsolja a meglévő viselkedési jelekkel. A TechCrunch megjegyzi, hogy a Your Algorithm korábban már megjelent az Instagramon, előbb a Reelsnél 2025 decemberében, majd 2026 júniusában a Feedben és az Exploreban is, a Threads pedig egy hasonló "Dear Algo" funkciót kapott.

Google: a Play Áruházon át indíthatók a vibe-kódolt appok

A Google kedden bejelentette, hogy az AI Studio nevű eszközzel vibe-kódolt személyes Android-alkalmazásokat mostantól közvetlenül a Google Play-en keresztül is el lehet indítani, anélkül, hogy a telefont számítógéphez kellene csatlakoztatni egy APK-fájl telepítéséhez. A cég szerint ezek az appok privátak maradnak, nem jelennek meg a Play Áruház nyilvános katalógusában, és csak a készítőjük éri el őket a saját Google-fiókjával. A vállalat hamarosan lehetővé teszi, hogy a felhasználók megbízható ismerősök szűk körével is megosszák ezeket az appokat. Sam Bright, a Google Play alelnöke és általános menedzsere a bejelentésben úgy fogalmazott, hogy a Play Áruház segít profi fejlesztői fiókká válni azoknak, akik nyilvánosságra szeretnék hozni alkotásukat. A funkció kezdetben csak az Egyesült Államokban, 18 éves kor felett érhető el, a cég pedig korábban, májusban indította el az AI Studio-s vibe-kódolás lehetőségét.

AWS Ray LLM konténer: multi-node LLM-kiszolgálás EKS-en

Az AWS hivatalos blogbejegyzése szerint a vállalat bemutatta a Ray LLM Deep Learning Containers (DLC) multi-node változatát, amellyel egyetlen nagy nyelvi modell két GPU-csomóponton, Amazon EKS-en futtatható egy közös, OpenAI-kompatibilis végponton keresztül. A megoldás külön csomópontra választja szét az előfeltöltési (prefill) és a dekódolási (decode) fázist, így a hosszú, számításigényes promptok nem akasztják meg a már folyamatban lévő kérések token-generálását. Az AWS azt írja, hogy korábban az ügyfeleknek maguknak kellett összeállítaniuk és karbantartaniuk a kompatibilis GPU-függőségi láncot (CUDA-könyvtárak, keretrendszerek), ami jelentős, a modellfejlesztéstől elvonó mérnöki munkát igényelt. A most bemutatott, előre tesztelt és patchelt konténer ezt a réteget automatikusan biztosítja, kiterjesztve a korábbi, egycsomópontos Ray Serve DLC-nél alkalmazott megközelítést a többcsomópontos, szétválasztott (disaggregated) inferenciára.

Vezetők szerint a hangalapú AI-nak még nincs ChatGPT-pillanata

A TechCrunch beszámolója szerint a HumanX konferencián Shawn Wen, a vállalati hangalapú AI-t fejlesztő PolyAI technológiai igazgatója úgy véli: bár megjelentek az úgynevezett full-duplex modellek, amelyek képesek egyszerre beszélni és hallgatni, a hangalapú mesterséges intelligencia szerinte még nem érte el az áttörő, „ChatGPT-pillanatnak” nevezett szintet. Állítása szerint a következő kihívás a gyors következtetés megvalósítása, hogy a párbeszéd természetesnek hasson, emellett az ügyfélszolgálati AI-ügynököknek nem szabad robotikusan hangozniuk, hogy az emberek bizalmat építsenek feléjük. Alex Gay, az Otter jegyzetelő alkalmazás marketingigazgatója szerint a beszélő azonosítása és a szándék felismerése kulcsfontosságú az automatizáláshoz, a cég pedig úgynevezett digitális ikreken dolgozik, amelyek embereket képviselhetnének megbeszéléseken.