szemlebeta AI hírek. tömören.

AI-fogalom · Modellek

Mixture of Experts (MoE)

Olyan neurális háló architektúra, amely több specializált „szakértő” alhálóból áll, és minden bemenethez csak néhányat aktivál közülük.

Más néven: MoE, szakértők keveréke, expert modell, ritka aktivációjú modell

A Mixture of Experts (MoE) egy neurális hálózati architektúra, amelyben a hagyományos, egységes rétegek helyett több kisebb, párhuzamos alháló, az úgynevezett „szakértő” dolgozik. Egy külön irányító hálózat, a kapuzó vagy router dönti el minden egyes bemenet esetén, hogy a rendelkezésre álló szakértők közül melyeket érdemes aktiválni a feldolgozáshoz. Ez a megoldás lehetővé teszi, hogy a modell összesített paraméterszáma nagy legyen, miközben egy adott bemenet feldolgozásakor csak a paraméterek egy töredéke aktiválódik.

A módszer lényege a ritka aktiváció: egy adott bemenetre jellemzően csak két-négy szakértő kapcsol be a rendelkezésre álló tucatnyi vagy akár száznál is több közül. Ennek köszönhetően a modell számítási költsége (a válaszadáshoz szükséges műveletek száma) sokkal alacsonyabb, mint egy hasonló méretű, minden paramétert egyszerre használó sűrű modellnél, miközben a tanulási kapacitás, azaz a megtanulható tudás mennyisége nem csökken számottevően. A szakértők a tanulás során gyakran informálisan specializálódnak bizonyos mintázatokra, nyelvi jelenségekre vagy témákra, bár ez a specializáció nem mindig könnyen interpretálható.

A MoE architektúra jelentősége abban áll, hogy feloldja a modellméret és a számítási költség közötti hagyományos átváltást: lehetővé teszi nagyméretű, sokféle tudást magába foglaló nyelvi és egyéb modellek építését anélkül, hogy a következtetés (inference) költsége arányosan megnőne. Emiatt a technika kulcsszerepet kapott a legnagyobb, legkorszerűbb nagy nyelvi modellek fejlesztésében, ahol a cél a magas teljesítmény és a kezelhető üzemeltetési költség egyidejű elérése. Hátránya, hogy a betöltéshez és futtatáshoz szükséges memóriaigény továbbra is a teljes paraméterszámhoz kötődik, illetve a szakértők közötti terheléselosztás egyenletessé tétele önmagában is mérnöki kihívást jelent.

Kapcsolódó fogalmak

Kapcsolódó hírek

  1. Eszközök 2026. július 22., szerda

    Az NVIDIA GB300 NVL72 világrekordot állított a DeepSeek-V3 671B MoE-modell előtanításában

    Az NVIDIA saját technikai blogján jelentette be, hogy a GB300 NVL72 rendszer GPU-nként 1 648 TFLOPS teljesítménnyel világrekordot ért el a DeepSeek-V3 671B paraméteres Mixture of Experts (MoE) modell előtanításában. A vállalat szerint a teljesítmény kulcsa a teljes rack-szintű együttervezés: az ötödik generációs NVLink GPU-nként 1,8 TB/s sávszélességet és összesen 130 TB/s nem blokkoló all-to-all kommunikációt biztosít. Az NVIDIA állítása alapján szoftveres optimalizálásokkal – a Megatron Core, a TorchTitan és a JAX keretrendszerek révén – 3–10-szeres teljesítménynövekedést értek el az előző generációhoz képest, miközben a GPU-nkénti áteresztőképesség 256-ról 1 024 GPU-ra skálázva is 97% felett maradt. A MoE-architektúrák hatékonyságának lényege, hogy a tokenek csak a paraméterek kis részhalmazát aktiválják, ami viszont fokozott kommunikációs igényt támaszt a GPU-k között.

  2. Eszközök 2026. július 21., kedd

    Az NVIDIA bemutatta a hatodik generációs NVLink hálózati technológiát az AI-gyárak számára

    Az NVIDIA technikai blogján ismertette a hatodik generációs NVLink skálázási hálózatot, amelyet kifejezetten AI-gyárak számára terveztek. A vállalat szerint a technológia GPU-nként akár 3,6 TB/s sávszélességet, rack-szinten 260 TB/s összesített sávszélességet és 130 TFLOPS hálózaton belüli számítási kapacitást biztosít, jelentősen felülmúlva a hagyományos Ethernet-megoldásokat nagy méretű nyelvi modellek és MoE-architektúrák esetén. Az NVIDIA állítása alapján a Hopper-ről Blackwell-generációra való áttérés ötvenszeres javulást hozott a tokenek per watt mutatóban. A platform szoftveres integráció (Dynamo, TensorRT-LLM, NCCL, NIXL) mellett üzembiztonsági funkciókat is kínál, mint a menet közbeni frissítés, dinamikus útválasztás és melegtárolócserélhető kapcsolók. A jövőbeli bővíthetőséget az NVLink Fusion és az NVLink-C2C technológiák szolgálják.

  3. Kutatás 2026. július 11., szombat

    NVIDIA: JAX host offloading akár 57%-kal javítja a nagy nyelvi modellek tanítási átvitelét Blackwell GPU-kon

    Az NVIDIA technikai blogja szerint a JAX keretrendszerben alkalmazott host offloading technika jelentősen csökkenti a GPU HBM-szűk keresztmetszetét LLM-tanítás során: a forward pass közben kiválasztott aktivációkat hoszt memóriába mozgatja, majd a backward passnál visszatölti. Az NVIDIA GB200 NVL72 rendszeren végzett MaxText kísérletekben a DeepSeek-V3 671B és Llama 3.1 405B modellekkel az aktiváció-újraszámításhoz képest akár 57%-os átviteli javulást mértek, különösen ritka MoE modellek esetén. A megoldás a Grace Blackwell NVLink-C2C 900 GB/s kétirányú sávszélességére épít, és az optimális eredményhez XLA ütemezési beállítások és Nsight Systems profilozás szükséges.

  4. Modellek 2026. július 7., kedd

    A Tencent kiadta a Hy3 nyílt forráskódú MI-modellt, amely állítása szerint ötször nagyobb modellekkel is felveszi a versenyt

    A Tencent hivatalosan kiadta Hy3 nevű MI-modelljét, amely Mixture-of-Experts (MoE) architektúrát használ: összesen 295 milliárd paraméterrel rendelkezik, de egyszerre csak 21 milliárd aktív, kiegészítve egy 3,8 milliárd paraméteres MTP réteggel, és akár 256 000 token hosszú kontextust is képes kezelni. A Tencent állítása szerint a modell a nálánál két-ötször nagyobb modellek teljesítményét éri el, míg 270 szakértő vak értékelésében 2,67-es pontot kapott a 4-ből, felülmúlva a GLM-5.1-et (2,51). A cég belső tesztjei alapján a hallucinációs arány 12,5 százalékról 5,4 százalékra csökkent. A modell Apache 2.0 licenc alatt érhető el a Hugging Face-en, a ModelScope-on és a GitHubon, FP8-kvantált változatban is, és a Tencent már integrálta saját termékeibe, köztük a WeChat-be és a Yuanbao platformba.

← Vissza a fogalomtárhoz