2026. október 27., kedd · Kutatás

MXFP4 kvantálással közelítik a BF16 pontosságát MoE-tréningben

Egy nem lektorált preprint szerzői ALTO néven nyílt forráskódú módszert mutatnak be egy 20 milliárd paraméteres mixture-of-experts modell, a GPT-OSS-20B MXFP4 ultra-alacsony pontosságú formátumban történő betanítására, az MLPerf Small MoE Training benchmarkon. A szerzők szerint a hibrid blokk-kvantálás, a véletlenszerű Hadamard-transzformáció, a sztochasztikus kerekítés és egy új súly-de-oszcillációs eljárás kombinációja a C4 validációs halmazon 3,3350-es veszteséget ér el, mindössze 0,007-del elmaradva a BF16 alapvonaltól (3,3283), ami a de-oszcilláció nélküli MXFP4-hez képest a különbség mintegy felét zárja be. A szerzők szerint ez a konvergencia-többletköltséget a BF16-hoz képest 20%-ról 5%-ra csökkenti. A kísérletek szimulált MXFP4-kernelekkel, AMD MI300 hardveren futottak, a futásidő-sebesség optimalizálása nélkül.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A szerzők szerint az FP4-alapú tréning jelentős memória-sávszélesség- és számítási teljesítménynövekedést ígér nagy MoE modellek, például a GPT-OSS-20B betanításához, bár ezt a kísérletben közvetlenül nem mérték.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglaló

Ez a hír a 2026. október 27., kedd napi AI összefoglaló része.

Kapcsolódó hírek

AWS: a nyílt GPT-OSS-20B alapból angolul gondolkodik más nyelveken is

Az AWS Machine Learning blogja szerint a nyílt súlyú GPT-OSS-20B reasoning modell alapból angolul gondolkodik akkor is, ha a felhasználó más nyelven kér választ. Egy 50 elemes teszten a célnyelvi gondolkodás aránya mindössze 22% volt, szinte kizárólag az angol példák miatt (angol 100%, francia 0%, német 10%, spanyol 0%, olasz 0%). A csapat a modellt Amazon SageMaker HyperPod infrastruktúrán finomhangolta a HuggingFaceH4/Multilingual-Thinking adathalmazon, amely franciára, spanyolra, németre és olaszra fordított gondolatmenet-példákat tartalmaz, mintegy 949 tanító- és 50 validációs elemmel. Az AWS szerint felügyelt finomhangolás (SFT) és megerősítéses tanulás (GRPO) kombinációja adta a legjobb eredményt: az SFT tanítja be a hiányzó viselkedést, a GRPO pedig finomítja azt, ahol még van javulási tér. Egy kontrollált Qwen2.5-7B kísérlet is megerősítette, hogy a technika megválasztása a képességbeli hiánytól függ.

Kutatók feltárták, miért fárasztó olvasni az AI szövegeit

A New York-i Egyetem és a Texasi Egyetem (Austin) kutatói szerint a vezető nyelvi modellek szövegei szisztematikusan nehezebben olvashatók, mint az emberi írás. A kutatás 14 modellt – köztük Claude, GPT-5.6, GLM-5 és Kimi K2.5 – vizsgált, 120 beszélgetést, 45 kódolási munkamenetet és 980 esszét elemezve, emberi szövegekkel összevetve. A szerzők hat jellegzetes mintát azonosítottak, például szokatlan szóösszetételeket és távolra helyezett mondatrészeket, amelyek megnehezítik a megértést. Szerintük ez azért alakul ki, mert a modellek tanítása inkább a matematikai és kódolási feladatok helyességét jutalmazza, nem az olvashatóságot, az RLHF helyett egyre inkább RLVR módszert alkalmazva. A kisebb modellek, mint a Llama és az Olmo alapváltozata, közelebb maradtak az emberi íráshoz, míg az Anthropic Opus 5.5 a kutatók szerint 21 összehasonlításból 19-ben javult elődjéhez képest.

Anthropic társalapítója 2027-re hozta előre az önfejlesztő AI jóslatát

A P-Zero Research nevű kutatóműhely új TasteVal nevű benchmarkot tett közzé, amely azt méri, mennyire képesek AI-rendszerek önállóan kísérleteket tervezni és az eredményeket értelmezni – ezt nevezik „kutatói ízlésnek”. A nyolc feladat mindegyike rögzített kutatási célt ad az AI-modellfejlesztésből, a teszteket egységesen egy Nvidia H100 GPU-n futtatják, legfeljebb 40 GPU-óra vagy 120 óra alatt. A legjobb tesztelt modell a mérés szerint felülmúlta a 24 fős, korábban OpenAI-nél, Google DeepMindnél, Nvidiánál és Microsoft Researchnél dolgozó szakértőkből álló összehasonlító csoportot, ráadásul jóval alacsonyabb költséggel. A The Decoder cikke szerint Anthropic társalapítója, Jack Clark ezekre az adatokra hivatkozva most 2028 helyett már 2027-re várja, hogy az AI-rendszerek önmaguk utódait fejlesszék ki (rekurzív önfejlesztés). A lap hangsúlyozza, hogy a benchmark csak a tudományos munka szűk szeletét méri, és nem bizonyítja, hogy az AI-rendszerek már most önmagukat fejlesztik.

PHP-sebezhetőségek: az AI felgyorsítja a kihasználást

A Wired cikke szerint a nyilvánosságra hozott PHP-hibák, gyűjtőnevükön PHP2Shell, néhány órán belül milliós nagyságrendű kihasználási kísérletet váltottak ki a Cloudflare elemzése szerint. A PHP Foundation közlése szerint eddig nem történt sikeres támadás, és sok nyilvánosan terjedő exploit hatástalannak bizonyult. A lap szerint a Calif nevű biztonsági cég fedezte fel elsőként a hibákat augusztus elején, részben az OpenAI Patch the Planet programjának AI-eszközeivel; egyes mögöttes problémák már 2024 óta ismertek voltak, de korábban túl bonyolultnak tartották a kihasználásukat. Ezt követően az OpenAI és a Google tulajdonában álló Wiz kutatói egymástól függetlenül, szintén AI-eszközökkel találtak PHP2Shell-hibákat. Wiz biztonsági kutatója, Sagi Tzadik szerint a sebezhetőség évek óta ismert volt a PHP-csapat előtt, de mivel ember korábban nem tudta kihasználni, nem javították ki. A cikk megemlíti, hogy a Microsoft e havi frissítése rekordszámú, 1453 biztonsági hibát tartalmazott, a Bank of America pedig 1000 tanácsadót vett fel az Anthropic Mythos eszköze által feltárt hibák javítására.