2026. július 30., csütörtök · Kutatás

Új mérési szabvány leplezi le a diffúziós nyelvmodellek kiértékelési hibáit

Egy nem lektorált preprint szerint a maszkolt diffúziós nyelvmodellek (MDLM) remasking stratégiáit vizsgáló hét friss kutatás egymással össze nem hasonlítható beállításokat használt: eltérő lépésszámot, metrikát és mintavételi hőmérsékletet, ezért a közölt rangsorok megbízhatatlanok. A szerzők bemutatják a CaRE nevű, számítási kapacitást figyelembe vevő kiértékelési keretrendszert, amely rögzíti a tényleges függvényhívások számát és több metrikát jelent egyszerre. A LLaDA-8B-Base és Dream-7B-Base modelleken végzett tesztek szerint a hőmérséklet magyarázza a MAUVE-mutató változásának nagy részét, a számításilag azonos feltételek melletti összehasonlítások pedig több publikált rangsort megfordítanak. A kutatás azt is állítja, hogy az informált remasking és a sztochasztikus feloldás egymással ütközik, amit egy 12 nyílt súlyú modellt felölelő ranglista is alátámaszt.

Miért fontos?

A tanulmány rámutat, hogy a diffúziós nyelvmodellek eddigi teljesítmény-összehasonlításai gyakran torzítottak, ami megkérdőjelezi a korábbi publikációk állításainak megbízhatóságát.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

fogalom Számítási kapacitás (compute)

Kapcsolódó témák

Napi összefoglalók AI kutatás #maszkolt diffúziós nyelvmodellek#kiértékelési protokoll

Napi összefoglaló

Ez a hír a 2026. július 30., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

GPT-6 Astra: robotikai tesztben nagyot ugrott a térbeli gondolkodás

Az OpenAI GPT-6 Astra modelljét egy új StationeryBench nevű robotikai teszt vetette össze az Ai2 MolmoAct2 modelljével öt asztali feladaton, két robotkarral végzett 200 kísérletben. Astra 100-ból 7 feladatot teljesített hibátlanul, míg a MolmoAct2 egyet sem, és Astra medián haladási pontszáma 46 pont volt a MolmoAct2 12 pontjával szemben. A Cornell és a Google DeepMind kutatója, Yoav Artzi ezt „lépésváltásnak” nevezte a térbeli gondolkodásban, bár szerinte a modell még nem éri el az emberi szintet minden helyzetben, és feltételezése szerint sok 3D-s (például Blender) adaton tanították. Emellett az OpenAI cégblogjában azt is közölte, hogy Astra kevesebb, célzottabb utasítást igényel, mint elődei, míg a Perplexity saját közlése szerint már ritkábban ellenőrzi a modellt, amikor az önállóan ír kommunikációt vagy módosít szoftvereket.

Anthropic: orosz fejlesztők Claude AI-t használtak öngyilkos drónok szoftveréhez

Az Anthropic 154 oldalas jelentése szerint egy valószínűleg szabadúszó orosz fejlesztőcsapat a Claude nevű chatbotot használta fel arra, hogy autonóm, első személyű nézetű "kamikaze" támadódrón-rajok szoftverét megírja, beleértve a célzási, célválasztási és a gépek közötti koordinációs funkciókat. A cég szerint a rendszert úgy programozták, hogy emberi jóváhagyás nélkül önállóan válasszon célpontot és robbanjon fel, és a fejlesztők VPN-nel kerülték meg az Anthropic földrajzi korlátozásait, miközben ismételten a donyecki régióban lévő helyszíneket jelölték meg célként. Az Anthropic ugyanabban a jelentésben azt is állítja, hogy állami hátterű hackercsoportok, köztük egy, amelynek módszerei a Midnight Blizzard nevű, orosz hírszerzéshez kötött csoportéra hasonlítanak, mesterséges intelligenciát vetettek be adathalász és WiFi-eltérítő támadásokhoz ukrán kormányzati, katonai és diplomáciai célpontok ellen. A jelentés a Kijev elleni, üzemanyagkutakat ért drónsorozat idején jelent meg, amelyben a városvezetés szerint legalább két ember meghalt.

NVIDIA-kutatók preprintje: Nemotron-rendszer IMO-aranyérem szintjét érte el

Az NVIDIA kutatói egy nem lektorált arXiv-preprintben azt állítják, hogy a Nemotron 3 Ultra alapmodellből felügyelt finomhangolással és megerősítéses tanulással képzett két szakosított változat, valamint egy iteratív, természetes nyelvű bizonyításgeneráló és -ellenőrző keretrendszer 30 pontot ért el a 42-ből a 2026-os Nemzetközi Matematikai Diákolimpia (IMO) tényleges feladatain, amit a szerzők az aranyérem küszöbének neveznek. Ez az eredmény a fejlesztők saját mérése, független külső bírálat vagy hivatalos IMO-értékelés nélkül. A rendszer állításuk szerint külső formális bizonyítóprogram, eszközök vagy internet-hozzáférés nélkül, kizárólag szöveges érveléssel dolgozott. A csapat közzétette a két utótanított modellváltozatot, a tanítóadatokat, a kódot, a beadott megoldásokat, valamint egy külön, saját fejlesztésű, 200 új feladatból álló benchmarkot, a Nemotron-IMO-Bench-et, amely nem azonos az IMO 2026 versenyfeladataival.

ARCHE: preprint szerint AI-ügynök tár fel kémiai reakciómechanizmusokat

Az ARCHE nevű autonóm AI-rendszer egy általános célú nyelvi modellt, egy kémiára szakosodott számítási modellt és egy strukturált eszköztárat kapcsol össze, hogy emberi beavatkozás nélkül vizsgálja a kémiai reakciómechanizmusokat. A fejlesztők állítása szerint a rendszer maga fogalmaz meg hipotéziseket, futtat kvantumkémiai számításokat, majd a kapott eredmények alapján finomítja következtetéseit egy zárt, önellenőrző ciklusban. A kutatók három egyre nehezebb esetben tesztelték: egy már ismert aszimmetrikus katalitikus reakció átmeneti állapotainak visszafejtésén, egy nemrég felfedezett, de még nem publikált C-I kötéshasadási reakció gyökös mechanizmusának feltárásán, valamint egy nikkelkatalizált kapcsolási reakció szelektivitását meghatározó leíró azonosításán. Fontos, hogy ezek az eredmények egy még nem lektorált, arXiv-on közzétett preprintből származnak, azokat a szakmai közösség eddig nem véleményezte, így a leírt teljesítmény egyelőre a szerzők saját állítása, nem független validáció.