2026. szeptember 14., hétfő · Kutatás

Sci-MMR: új teszt leplezi le a multimodális AI-ügynökök bizonyítási hiányosságait

Kutatók bemutatták a Sci-MMR benchmarkot, amely azt méri, mennyire képesek a multimodális AI-ügynökök több lépéses, bizonyítékra alapozott tudományos következtetésre. A nem lektorált, arXiv-preprintként közzétett tanulmány szerint a 235 feladatból álló teszt négy tudományterületet fed le, feladatonként átlag kilenc ábrapanellel. Nyolc élvonalbeli multimodális modell vizsgálatakor kiderült: a végső válasz pontossága több mint 20 százalékponttal meghaladja azt az arányt, amikor a modell a teljes bizonyítékláncot is helyesen adja vissza, vagyis gyakran jó választ ad valódi bizonyíték nélkül. A szerzők szerint a hibák 57,2 százaléka az ábrákból való hiányos bizonyítékkinyerésből ered, 31,8 százaléka pedig abból, hogy a modellek a meglévő bizonyítékot sem tudják helyes következtetéssé alakítani; még arany bizonyíték mellett is csak 69,1 százalékos pontosságot ér el a legjobb modell a legnehezebb feladatokon.

Miért fontos?

A benchmark szerint az automatikus képkivágó eszközök csak 4,5 pontos javulást hoznak, míg a kész, arany bizonyíték megadása 37 pontos pontosságnövekedést eredményez, ami jelzi, mennyire múlik a kutatási AI-ügynökök megbízhatósága a bizonyítékgyűjtés minőségén.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #Sci-MMR#multimodális AI-ügynökök

Napi összefoglaló

Ez a hír a 2026. szeptember 14., hétfő napi AI összefoglaló része.

Kapcsolódó hírek

Kétéves egyetemi kutatás: az AI-tiltás rontja a jogászhallgatók teljesítményét

Thibault Schrepel, a Vrije Universiteit Amsterdam jogászprofesszora két éven át vizsgálta „Law of AI” kurzusán, hogyan hat a hallgatói teljesítményre az AI teljes tiltása, a felügyelet nélküli AI-használat és a strukturált AI-képzés. A hallgatókat három csoportra osztották: egyiküknek nem volt szabad ChatGPT-t használnia, a másik felügyelet nélkül kapott AI-javaslatokat, a harmadik célzott képzést kapott a jogi promptolásban. A feladat mindenkinek ugyanaz volt: 20 perc alatt kellett javítani egy rendelkezést az uniós mesterséges intelligencia-rendeleten. A kísérletet 2024-ben 66, 2025-ben 164 hallgatóval ismételték meg. A kutató szerint a tiltott csoport mindkét évben az utolsó helyen végzett, mert az ötletek gyorsan kimerültek, míg a felügyelet nélküli csoport kritikátlanul fogadta el az AI javaslatait. A képzett csoport 2024-ben egyértelműen jobban teljesített, ám 2025-re ez az előny szinte eltűnt, mivel a hallgatók már megszokott felhasználóként érkeztek a kurzusra.

Élő adatbázis gyűjti össze az AI-benchmarkokat

Kutatók a Benchmark Radar nevű rendszert ismertetik egy nem lektorált, arXiv-on közzétett preprintben: ez egy élő adatbázis és keresőmotor, amely LLM-ek, ügynökalapú rendszerek, kódolási, érvelési és biztonsági benchmarkok adatait gyűjti egy helyre. A rendszer 37 forrásból (13 közvetlen kapcsolón és 24 kutatási-mérnöki hírfolyamon keresztül) naponta gyűjt benchmark-cikkeket, kódtárakat és adathalmazokat. A szerzők állítása szerint a katalógus jelenleg 1283 forrásrekordot tartalmaz négy benchmark-gyűjteményből, valamint 12 916 számszerű megfigyelést 790 rekordon. A csapat webes irányítópultot, rangsorolót, telítettségi és trendnézeteket, valamint parancssori felületet is közzétett a katalógus lekérdezéséhez.

GPT-6 Astra: robotikai tesztben nagyot ugrott a térbeli gondolkodás

Az OpenAI GPT-6 Astra modelljét egy új StationeryBench nevű robotikai teszt vetette össze az Ai2 MolmoAct2 modelljével öt asztali feladaton, két robotkarral végzett 200 kísérletben. Astra 100-ból 7 feladatot teljesített hibátlanul, míg a MolmoAct2 egyet sem, és Astra medián haladási pontszáma 46 pont volt a MolmoAct2 12 pontjával szemben. A Cornell és a Google DeepMind kutatója, Yoav Artzi ezt „lépésváltásnak” nevezte a térbeli gondolkodásban, bár szerinte a modell még nem éri el az emberi szintet minden helyzetben, és feltételezése szerint sok 3D-s (például Blender) adaton tanították. Emellett az OpenAI cégblogjában azt is közölte, hogy Astra kevesebb, célzottabb utasítást igényel, mint elődei, míg a Perplexity saját közlése szerint már ritkábban ellenőrzi a modellt, amikor az önállóan ír kommunikációt vagy módosít szoftvereket.

Anthropic: orosz fejlesztők Claude AI-t használtak öngyilkos drónok szoftveréhez

Az Anthropic 154 oldalas jelentése szerint egy valószínűleg szabadúszó orosz fejlesztőcsapat a Claude nevű chatbotot használta fel arra, hogy autonóm, első személyű nézetű "kamikaze" támadódrón-rajok szoftverét megírja, beleértve a célzási, célválasztási és a gépek közötti koordinációs funkciókat. A cég szerint a rendszert úgy programozták, hogy emberi jóváhagyás nélkül önállóan válasszon célpontot és robbanjon fel, és a fejlesztők VPN-nel kerülték meg az Anthropic földrajzi korlátozásait, miközben ismételten a donyecki régióban lévő helyszíneket jelölték meg célként. Az Anthropic ugyanabban a jelentésben azt is állítja, hogy állami hátterű hackercsoportok, köztük egy, amelynek módszerei a Midnight Blizzard nevű, orosz hírszerzéshez kötött csoportéra hasonlítanak, mesterséges intelligenciát vetettek be adathalász és WiFi-eltérítő támadásokhoz ukrán kormányzati, katonai és diplomáciai célpontok ellen. A jelentés a Kijev elleni, üzemanyagkutakat ért drónsorozat idején jelent meg, amelyben a városvezetés szerint legalább két ember meghalt.