2026. szeptember 14., hétfő · Kutatás

Élő adatbázis gyűjti össze az AI-benchmarkokat

Kutatók a Benchmark Radar nevű rendszert ismertetik egy nem lektorált, arXiv-on közzétett preprintben: ez egy élő adatbázis és keresőmotor, amely LLM-ek, ügynökalapú rendszerek, kódolási, érvelési és biztonsági benchmarkok adatait gyűjti egy helyre. A rendszer 37 forrásból (13 közvetlen kapcsolón és 24 kutatási-mérnöki hírfolyamon keresztül) naponta gyűjt benchmark-cikkeket, kódtárakat és adathalmazokat. A szerzők állítása szerint a katalógus jelenleg 1283 forrásrekordot tartalmaz négy benchmark-gyűjteményből, valamint 12 916 számszerű megfigyelést 790 rekordon. A csapat webes irányítópultot, rangsorolót, telítettségi és trendnézeteket, valamint parancssori felületet is közzétett a katalógus lekérdezéséhez.

Miért fontos?

A projekt célja, hogy a fejlesztők egy prior-art kereséssel ellenőrizhessék, létezik-e már hasonló mérőeszköz, mielőtt új benchmarkot terveznének, csökkentve a párhuzamos, egymással nehezen összevethető eredmények számát.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #Benchmark Radar#AI-értékelés

Napi összefoglaló

Ez a hír a 2026. szeptember 14., hétfő napi AI összefoglaló része.

Kapcsolódó hírek

Preprint: a hamis AI-bírák aláássák a nyelvi modellek érvelését

Egy nem lektorált arXiv-preprint szerint a nyelvi modellek megerősítéses tanulással történő fejlesztésének fő akadálya az úgynevezett verifikációs rés: nincs olcsó, megbízható és manipulálhatatlan jutalomforrás a formális, például programozási területeken kívüli érveléshez. A szerzők elméleti és kísérleti bizonyítékokat is bemutatnak: programszintézis-teszteken a megbízhatatlan verifikátorok teljesítménye 0,94-ről 0,32-re esett vissza, miközben a megbízható verifikátor folyamatosan javult, a hamisítási rés pedig 0,27-ről közel nullára csökkent, ha a jutalmat valósághoz kötött, változó jelekkel frissítették. Valós GRPO-tréning során a befagyasztott jutalommodell a teljes túloptimalizálási görbét végigfutotta, a végrehajtott jutalom 90 százalékkal esett, míg a valósághoz igazított változat hatszoros végrehajtott jutalmat őrzött meg. A szerzők ezekre alapozva javasolják a Soundness-under-Pressure metrikát új benchmark alapjaként.

Új módszer mobilos AI-ügynökök teljesítményének és biztonságának értékelésére

Kutatók CRATE néven új, kétlépcsős értékelési keretrendszert mutattak be nyelvi utasításokkal irányított mobilalkalmazás-ügynökök automatikus minősítésére. A módszer lényege, hogy a teljes műveletsort egyben elemző korábbi megoldásokkal szemben lépésenként vizsgálja a releváns vizuális jeleket és az egyes akciók által kiváltott állapotváltozásokat, majd ezeket az eredményeket trajektóriaszinten összesíti. A szerzők állítása szerint – a cikk egy nem lektorált arXiv-preprintben jelent meg – a Qwen2.5-VL-72B-Instruct modellel futtatott CRATE 0,833-as F1-értéket ért el az AndroidWorld benchmarkon, ami 20 százalékkal jobb, mint a SPA-Bench módszeré. A biztonsági kockázatok értékelésére kiterjesztett CRATE-S változat a MobileRisk adathalmazon 0,697-es F1-értéket mutatott. A kutatók szerint az eredmények erős egyezést mutatnak a benchmarkok referenciaértékeivel, a kód nyilvánosan elérhető.

Kétéves egyetemi kutatás: az AI-tiltás rontja a jogászhallgatók teljesítményét

Thibault Schrepel, a Vrije Universiteit Amsterdam jogászprofesszora két éven át vizsgálta „Law of AI” kurzusán, hogyan hat a hallgatói teljesítményre az AI teljes tiltása, a felügyelet nélküli AI-használat és a strukturált AI-képzés. A hallgatókat három csoportra osztották: egyiküknek nem volt szabad ChatGPT-t használnia, a másik felügyelet nélkül kapott AI-javaslatokat, a harmadik célzott képzést kapott a jogi promptolásban. A feladat mindenkinek ugyanaz volt: 20 perc alatt kellett javítani egy rendelkezést az uniós mesterséges intelligencia-rendeleten. A kísérletet 2024-ben 66, 2025-ben 164 hallgatóval ismételték meg. A kutató szerint a tiltott csoport mindkét évben az utolsó helyen végzett, mert az ötletek gyorsan kimerültek, míg a felügyelet nélküli csoport kritikátlanul fogadta el az AI javaslatait. A képzett csoport 2024-ben egyértelműen jobban teljesített, ám 2025-re ez az előny szinte eltűnt, mivel a hallgatók már megszokott felhasználóként érkeztek a kurzusra.

Sci-MMR: új teszt leplezi le a multimodális AI-ügynökök bizonyítási hiányosságait

Kutatók bemutatták a Sci-MMR benchmarkot, amely azt méri, mennyire képesek a multimodális AI-ügynökök több lépéses, bizonyítékra alapozott tudományos következtetésre. A nem lektorált, arXiv-preprintként közzétett tanulmány szerint a 235 feladatból álló teszt négy tudományterületet fed le, feladatonként átlag kilenc ábrapanellel. Nyolc élvonalbeli multimodális modell vizsgálatakor kiderült: a végső válasz pontossága több mint 20 százalékponttal meghaladja azt az arányt, amikor a modell a teljes bizonyítékláncot is helyesen adja vissza, vagyis gyakran jó választ ad valódi bizonyíték nélkül. A szerzők szerint a hibák 57,2 százaléka az ábrákból való hiányos bizonyítékkinyerésből ered, 31,8 százaléka pedig abból, hogy a modellek a meglévő bizonyítékot sem tudják helyes következtetéssé alakítani; még arany bizonyíték mellett is csak 69,1 százalékos pontosságot ér el a legjobb modell a legnehezebb feladatokon.