2026. augusztus 25., kedd · Kutatás

Új módszer mobilos AI-ügynökök teljesítményének és biztonságának értékelésére

Kutatók CRATE néven új, kétlépcsős értékelési keretrendszert mutattak be nyelvi utasításokkal irányított mobilalkalmazás-ügynökök automatikus minősítésére. A módszer lényege, hogy a teljes műveletsort egyben elemző korábbi megoldásokkal szemben lépésenként vizsgálja a releváns vizuális jeleket és az egyes akciók által kiváltott állapotváltozásokat, majd ezeket az eredményeket trajektóriaszinten összesíti. A szerzők állítása szerint – a cikk egy nem lektorált arXiv-preprintben jelent meg – a Qwen2.5-VL-72B-Instruct modellel futtatott CRATE 0,833-as F1-értéket ért el az AndroidWorld benchmarkon, ami 20 százalékkal jobb, mint a SPA-Bench módszeré. A biztonsági kockázatok értékelésére kiterjesztett CRATE-S változat a MobileRisk adathalmazon 0,697-es F1-értéket mutatott. A kutatók szerint az eredmények erős egyezést mutatnak a benchmarkok referenciaértékeivel, a kód nyilvánosan elérhető.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A mobil AI-ügynökök megbízható és biztonsági szempontú automatikus tesztelése kulcskérdés, mielőtt ezek a rendszerek széles körben, emberi felügyelet nélkül futnának telefonokon.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglaló

Ez a hír a 2026. augusztus 25., kedd napi AI összefoglaló része.

Kapcsolódó hírek

Élő adatbázis gyűjti össze az AI-benchmarkokat

Kutatók a Benchmark Radar nevű rendszert ismertetik egy nem lektorált, arXiv-on közzétett preprintben: ez egy élő adatbázis és keresőmotor, amely LLM-ek, ügynökalapú rendszerek, kódolási, érvelési és biztonsági benchmarkok adatait gyűjti egy helyre. A rendszer 37 forrásból (13 közvetlen kapcsolón és 24 kutatási-mérnöki hírfolyamon keresztül) naponta gyűjt benchmark-cikkeket, kódtárakat és adathalmazokat. A szerzők állítása szerint a katalógus jelenleg 1283 forrásrekordot tartalmaz négy benchmark-gyűjteményből, valamint 12 916 számszerű megfigyelést 790 rekordon. A csapat webes irányítópultot, rangsorolót, telítettségi és trendnézeteket, valamint parancssori felületet is közzétett a katalógus lekérdezéséhez.

Preprint: a megbízhatatlan AI-verifikátorok kikezdik a nyelvi modellek megerősítéses tanulással fejlesztett érvelését

Egy nem lektorált arXiv-preprint szerint a nyelvi modellek megerősítéses tanulással történő fejlesztésének fő akadálya az úgynevezett verifikációs rés: nincs olcsó, megbízható és manipulálhatatlan jutalomforrás a formális, például programozási területeken kívüli érveléshez. A szerzők elméleti és kísérleti bizonyítékokat is bemutatnak: szintetikus programszintézis-teszteken — valódi nyelvimodell-bírák helyett az azokat helyettesítő statisztikai verifikátorokkal — a megbízhatatlan verifikátorok Soundness-under-Pressure értéke 0,94-ről 0,32-re esett vissza, ahogy az optimalizálási nyomás N=4096-ig nőtt, miközben a megbízható verifikátor folyamatosan javult, a hamisítási rés pedig 0,27-ről közel nullára csökkent, ha a jutalmat valósághoz kötött, változó jelekkel frissítették. Valós GRPO-tréning során a befagyasztott jutalommodell a teljes túloptimalizálási görbét végigfutotta, a végrehajtott jutalom 90 százalékkal esett, míg a valósághoz igazított változat hatszoros végrehajtott jutalmat őrzött meg. A szerzők ezekre alapozva javasolják a Soundness-under-Pressure metrikát új benchmark alapjaként.

A Meta öt amerikai egyetemmel köt partnerséget tudományos kutatásokhoz

A Meta bejelentette, hogy öt amerikai egyetemmel – a Caltechhel, az Ohio State University orvosi karával, a Louisiana State Universityvel, az Indiana Universityvel és az UTHealth Houstonnal – partnerségben 2 millió dollár támogatást nyújt kutatásokhoz, amelyek a vállalat AI-modelljeit, köztük a Muse-sorozatot és a SAM számítógépes látás modellt használják. A projektek orvosi, fizikai, kémiai, biológiai és matematikai problémákra fókuszálnak, például csecsemők tracheostomia-monitorozására, demenciában szenvedők kommunikációs mintáinak elemzésére és a szívelégtelenség korai felismerésére. A Caltechen egy matematikus a Meta szerint a MathDB Frontier nevű, több mint 86 900 kutatási szintű nyitott problémát tartalmazó adatbázist építi a modellek matematikai érvelésének teszteléséhez. A vállalat szerint az egyetemek saját kutatási kérdéseikkel kerestek meg a Metát, amely ehhez biztosított modelleket és eszközöket.

Kutatók szerint adatszivárgás torzítja a ritka betegségeket diagnosztizáló AI-rendszerek eredményeit

Egy nem lektorált kutatási anyag (preprint) szerzői 60 000-nél több klinikai esetet felhasználva auditálták a ritka betegségek diagnosztizálására használt, nagy nyelvi modellekre épülő AI-rendszereket. A kutatók azt állítják, hogy a szigorú, adathalmazok közötti elkülönítés bevezetése után az ágensalapú rendszerek Recall@1 mutatója 54,3 százalékról 40,3 százalékra esett vissza, míg a felügyelt osztályozók pontossága 42,9 százalékról 16,7 százalékra csökkent külső kohorszokon tesztelve. A szerzők szerint ez azt jelzi, hogy a korábbi magas benchmark-eredmények jelentős részben a jelölt-térben megjelenő adatszivárgásból, nem pedig valódi orvosi következtetésből fakadnak. A tanulmány azt is állítja, hogy a modellek a klinikai leírásokban szereplő, utólagos terápiás nyomokat használják fel a diagnózis kitalálásához, és javasol egy szigorúbb, adatelkülönítésen alapuló értékelési keretrendszert.