2026. augusztus 5., szerda · Kutatás

MirrorCraft: rejtett szabályváltozásokkal teszteli az AI-ügynököket Minecraftban

Egy nem lektorált arXiv-tanulmány bemutatja a MirrorCraft nevű páros benchmarkot, amely nagy nyelvi modell alapú ügynökök teljesítményét méri Minecraftban rejtett szabálymódosítások mellett. Minden Vanilla világhoz egy Mirror pár tartozik, amelyben egy datapack csak a szerveroldali szabályokat (recept, drop, egyéb mechanika) változtatja meg, a terep, a spawn, az erőforrások és a célok változatlanok maradnak. A szerzők öt biomot, hat szabálykészletet, három progressziós célt és hat ügynökkonfigurációt vizsgáltak közös Mineflayer-felületen, a hatást pedig a Rule Intervention Effect mutatóval mérték. Az eredmények szerint a rejtett szabályváltozások hatása szabálykészletenként erősen eltér, a ReAct-konfiguráció érte el a legjobb pontszámot leírás nélkül, míg a pontos szabályok megadása csak mérsékelt javulást hozott.

Miért fontos?

A benchmark rávilágít, hogy az LLM-alapú ügynökök teljesítménye visszaeshet, ha a megszokott játékszabályok rejtve megváltoznak, ami az alkalmazkodóképesség mérésének új eszköze.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #MirrorCraft#LLM-ügynökök

Napi összefoglaló

Ez a hír a 2026. augusztus 5., szerda napi AI összefoglaló része.

Kapcsolódó hírek

Új rendszerezés az AI-ügynökök hibáinak eredetéhez

Kutatók egy nem lektorált arXiv-tanulmányban olyan osztályozási rendszert mutatnak be, amely az AI-ügynökök hibáit nem a végeredmény, hanem az interakció szintjén azonosítja. A szerzők szerint a jelenlegi értékelések gyakran csak a látható hibát rögzítik, anélkül hogy elárulnák, a modell utótanítására, a vezérlőprogram javítására, a környezet átalakítására vagy a benchmark hibájára van szükség. A taxonómia 41 hibatípust rendel hozzá a rendszer komponensei (modell, harness, felhasználó, eszközök, memória, környezet) közötti kapcsolatokhoz, jelezve a javítás oldalát. A módszert nyilvános benchmarkokból és rögzített ügynök-interakciókból vett példákon tesztelték, és négy modellt bíráló szerepben alkalmazva a legjobb egyezés az emberi címkézéssel Cohen-kappa 0,76 volt.

Nem egyenlő eséllyel fenyegeti a betegeket az orvosi AI-modellek adatszivárgása

A Nature-ben megjelent szakértői elemzés szerint az orvosi AI-fejlesztés eddigi alapfeltevése – hogy az anonimizált betegadatokból nem lehet visszakövetkeztetni az egyénekre – gyakran nem igaz. A cikk Knolle és szerzőtársai Nature-ben publikált kutatására hivatkozik, amely kimutatta, hogy erős gépi tanulási modellek esetén bizonyos betegcsoportok tagságára vonatkozó információ kikövethető a modellből, és ez a kockázat nem egyenletesen oszlik el a populációkon belül. Zhang és Ghassemi, az MIT kutatói ezt az eredményt kommentálva hangsúlyozzák, hogy az adatmegosztás és az orvosi AI-fejlesztés közötti implicit „alku” – amely a de-identifikáció biztonságára épül – felülvizsgálatra szorul. Az elemzés szerint a probléma különösen sürgető, mert eltérő mértékben veszélyezteti a különböző alcsoportokat, ami új etikai és adatvédelmi kérdéseket vet fel az egészségügyi AI-rendszerek tervezésénél.

Microsoft nyílt keretrendszert adott ki ügynök-AI kutatáshoz

A Microsoft Research bemutatta az Orchard nevű nyílt forráskódú keretrendszert, amelynek célja az ügynök-alapú AI-kutatás skálázhatóbbá és olcsóbbá tétele. A rendszer magja az Orchard Env, egy Kubernetes-alapú, újrahasználható környezet, amely szoftverfejlesztő, webnavigáló és személyi asszisztens ügynökök betanítására és kiértékelésére is alkalmas, akár valós futtatási keretek, például Codex, OpenClaw vagy ZeroClaw belsejében. A cég állítása szerint az Orchard-SWE mindössze 3 milliárd aktív paraméterrel 69,7%-ot ér el a SWE-bench Verified teszten, rerangolással pedig 73,0%-ot, ami közelíti a több mint tízszer nagyobb élvonalbeli modellek eredményeit. A Microsoft a tanítóadatokat és a kiértékelési módszereket is elérhetővé tette a kutatóközösség számára.

Kutatók: a tökéletlen értékfüggvény túloptimalizálása katasztrófához vezethet

Egy még nem lektorált arXiv-tanulmány elméleti modellt állít fel az AI-illesztés (alignment) problémájára, amelyben egy ügynök idealizált illesztési tréningen esik át, mielőtt a valós világban optimalizálna. A szerzők szerint a modell megmutatja, milyen feltételek mellett kerülhet üzembe olyan ügynök, amelynek értékfüggvénye garantáltan egy küszöb alá szorítja az emberi értékek várható szintjét nagy optimalizálási nyomás esetén. Ez alátámasztja azt az AI-biztonsági félelmet, hogy egy tökéletlen proxy túlzott optimalizálása katasztrofális kimenetet okozhat. A tanulmány ezért olyan tervezési megoldásokat javasol, mint a kvantilizálók, amelyek korlátozzák az optimalizálási nyomást a puszta bevezetés előtti tréning helyett. Ez elméleti, matematikai modellezés, nem empirikus teszt valódi rendszereken.