2026. augusztus 5., szerda · Kutatás

MirrorCraft: rejtett szabályváltozásokkal teszteli az AI-ügynököket Minecraftban

Egy nem lektorált arXiv-tanulmány bemutatja a MirrorCraft nevű páros benchmarkot, amely nagy nyelvi modell alapú ügynökök teljesítményét méri Minecraftban rejtett szabálymódosítások mellett. Minden Vanilla világhoz egy Mirror pár tartozik, amelyben egy datapack csak a szerveroldali szabályokat (recept, drop, egyéb mechanika) változtatja meg, a terep, a spawn, az erőforrások és a célok változatlanok maradnak. A szerzők öt biomot, hat szabálykészletet, három progressziós célt és hat ügynökkonfigurációt vizsgáltak közös Mineflayer-felületen, a hatást pedig a Rule Intervention Effect mutatóval mérték. Az eredmények szerint a rejtett szabályváltozások hatása szabálykészletenként erősen eltér, a ReAct-konfiguráció érte el a legjobb pontszámot leírás nélkül, míg a pontos szabályok megadása csak mérsékelt javulást hozott.

Miért fontos?

A benchmark rávilágít, hogy az LLM-alapú ügynökök teljesítménye visszaeshet, ha a megszokott játékszabályok rejtve megváltoznak, ami az alkalmazkodóképesség mérésének új eszköze.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #MirrorCraft#LLM-ügynökök

Napi összefoglaló

Ez a hír a 2026. augusztus 5., szerda napi AI összefoglaló része.

Kapcsolódó hírek

Új módszer gyorsítja a szerszámhasználó AI-ügynökök válaszidejét

Kutatók egy nem lektorált arXiv-preprintben mutatják be a Speculative Macro Commit (SMC) nevű futásidejű technikát, amely a szerszámhasználó nagy nyelvi modell alapú ügynökök soros végrehajtási késleltetését csökkenti. A rendszer két modellt kombinál: egy nagy, hiteles Qwen3.5-27B INT4 aktor-modellt, amely a hivatalos cselekvéssort adja, és egy gyorsabb Qwen3.5-4B spekulatív modellt, amely előre kipróbál cselekvéslánc-mintákat egy elkülönített környezet-másolaton. A szerzők állítása szerint a τ²-Bench telekommunikációs alteszten 10,23, az AppWorld teszten pedig 44,9 százalékkal csökkent a válaszidő a soros végrehajtáshoz képest, miközben a pontosság gyakorlatilag megmaradt. Az eredmények a szerzők saját méréseiből származnak, független megerősítés egyelőre nincs.

ScientistTwo: önállóan kutató és publikáló AI-rendszer preprintje

Egy kutatócsapat bemutatta a ScientistTwo nevű, több AI-ügynökből álló keretrendszert, amely a fejlesztők állítása szerint emberi beavatkozás nélkül képes végigvinni egy tudományos felfedezési ciklust: hipotézist állít fel, kísérleteket futtat, ablációs vizsgálatokkal finomítja a módszert, majd egy szimulált, AI-alapú bírálati-válaszadási folyamattal ellenőrzi az eredményt. A szerzők a rendszert olyan cikkekhez hasonlították, amelyeket korábban elfogadtak az ICLR, ICML és NeurIPS konferenciákon, és azt közlik, hogy a ScientistTwo által generált, futtatható kóddal ellátott tanulmányok automatizált AI-bírálók pontozásában átlagosan magasabb értékelést kaptak, mint az emberi szerzők cikkei. Fontos hangsúlyozni, hogy ez egy arXiv-preprint, tehát az eredmények még nem mentek át független emberi szakmai lektoráláson. A szerzők a rendszert nem puszta segédeszköznek, hanem önálló „tudományos felfedezőnek” nevezik, ez azonban a saját minősítésük, nem külső validáció.

Új benchmark: LLM-ek megbízhatatlanok autós hangparancsok engedélyezésénél

Kutatók egy 202 forgatókönyvből álló benchmarkot dolgoztak ki, amely azt méri, mennyire biztonságosan döntenek a nagy nyelvi modellek (LLM) autós hangasszisztensek parancsainak kezeléséről – végrehajtás, elutasítás, visszaigazolás vagy manuális vezérlés között. A nem lektorált arXiv-preprint szerint a Gemini 3.1 Pro Preview érte el a legjobb, 89,1%-os egyezést a referenciadöntésekkel, míg a Llama 3.2 3B csak 40,1%-ot; a három API-alapú modell 83,2-89,1% között teljesített, szignifikáns különbség nélkül. Még a legjobb modellek is 2-3 hamis végrehajtást produkáltak a 161 nem-végrehajtási esetből, és a visszaigazolási döntéseknél tartós hibák maradtak. A szerzők szerint a strukturált LLM-döntések önmagukban nem elégségesek, független érvényesítési rétegre van szükség a valós autós beépítéshez.

Paper2Agent: tudományos cikkekből önálló AI-ügynökök a Nature-ben

A Nature ma megjelent cikke szerint James Zou, a Stanford Egyetem informatikusa és társszerzői egy Paper2Agent nevű eszközt mutattak be, amely bármely tudományos publikációt „virtuális levelező szerzővé” alakít. Az eszköz beolvassa a cikk szövegét, kódját és adatait, ezeket egy úgynevezett MCP-szerverre tölti, majd AI-ügynökök csapata autonóm módon eszközöket épít, amelyekkel a cikk módszerei új adatokra is alkalmazhatók. A kutatók a rendszert az AlphaGenome DNS-elemző modellt bemutató cikken tesztelték: az ügynök létrehozása körülbelül 45 percet és 14 dollár számítási költséget igényelt, és a genetikai kérdésekre közel tökéletes pontossággal válaszolt, felülmúlva más, ugyanahhoz a cikkhez hozzáférő biomedikai AI-ügynököket, köztük a Biomni nevű, akadémiai fejlesztésű rendszert is. A cikk szerzői szerint a technológia lehetővé teheti, hogy a tudományos cikkek dinamikus, más tudományterületek ügynökeivel is együttműködni képes tudásforrásokká váljanak.