Benchmark-tolmács · AI-ügynökök
ARC-AGI-3
Ismeretlen, interaktív játékszerű környezetekben méri, hogy egy AI-ügynök képes-e felfedezni a szabályokat, alkalmazkodni és célt elérni.
Más néven: ARC AGI 3, ARC-AGI-3 benchmark
Mit mér valójában?
A pontszám mögötti képesség
Az ügynök előzetes utasítás nélkül lép be ismeretlen, körökre osztott környezetekbe. Cselekednie, a visszajelzésekből szabályt és célt felismernie, majd új szintekre alkalmaznia kell a tanult stratégiát.
A teszt az aktív felfedezést, az online alkalmazkodást, a tervezést és a korlátozott interakciós keretben végzett döntéshozatalt együttesen méri.
Mit nem mér?
Amit ebből a számból nem tudunk
Nem általános intelligencia-bizonyítvány, és nem méri közvetlenül az irodai automatizálást, a webböngészést, a kódolást, a kommunikációt vagy a valós világ biztonságos kezelését. A játékszerű környezetek és az emberi szoftveres munkafolyamatok között nagy az átvitel bizonytalansága.
Az eredmény erősen függ a gondolkodási kerettől, a próbálkozások számától, a költségtől és az agent köré épített vezérléstől.
Mennyire friss?
Folyamatosan frissül
2026-ban indult, ezért jelenleg friss frontier-mérce. Az értékelési környezetek és szabályok a verseny során bővülhetnek, így minden pontszámhoz hozzá kell tenni a dátumot, a splitet, a modellváltozatot és a gondolkodási beállítást.
Megjelenés: 2026. már. 25. Adat-időmetszet: 2026-os verseny; Public Demo és elkülönített Semi-Private értékelés
Lehet-e adatszivárgás?
Alacsony kockázat
A publikus demók természetesen megismerhetők, de az ellenőrzött eredmények elkülönített környezeteket és hivatalos tesztelési eljárást használhatnak. Ez mérsékli a közvetlen tanítóadat-szivárgást; a publikus és a semi-private pontszámot azonban tilos összekeverni.
Jelent-e bármit a hétköznapokban?
Csak közvetett jel
Jelezheti, hogy egy ügynök mennyire rugalmas új helyzetekben, ami hosszabb távon fontos a valós automatizáláshoz. A mai hétköznapi feladatok eredményességét azonban csak közvetetten jósolja; az email-, böngésző-, kód- vagy fájlkezelő agenteket saját munkafolyamaton kell mérni.
Hírek, amelyekben ez a benchmark szerepel
-
Anthropic Opus 5 modellje elsöprő fölénnyel vezeti az ARC-AGI-3 rangsort
Az ARC Prize mérése szerint az Anthropic Claude Opus 5 modellje 30,2 százalékot ért el az ARC-AGI-3 benchmarkon, közel négyszerese az OpenAI GPT-5.6 Sol (Max) korábbi, 7,8 százalékos csúcsának. A teszt azt vizsgálja, mennyire képes egy modell ismeretlen, játékszerű környezetekben önállóan felismerni a szabályokat és lépésről lépésre tervezni, nem pedig betanult tudásra hagyatkozni. Az ARC Prize elemzése szerint az előny valódi, erősebb logikai következtetésből fakad, és a modell öt korábban megoldatlan környezetet is megoldott, négyet emberi szint felett, miközben olyan viselkedést mutatott, mint a feladatok algebrai jelölésmódra alakítása és önálló egyenletalkotás. Az ARC-AGI-2 és ARC-AGI-1 tesztjein 90,4, illetve 97,5 százalékot ért el, ami megegyezik a korábbi csúcsokkal, bár az ARC Prize szerint valamivel magasabb költség mellett.
-
Az NVIDIA nyílt forráskódú NOOA ügynökkeretet mutatott be
Az NVIDIA Labs technikai blogján jelentette be a NOOA (NVIDIA Labs Object-Oriented Agents) nevű, nyílt forráskódú, objektumorientált AI-ügynökkeretet. A vállalat közlése szerint a rendszer minden ügynököt egyetlen Python osztályként kezel, ahol a metódusok a képességeket, a mezők az állapotot, a docstringek pedig a promptokat testesítik meg, a típusannotációk pedig kikényszerített szerződésként működnek. A keretrendszer típusos, kapcsolati memóriát tart fenn egy emberi szemmel is olvasható SQLite-adatbázisban, ami az NVIDIA szerint feleslegessé teszi a kontextus-tömörítést. A cég állítása alapján a NOOA a SWE-bench Verified, a CyberGym L1 és az ARC-AGI-3 benchmarkokon jobb pontosságot és alacsonyabb tokenköltséget ér el a korábbi keretrendszerekhez képest, a kódot és kiértékeléseket pedig nyilvánosan elérhetővé tették.
