2026. július 29., szerda · Kutatás

Kódoló AI-ügynökök tesztjeinél a keretrendszer is számít, nemcsak a modell

Egy nem lektorált kutatói tanulmány szerint a kódoló AI-ügynökök nyilvános ranglistái félrevezetőek lehetnek, mert csak a modell nevét és a sikerességi arányt közlik, miközben a háttérben futó keretrendszer (scaffold) gyakran dokumentálatlan marad. A szerzők a Qwen 3.6 Plus és a MiniMax M2.5 modelleket három nyílt keretrendszerrel (Goose, OpenCode, OpenHands-SDK) tesztelték a Terminal-Bench Pro 50 feladatos részhalmazán. A keretrendszer választása akár 40-szeres különbséget okozott a feladatonkénti tokenfelhasználásban, míg az azonos modellen belüli sikerességi arány mindössze 0-8 százalékponttal tért el. A hibázási minták is inkább a keretrendszerhez kötődtek, nem a modellhez. A kutatók ezért a modell-keretrendszer párosok együttes, token- és késleltetési korlátok melletti értékelését javasolják.

Miért fontos?

A tanulmány rámutat, hogy a kódoló AI-ügynökök jelenlegi ranglistái torzíthatnak, mert figyelmen kívül hagyják a keretrendszer hatását a költségre és hatékonyságra.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #kódoló AI-ügynökök#benchmark-módszertan

Napi összefoglaló

Ez a hír a 2026. július 29., szerda napi AI összefoglaló része.

Kapcsolódó hírek

Preprint: a hamis AI-bírák aláássák a nyelvi modellek érvelését

Egy nem lektorált arXiv-preprint szerint a nyelvi modellek megerősítéses tanulással történő fejlesztésének fő akadálya az úgynevezett verifikációs rés: nincs olcsó, megbízható és manipulálhatatlan jutalomforrás a formális, például programozási területeken kívüli érveléshez. A szerzők elméleti és kísérleti bizonyítékokat is bemutatnak: programszintézis-teszteken a megbízhatatlan verifikátorok teljesítménye 0,94-ről 0,32-re esett vissza, miközben a megbízható verifikátor folyamatosan javult, a hamisítási rés pedig 0,27-ről közel nullára csökkent, ha a jutalmat valósághoz kötött, változó jelekkel frissítették. Valós GRPO-tréning során a befagyasztott jutalommodell a teljes túloptimalizálási görbét végigfutotta, a végrehajtott jutalom 90 százalékkal esett, míg a valósághoz igazított változat hatszoros végrehajtott jutalmat őrzött meg. A szerzők ezekre alapozva javasolják a Soundness-under-Pressure metrikát új benchmark alapjaként.

Új keretrendszer tárja fel az AI-ügynökök rejtett biztonsági réseit

Kutatók olyan fekete dobozos tesztelési módszert dolgoztak ki, amely kizárólag alapvető rendszerleírások alapján képes feltérképezni az autonóm AI-ügynökök kockázatait, anélkül hogy hozzáférne a rendszer belső működéséhez. A SAGE-RT nevű, automatizált red teaming eljárás egy hét kategóriás kockázati taxonómiára épül, és minden kategóriában 120 ellenséges tesztforgatókönyvet generál, amelyeket emberi ellenőrzéssel és AI-bírákkal validálnak. A kutatás egyelőre nem lektorált arXiv-preprintként érhető el, tehát az eredményeket független szakértői bírálat még nem erősítette meg. A szerzők állítása szerint a CrewAI és AutoGen keretrendszereken, négy alapmodellel végzett tesztek átlagosan 56,25%-os kormányzási kockázatot, többügynökös konfigurációkban 65%-os adatvédelmi kockázatot, valamint akár 85%-os ügynöki viselkedési sérülékenységet mutattak ki. A szerzők szerint ez a megközelítés kiváltságos hozzáférés nélkül is képes azonosítani a bevezetés előtt álló ügynökrendszerek kritikus architekturális gyengeségeit.

Google AI-modellje egy nappal pontosabban jelzi előre a ciklonokat

A Nature folyóiratban közölt tanulmány szerint a Google WeatherNext nevű mesterséges intelligencia modellje jobb eredményeket ér el a hurrikánok és tájfunok előrejelzésében, mint a hagyományos numerikus időjárás-modellek. A rendszer háromnapos előrejelzést ad, amely ugyanolyan pontos, mint a korábbi kétnapos becslések, így egy plusz nap felkészülési időt biztosíthat a veszélyeztetett területeknek. A cikk szerint az AI-alapú előrejelzés egyre inkább teret nyer a hosszabb távú előrejelzések terén, mivel mintázatokra épít a fizikai számítások helyett, és gyorsabban, olcsóbban ad összevethető pontosságú eredményt. A meteorológiában az AI-t inkább hasznos új eszközként fogadják, nem ellenállással.

Az AI-adatközpontok terhelésingadozása veszélyezteti az áramhálózatot

Az MIT Technology Review szerint az AI-adatközpontok energiaellátása nem termelési, hanem architektúrai probléma. A lap szerint 2026. július 22-én egy távvezetéki hiba Ashburnben, a világ legnagyobb adatközpont-klaszterében, másodpercek alatt több mint 3 gigawattnyi terhelést kapcsolt le a hálózatról, két évvel korábban pedig egyetlen meghibásodott túlfeszültség-levezető mintegy 60 virginiai létesítményt és 1500 megawattot vitt el egyszerre. A cikk szerint egy AI-kampusz betanítás közben milliszekundumok alatt terhelésének 70 százalékát képes megváltoztatni, majd a legkisebb hálózati zavarjelre azonnal lekapcsolódik. A szerző értelmezése szerint a hagyományos, évtizedek óta változatlan tápellátási architektúra nem bírja ezt az ingadozást, ami veszélyezteti a hálózat megbízhatóságát.