2026. július 16., csütörtök · Kutatás

Az automatikus harness-evolúció hatékonyságát kérdőjelezi meg egy új értékelési keretrendszer

Kutatók felülvizsgálták az LLM-ágensekhez használt automatikus harness-evolúció értékelési módszertanát egy még nem lektorált tanulmányban. A szerzők két alapvető problémát azonosítanak: egyrészt a harness-evolúció iteratív keresési folyamat, amelyet azonos visszacsatolási és inferencia-költségvetés mellett egyszerű keresési alapvonalakkal kellene összehasonlítani; másrészt a keresés és a végső kiértékelés ugyanazon a benchmarkon zajlik, ami túlillesztési kockázatot jelent. A Terminal-Bench 2.1 benchmarkon GPT-5.4 és Claude Opus 4.6 modellekkel végzett kísérleteik szerint az automatikus harness-evolúció nem múlja felül következetesen az egyszerű tesztelési idejű skálázási módszereket, és korlátozott az általánosítóképessége tartott (held-out) feladatokon. A szerzők tisztességesebb értékelési protokollok és benchmarkok kialakítását szorgalmazzák az automatikus harness-tervezéshez.

Miért fontos?

Megkérdőjelezi a széles körben használt ágensértékelési módszerek megbízhatóságát, és módszertani javításokat javasol.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglaló

Ez a hír a 2026. július 16., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

Új módszerek az AI-ágensek hallucinációjának csökkentésére és hatékonyabb tanítására

Két egymást kiegészítő, nem lektorált kutatás foglalkozik az AI-ágensek megbízhatóságával. A GILP (Grounded Iterative Language Planning) nevű megközelítés egy kisméretű, tanított világmodellt kombinál LLM-alapú tervezéssel: a betanított modell ellenőrzi az LLM által javasolt lépéseket, és inkonzisztencia esetén revíziót kér. A szerzők szerint GPT-4o-mini hívásokon a hallucinált állapotváltozások aránya 0,176-ról 0,035-re csökkent, míg a sikerráta kalibrált szimulációkban 0,668-ról 0,838-ra nőtt, mindössze ~22%-kal több LLM-hívás árán. Az ATOD nevű módszer pedig a kis nyelvi modellek többlépéses feladatokra való tanítását javítja: az on-policy desztilláció és a megerősítéses tanulás fokozatos keverésével a tanármodellt is felülmúló teljesítményt ért el az ALFWorld, WebShop és Search-QA benchmarkokon – a szerzők állítása szerint átlagosan 2,16 százalékponttal.

Eszközökkel kiegészített LLM-ágensek teljesítménye valós energiapiaci elemzési feladatokon

Egy új, az arXiv-on megjelent preprint empirikus vizsgálatot mutat be arról, hogyan teljesítenek eszközökkel (API-k, adatbázisok, optimalizálási modellek) felszerelt nagy nyelvi modell (LLM) alapú ágensek valós energiapiaci elemzési feladatokon. A kutatók 243, szakértők által összeállított feladatot hoztak létre három kategóriában: piaci adatlekérés és elemzés, szabályozási tudás visszakeresése, valamint haladó kvantitatív modellezés és döntéstámogatás. Az értékelés többdimenziós protokollt alkalmaz, amely a megközelítés helyességét, a válasz pontosságát, az attribútum-illeszkedést és a forrásérvényességet is méri. A szerzők zárt és nyílt forráskódú LLM-eket egyaránt teszteltek, vizsgálva a modellképesség és a szakterületi eszköztár kölcsönhatását. Az eredmények és az eszközök nyilvánosan elérhetők a reprodukálhatóság érdekében.

Az ágens-optimalizálók nyeresége csak regresszió-kontrollal halmozódik – folyamatos tanulási kísérlet

Három ágens-optimalizálási módszert (GEPA, Meta Harness, RELAI-VCL) hasonlítottak össze kétfázisú folyamatos tanulási teszten a Terminal-Bench 2.0 nehéz feladatain – a kutatás nem lektorált preprint. Statikus kiértékelésben mindhárom javított az alaphoz képest, de új feladatok bevezetésekor élesen szétváltak: a GEPA az alap alá esett, a Meta Harness jól transzferált, de tovább nem javult. Egyedül a RELAI-VCL halmozta a nyereségeket minden ponton (76,4% szemben a GEPA 66,0, Meta Harness 64,6 és az alap 58,7 százalékával). A szerzők szerint a nyereségek csak akkor halmozódnak, ha az optimalizálási hurok regresszió-kontrollt tartalmaz, megakadályozva a rosszul általánosító rövidítő megoldásokat.

A Google DeepMind és az Isomorphic Labs közös biobiztonsági stratégiát mutatott be

A Google DeepMind és az Isomorphic Labs közös megközelítést tett közzé a biológiai ellenálló képesség (bioreziliencia) erősítésére. A két szervezet saját közlése szerint az elmúlt egy évben több mint 15 partnerséget kötött kormányzati szervekkel, biobiztonsági szervezetekkel és kutatócsoportokkal annak érdekében, hogy megakadályozzák az AI-modellek visszaélésszerű felhasználását, és felgyorsítsák a járványok felismerését és a válaszlépéseket. A stratégia három pillérre épül: megelőzés, felderítés és reagálás. A cégek az AlphaFold, az AlphaGenome és az Isomorphic Labs gyógyszertervezési motorja (IsoDDE) mellett a Gemini modellt is megbízható partnerek rendelkezésére bocsátják. Emellett a SynthID vízjelező technológia biológiai alkalmazásán is dolgoznak, amely segíthetne a DNS-szintézis-szolgáltatóknak az AI által generált, potenciálisan kockázatos biológiai szekvenciák szűrésében.