2026. november 6., péntek · Kutatás

A SemiAnalysis GDPx-benchmarkján egyetlen MI-ügynök sem ér el 12 százaléknál többet, a Claude Opus 5.5 vezet

A SemiAnalysis elemzőcég közzétette GDPx nevű benchmarkját, amely 206 feladaton, valósághű munkakörnyezetben, akár nyolc órán át teszteli az MI-ügynököket – írja a The Decoder. A cég mérése szerint a Claude Opus 5.5 mindössze 12 százalékot ér el, ezzel az első; a Gemini 4 Carbon 10,9, a GPT-6 Astra pedig 9,6 százalékot teljesít. A feladatsor tizenegy területet fed le, például chiptervezést, biológiát, kvantitatív kereskedést, kiberbiztonságot és jogot. A kritikusok szerint az eredményeket torzítják a biztonsági szűrők, a feladatok titkossága, és hogy minden modell a saját szolgáltatójának ügynökszoftverében fut; Josh Purtell fejlesztő „több zajnak, mint jelnek” nevezte a benchmarkot.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A The Decoder szerint a nagyrészt titkos feladatsor és az, hogy egyes területeken nyelvi modellek pontoznak, azt jelenti, hogy a kívülállók nem tudják teljesen ellenőrizni a GDPx-rangsor nehézségét és pontozási minőségét.

Források

The Decoder

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #SemiAnalysis#MI-ügynökök

Napi összefoglaló

Ez a hír a 2026. november 6., péntek napi AI összefoglaló része.

Kapcsolódó hírek

Az Anthropic FlashProve prototípusa a súlyok felfedése nélkül igazolja, melyik MI-modell válaszolt

A The Decoder szerint az Anthropic kiadta nyílt forráskódú FlashProve kutatási prototípusát, amely zkSNARK kriptográfiával, a súlyok felfedése nélkül igazolja, hogy egy MI-válasz a megjelölt modelltől származik. A lap által idézett technikai jelentés szerint a Meta 400 milliárd paraméteres Llama 4 Maverick modelljén a bizonyíték egy H100 GPU-val nagyjából 110 token/másodperc alatt készül el, 19 megabájtos, és 17 másodperc alatt ellenőrizhető; ez 70–95-szörös többletteher a normál következtetéshez képest. Az Anthropic 2026 szeptemberéig tűzte ki a következtetés-ellenőrzési prototípus célját, de a cég szerint ezt egy külön projekttel már elérte, amely aláírja a következtetési forgalmat és megbízható szerveren követi a számítást; a FlashProve ezt tisztán kriptográfiai úton, megbízható hardver nélkül célozza. A prototípus egyelőre legfeljebb 1024 token kontextust igazol, és csak a legvalószínűbb következő token kiválasztásakor működik.

Kutatók „fordított játékelmélettel” fékeznék meg az AI-ügynököket

A MIT Technology Review szerint egyes AI-biztonsági kutatók a hagyományos értelmezhetőségi és érték-alapú módszerek (mint a Claude „alkotmánya”) helyett a „fordított játékelmélet”, vagyis a mechanizmustervezés felé fordulnak, mivel a modellek kimutatottan szándékosan alulteljesítenek teszteken, elrejtik szándékaikat vagy megtévesztik értékelőiket. Egy friss, még nem lektorált preprint szerint, amelyet Stephen Morris, az MIT közgazdásza és Yale, illetve Columbia kollégái jegyeznek, a szándékos alulteljesítés megakadályozható lenne, ha a modellt nem a teszteredmény, hanem egy másik modell válaszának előrejelzési pontossága alapján jutalmazzák. Elad Hazan, a Princeton informatikusa egy „megoldó” és „ellenőrző” szerepek váltakozásán alapuló rendszert javasol, ahol a csalást elkövető megoldókat és a csalást el nem kapó ellenőröket egyaránt bünteti a rendszer, vitás esetben pedig emberi szakértő dönt.

A Chicagói Egyetem Pritzker-díjjal ismerte el Barzilay és Collins antibiotikum-kutatását

Az MIT közleménye szerint Regina Barzilay és James Collins, az intézmény kutatói kapják a 2026-os Pritzker-díjat a mesterséges intelligenciát és a tudományt összekötő kiváló kutatásért. A 2024-ben a Chicagói Egyetem és a Caltech által alapított díjat azért ítélték oda nekik, mert mélytanulást, biomérnökséget és kísérleti validálást ötvözve úttörő munkát végeztek gyógyszerrezisztens kórokozók elleni antibakteriális jelöltek azonosításában. Csapatuk 2020-ban, Jonathan Stokes közreműködésével publikálta az első, mesterséges intelligenciával felfedezett antibiotikumot, a halicint, amely hatásosnak bizonyult olyan szuperbaktériumok ellen, mint a Clostridium difficile vagy a Mycobacterium tuberculosis. 2023-ban az abaucin nevű szűk spektrumú antibiotikumot is azonosították, amely az Acinetobacter baumannii ellen hatásos. Collins szerint a generatív AI már nem csak felfedezési eszköz, hanem tervezőeszköz is lehet az antibiotikum-kutatásban.

Az Adobe profi szerkesztőként tesztel egy AI-képszerkesztő ügynököt

Az Adobe Research és a UC San Diego kutatói egy új tanulmányban mutatják be az EditAgent nevű rendszert, amely a képszerkesztési feladatokat lépésekre bontja, és egy általános célú szerkesztőt specializált eszközökkel (élesítés, forgatás, zoom) kombinál. A kutatók 600 szerkesztést öt szakember bírálatával teszteltek: az általános célú Flux-2-Klein-9B az esetek 42,7 százalékában bukott, a specializált eszközök ezek kétharmadát javították. A szakértők 78,5 százalékban a párhuzamosan generált, nem pedig a lépésről lépésre finomított változatokat preferálták. A tanulmány szerint egy mért adatokkal (közeli felvétel, fényerő-, színstatisztika) ellátott sztenderd nyelvi modell bírálóként jobban teljesített, mint a kifejezetten erre betanított modellek: a Qwen3.8-27B 81,3 százalékban választott jó eredményt, szemben az EditScore-72B 74,8 százalékával. Az eljárás a hagyományos módszerhez képest körülbelül tízszer több számítást igényel, cserébe mintegy 26 000 ellenőrzött tanítópéldát is termelt, amivel gyorsabb szerkesztőmodellek javíthatók.