2026. július 29., szerda · Kutatás

Kódoló AI-ügynökök tesztjeinél a keretrendszer is számít, nemcsak a modell

Egy nem lektorált kutatói tanulmány szerint a kódoló AI-ügynökök nyilvános ranglistái félrevezetőek lehetnek, mert csak a modell nevét és a sikerességi arányt közlik, miközben a háttérben futó keretrendszer (scaffold) gyakran dokumentálatlan marad. A szerzők a Qwen 3.6 Plus és a MiniMax M2.5 modelleket három nyílt keretrendszerrel (Goose, OpenCode, OpenHands-SDK) tesztelték a Terminal-Bench Pro 50 feladatos részhalmazán. A keretrendszer választása akár 40-szeres különbséget okozott a megoldott feladatonkénti tokenfelhasználásban, míg az azonos modellen belüli sikerességi arány mindössze 0-8 százalékponttal tért el. A hibázási minták is inkább a keretrendszerhez kötődtek, nem a modellhez. A kutatók ezért a modell-keretrendszer párosok együttes, token- és késleltetési korlátok melletti értékelését javasolják.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A tanulmány rámutat, hogy a kódoló AI-ügynökök jelenlegi ranglistái torzíthatnak, mert figyelmen kívül hagyják a keretrendszer hatását a költségre és hatékonyságra.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #kódoló AI-ügynökök#benchmark-módszertan

Napi összefoglaló

Ez a hír a 2026. július 29., szerda napi AI összefoglaló része.

Helyesbítés · 2026. október 1., csütörtök

Helyesbítés (2026-10-01): az összefoglaló „a feladatonkénti tokenfelhasználásban” mért különbségről írt; a forrás a megoldott feladatra jutó tokenekről beszél.

Kapcsolódó hírek

Kutatók feltárták, miért fárasztó olvasni az AI szövegeit

A New York-i Egyetem és a Texasi Egyetem (Austin) kutatói szerint a vezető nyelvi modellek szövegei szisztematikusan nehezebben olvashatók, mint az emberi írás. A kutatás 14 modellt – köztük Claude, GPT-5.6, GLM-5 és Kimi K2.5 – vizsgált, 120 beszélgetést, 45 kódolási munkamenetet és 980 esszét elemezve, emberi szövegekkel összevetve. A szerzők hat jellegzetes mintát azonosítottak, például szokatlan szóösszetételeket és távolra helyezett mondatrészeket, amelyek megnehezítik a megértést. Szerintük ez azért alakul ki, mert a modellek tanítása inkább a matematikai és kódolási feladatok helyességét jutalmazza, nem az olvashatóságot, az RLHF helyett egyre inkább RLVR módszert alkalmazva. A kisebb modellek, mint a Llama és az Olmo alapváltozata, közelebb maradtak az emberi íráshoz, míg az Anthropic Opus 5.5 a kutatók szerint 21 összehasonlításból 19-ben javult elődjéhez képest.

MXFP4 kvantálással közelítik a BF16 pontosságát MoE-tréningben

Egy nem lektorált preprint szerzői ALTO néven nyílt forráskódú módszert mutatnak be egy 20 milliárd paraméteres mixture-of-experts modell, a GPT-OSS-20B MXFP4 ultra-alacsony pontosságú formátumban történő betanítására, az MLPerf Small MoE Training benchmarkon. A szerzők szerint a hibrid blokk-kvantálás, a véletlenszerű Hadamard-transzformáció, a sztochasztikus kerekítés és egy új súly-de-oszcillációs eljárás kombinációja a C4 validációs halmazon 3,3350-es veszteséget ér el, mindössze 0,007-del elmaradva a BF16 alapvonaltól (3,3283), ami a de-oszcilláció nélküli MXFP4-hez képest a különbség mintegy felét zárja be. A szerzők szerint ez a konvergencia-többletköltséget a BF16-hoz képest 20%-ról 5%-ra csökkenti. A kísérletek szimulált MXFP4-kernelekkel, AMD MI300 hardveren futottak, a futásidő-sebesség optimalizálása nélkül.

Az Anthropic társalapítója 2027-re hozta előre az önfejlesztő AI jóslatát

A P-Zero Research nevű kutatóműhely új TasteVal nevű benchmarkot tett közzé, amely azt méri, mennyire képesek AI-rendszerek önállóan kísérleteket tervezni és az eredményeket értelmezni – ezt nevezik „kutatói ízlésnek”. A nyolc feladat mindegyike rögzített kutatási célt ad az AI-modellfejlesztésből, a teszteket egységesen egy Nvidia H100 GPU-n futtatják, legfeljebb 40 GPU-óra vagy 120 óra alatt. A legjobb tesztelt modell a mérés szerint felülmúlta a 24 fős, korábban OpenAI-nél, Google DeepMindnél, Nvidiánál és Microsoft Researchnél dolgozó szakértőkből álló összehasonlító csoportot, ráadásul jóval alacsonyabb költséggel. A The Decoder cikke szerint Anthropic társalapítója, Jack Clark ezekre az adatokra hivatkozva most 2028 helyett már 2027-re várja, hogy az AI-rendszerek önmaguk utódait fejlesszék ki (rekurzív önfejlesztés). A lap hangsúlyozza, hogy a benchmark csak a tudományos munka szűk szeletét méri, és nem bizonyítja, hogy az AI-rendszerek már most önmagukat fejlesztik.

PHP-sebezhetőségek: az AI felgyorsítja a kihasználást

A Wired cikke szerint a nyilvánosságra hozott PHP-hibák, gyűjtőnevükön PHP2Shell, néhány órán belül milliós nagyságrendű kihasználási kísérletet váltottak ki a Cloudflare elemzése szerint. A PHP Foundation közlése szerint eddig nem történt sikeres támadás, és sok nyilvánosan terjedő exploit hatástalannak bizonyult. A lap szerint a Calif nevű biztonsági cég fedezte fel elsőként a hibákat augusztus elején, részben az OpenAI Patch the Planet programjának AI-eszközeivel; egyes mögöttes problémák már 2024 óta ismertek voltak, de korábban túl bonyolultnak tartották a kihasználásukat. Ezt követően az OpenAI és a Google tulajdonában álló Wiz kutatói egymástól függetlenül, szintén AI-eszközökkel találtak PHP2Shell-hibákat. Wiz biztonsági kutatója, Sagi Tzadik szerint a sebezhetőség évek óta ismert volt a PHP-csapat előtt, de mivel ember korábban nem tudta kihasználni, nem javították ki. A cikk megemlíti, hogy a Microsoft e havi frissítése rekordszámú, 1453 biztonsági hibát tartalmazott, a Bank of America pedig 1000 tanácsadót vett fel az Anthropic Mythos eszköze által feltárt hibák javítására.