2026. július 29., szerda · Kutatás

Kódoló AI-ügynökök tesztjeinél a keretrendszer is számít, nemcsak a modell

Egy nem lektorált kutatói tanulmány szerint a kódoló AI-ügynökök nyilvános ranglistái félrevezetőek lehetnek, mert csak a modell nevét és a sikerességi arányt közlik, miközben a háttérben futó keretrendszer (scaffold) gyakran dokumentálatlan marad. A szerzők a Qwen 3.6 Plus és a MiniMax M2.5 modelleket három nyílt keretrendszerrel (Goose, OpenCode, OpenHands-SDK) tesztelték a Terminal-Bench Pro 50 feladatos részhalmazán. A keretrendszer választása akár 40-szeres különbséget okozott a feladatonkénti tokenfelhasználásban, míg az azonos modellen belüli sikerességi arány mindössze 0-8 százalékponttal tért el. A hibázási minták is inkább a keretrendszerhez kötődtek, nem a modellhez. A kutatók ezért a modell-keretrendszer párosok együttes, token- és késleltetési korlátok melletti értékelését javasolják.

Miért fontos?

A tanulmány rámutat, hogy a kódoló AI-ügynökök jelenlegi ranglistái torzíthatnak, mert figyelmen kívül hagyják a keretrendszer hatását a költségre és hatékonyságra.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #kódoló AI-ügynökök#benchmark-módszertan

Napi összefoglaló

Ez a hír a 2026. július 29., szerda napi AI összefoglaló része.

Kapcsolódó hírek

AI-ügynökök gyorsítják a tudományos szimulációkat

Kutatók egy URSA nevű keretrendszerbe ágyazott AI-ügynök-rendszert mutattak be, amely automatizálja az atomisztikus szimulációk (LAMMPS) tervezését, futtatását és validálását, önállóan választva interatomikus potenciálokat és hibákat javítva zárt hurkú munkafolyamatban - állítja a nem lektorált arXiv-tanulmány. A rendszert a LAVA nagy áteresztőképességű LAMMPS/VASP-eszközkészlethez mérték, és a szerzők szerint csökkenti a kézi beavatkozást, javítva a modellezés reprodukálhatóságát és skálázhatóságát. Ezzel párhuzamosan az OpenAI rövid híre szerint tudósok AI kódoló-ügynököket használnak a tudományos számítástechnika modernizálására, gyorsítva a szoftverfejlesztést genomikai és más területeken - ez utóbbi állítás azonban csak egy rövid hírfolyam-kivonatból ismert, részletek nélkül.

ParBench: új mérőeszköz az AI-alapú párhuzamos kódfordítás megbízhatóságához

Kutatók bemutatták a ParBench nevű benchmarkot, amely azt méri, mennyire képesek nagy nyelvi modellek és autonóm kódoló ügynökök megbízhatóan lefordítani párhuzamos programozási kódot CUDA, OpenMP, OpenCL és OpenMP target offload API-k között. A szerzők állítása szerint a rendszer a fordítási feladatot csak a számítási kernelekre szűkíti, míg a build-, futtatási és ellenőrzési infrastruktúrát rögzíti, így futtatható, reprodukálható körülmények között tesztelhető. A még lektorálatlan közlemény szerint a tesztelt élvonalbeli nyílt és zárt modellek is tartós korlátokba ütköznek: irányfüggő aszimmetria, több fájlt érintő koordinációs hibák, hiányos API-adaptáció és egyenetlen robusztusság jellemzi őket.

Gépi tanulás azonosít növényvédő mikrobákat vad Arabidopsis-populációkban

A Nature Communications-ben publikált, lektorált kutatás hat generáción át gyűjtött levél-mikrobiom adatok alapján gépi tanulási modelleket tanított be, hogy megkülönböztesse az Albugo laibachii kórokozóval fertőzött és egészséges vad Arabidopsis növényeket mikrobiota-összetételük szerint. A modellek azonosították a betegséghez, illetve az egészséges állapothoz köthető mikrobákat; a legjobb jelölteket növényben tesztelve mindegyik védelmet nyújtott, az egészség-asszociált taxonok jobban teljesítettek. A legígéretesebb jelölt egy Cystofilobasidium gomba volt, amelynek védőhatása a vizsgálatok szerint elsősorban mikroba-mikroba kölcsönhatásokon, nem a növényi immunrendszer aktiválásán múlik. A szerzők szerint a mikrobiom-adatok és a gépi tanulás párosítása hatékony úton segítheti a biokontroll-ágensek célzott azonosítását.

Az AI felgyorsítja a gyógyszerkutatást, de adatszűk keresztmetszeteket hoz felszínre

A MIT Technology Review cikke szerint a gyógyszerfejlesztés hagyományosan rendkívül költséges és kockázatos: egy új készítmény piacra vitele 10-15 évet és 1-2,5 milliárd dollárt igényel, a kudarcarány pedig meghaladja a 90 százalékot. Az AI a gyógyszeripar legnagyobb reménye a sikerráta növelésére, elsősorban a célpontazonosítás és a hatóanyag-jelöltek szűrése terén. Paul Belcher, a Cytiva kutatási stratégiai igazgatója szerint a vállalatok a fizikai könyvtárszűrésről áttérnek a prediktív tervezésre: az AI már a fejlesztés elején kiszűrheti a gyenge jelölteket. A cikk ugyanakkor jelzi, hogy az AI egyelőre nem jelzi megbízhatóan előre a kinetikai tulajdonságokat, és a gyorsuló folyamat fizikai laborkorlátokat, illetve megbízhatóbb adatinfrastruktúra iránti igényt hoz felszínre.