2026. június 30., kedd · Kutatás

Kódoló LLM-ek nem értik a szoftverek futási viselkedését – új értékelési keretrendszer mutatja a hiányosságokat

Egy nem lektorált kutatási tanulmány új megközelítést javasol a kódgeneráló nagy nyelvi modellek értékeléséhez: a szerzők a tesztkimenet és a hibaosztályok előrejelzése mellett a csúcsmemória-használat, a valós futási idő és a profilozó által rangsorolt metódus- és sorszintű erőforrás-fogyasztás becslését is vizsgálják. Az adatok forrásául a SWE-bench Verified benchmarkot használták, hogy az értékelés közel álljon a valós szoftvermérnöki feladatokhoz. A szerzők állítása szerint valamennyi tesztelt modell – beleértve az élvonalbeli rendszereket is – csak szerény teljesítményt mutatott és törékeny viselkedést tanúsított ezeken a feladatokon. Ez arra utal, hogy a jelenlegi LLM-ek a forráskód írásában jóval erősebbek, mint annak megértésében, hogyan viselkedik a szoftver futás közben, vagyis hiányzik belőlük egy implicit szoftver-világmodell.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

Rámutat, hogy a kódoló LLM-ek futásidejű erőforrás-becslési képessége gyenge, ami az AI-alapú szoftverfejlesztés megbízhatóságát korlátozhatja.

Benchmark-tolmács

Mit mond a hírben szereplő pontszám?

SWE-bench Verified

Valódi GitHub-hibajegyek alapján méri, hogy egy kódoló ügynök képes-e működő javítást készíteni meglévő Python-projektekben.

Pontszám: A sikeresen megoldott hibajegyek aránya; magasabb jobb. Csak azonos Verified készlet, tesztharness, agent, eszköz-, idő- és költségkeret mellett hasonlítható.
Frissesség: Korosodó
Szivárgás: Magas kockázat
Hétköznapi jel: Részleges kapcsolat

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglaló

Ez a hír a 2026. június 30., kedd napi AI összefoglaló része.

Kapcsolódó hírek

Preprint: azonosság-torzítás az AI-bírák pontozásában, blokklánc a megoldásra

Egy nem lektorált arXiv-tanulmány szerint hét nagynyelvi modellt – köztük a GPT-OSS 120B-t, a Llama 3.3 70B-t és a DeepSeek V4 Pro-t – bíráló szerepben teszteltek: ezek pontozták három elsődleges modell válaszait 58 tényszerű, gondolkodási, politikai és preferenciaalapú kérdésen, anonim és azonosítóval ellátott formában is. A szerzők állítása szerint az azonosság felfedése enyhén torzítja a tényszerű kérdések pontszámát, közepesen a nehéz gondolkodási feladatokét, és nagymértékben a geopolitikailag érzékeny témákét; a GLM 5.1 pontszáma 7 ponttal, a Llama 3.3 70B-é 1,56 ponttal emelkedett szignifikánsan. A torzítás orvoslására a kutatók egy Ethereum-kompatibilis, kétfázisú „commit-reveal” blokkláncprotokollt javasolnak, amely a bírák pontszámát hash formában rögzíti, mielőtt a modellek azonossága kiderülne.

Meta-benchmarking keretrendszer pénzügyi szektorban használt nyelvi modellek célzott értékeléséhez

Egy nem lektorált tanulmány olyan meta-benchmarking keretrendszert mutat be, amely 452 nyilvános benchmarkot 41 O*NET munkatevékenységbe és 38 BIAN banki üzleti területbe szervez a nagy nyelvi modellek pénzügyi szektorra szabott értékelésére. A szerzők szerint a jelenlegi rangsorok globális átlagra optimalizálnak, így nem tükrözik a pénzügyi munka speciális követelményeit. A keretrendszer multiplikatív súlyozással és páros Elo-tornával állít elő összehasonlítható pontszámokat nyers normalizálás nélkül. A módszertant egy 2026. júniusi pillanatfelvételen demonstrálják 25 szervezet 288 modelljén, a reprodukálhatóságot szem előtt tartva.

Lebegőpontos hibák felismerése: 14 nagy nyelvi modellt teszteltek új benchmarkkal

Egy nem lektorált kutatás 14 nagy nyelvi modellt (LLM) értékelt aszerint, hogy mennyire képesek statikusan felismerni és osztályozni a lebegőpontos hibákat C forráskódban. A szerzők létrehozták az InterFLOPBench benchmarkot, amely 90 C kernelt és 1130 tesztmintát tartalmaz hat hibakategóriában: kioltás, összehasonlítás, nullával osztás, túlcsordulás, alulcsordulás és NaN. Az eredmények szerint a legújabb modellek – köztük a Qwen 3 32b, Gemini 2.5 Flash, Phi 4 Reasoning, DeepSeek R1T2 és a gpt-oss 20b/120b – 0,88 feletti összesített F1-pontszámot értek el. A teljesítmény hibakategóriánként eltérő: a nullával osztás átlagos F1-értéke 0,85 volt, míg az alulcsordulás (0,61) és a kioltás (0,62) esetében a modellek gyengébben teljesítettek, jelezve a finomabb numerikus jelenségek felismerésének nehézségét.

OpenAI 722 matematikai kéziratot tett közzé – a szakma etikai aggályokat fogalmaz meg

Az OpenAI kedden 722 kéziratot hozott nyilvánosságra, amelyek 372 eredménycsaládba rendeződnek, és algebra, elméleti számítástechnika, valamint matematikai logika területén oldanak meg régi nyitott kérdéseket. Az eredmények egy egyelőre nyilvánosságra nem hozott modellből származnak; az AGMAI elitmatematikusokból álló tanácsadó csoport közlése alapján az átlagos eredmény hozzávetőleg háromórányi ChatGPT Pro gondolkodásnak felelt meg. Az AGMAI korábban arra is felszólította az AI-laboratóriumokat, hogy ne kezeljék marketingeszközként az ilyen felfedezéseket, és hozzák nyilvánosságra a modell nevét, a promptokat és a számítási költségeket. A princetoni Institute for Advanced Study aggodalmát fejezte ki amiatt, hogy az AI olyan matematikai érveket is előállíthat, amelyeket a promptot adó ember nem képes megérteni vagy ellenőrizni; az OpenAI bejelentette, hogy együttműködik az intézettel, ám nem jelezte, hogy leállítaná jelenlegi gyakorlatát.