2026. július 2., csütörtök · Kutatás

Lebegőpontos hibák felismerése: 14 nagy nyelvi modellt teszteltek új benchmarkkal

Egy nem lektorált kutatás 14 nagy nyelvi modellt (LLM) értékelt aszerint, hogy mennyire képesek statikusan felismerni és osztályozni a lebegőpontos hibákat C forráskódban. A szerzők létrehozták az InterFLOPBench benchmarkot, amely 90 C kernelt és 1130 tesztmintát tartalmaz hat hibakategóriában: kioltás, összehasonlítás, nullával osztás, túlcsordulás, alulcsordulás és NaN. Az eredmények szerint a legújabb modellek – köztük a Qwen 3 32b, Gemini 2.5 Flash, Phi 4 Reasoning, DeepSeek R1T2 és a gpt-oss 20b/120b – 0,88 feletti összesített F1-pontszámot értek el. A teljesítmény hibakategóriánként eltérő: a nullával osztás átlagos F1-értéke 0,85 volt, míg az alulcsordulás (0,61) és a kioltás (0,62) esetében a modellek gyengébben teljesítettek, jelezve a finomabb numerikus jelenségek felismerésének nehézségét.

Miért fontos?

A benchmark rendszerezett keretet ad annak megítéléséhez, hogy az LLM-ek mennyire alkalmasak a nehezen felderíthető numerikus hibák automatikus észlelésére forráskódban.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #LLM-benchmark#lebegőpontos hibák

Napi összefoglaló

Ez a hír a 2026. július 2., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

Kódoló LLM-ek nem értik a szoftverek futási viselkedését – új értékelési keretrendszer mutatja a hiányosságokat

Egy nem lektorált kutatási tanulmány új megközelítést javasol a kódgeneráló nagy nyelvi modellek értékeléséhez: a szerzők a tesztkimenet és a hibaosztályok előrejelzése mellett a csúcsmemória-használat, a valós futási idő és a profilozó által rangsorolt metódus- és sorszintű erőforrás-fogyasztás becslését is vizsgálják. Az adatok forrásául a SWE-bench Verified benchmarkot használták, hogy az értékelés közel álljon a valós szoftvermérnöki feladatokhoz. A szerzők állítása szerint valamennyi tesztelt modell – beleértve az élvonalbeli rendszereket is – csak szerény teljesítményt mutatott és törékeny viselkedést tanúsított ezeken a feladatokon. Ez arra utal, hogy a jelenlegi LLM-ek a forráskód írásában jóval erősebbek, mint annak megértésében, hogyan viselkedik a szoftver futás közben, vagyis hiányzik belőlük egy implicit szoftver-világmodell.

Megerősítéses tanulás az AI-ágensek finomhangolásában: NVIDIA útmutató és új kutatási keretrendszerek

Az NVIDIA technikai blogján részletes útmutatót tett közzé arról, hogyan alkalmazható a megerősítéses tanulás (RL) – különösen a verifikálható jutalmakkal történő RL (RLVR) és a GRPO módszer – vállalati AI-ágensek domain-specifikus finomhangolására. A cég szerint a Nemotron 3 Super modellt 21 verifikáló környezetben, mintegy 1,2 millió rollout segítségével képezték, a NeMo RL ökoszisztéma pedig nyílt modellekhez kínál skálázható RL-eszközöket. Emellett két nem lektorált kutatási munka is megjelent: a HyPOLE keretrendszer formális logikával (HyperLTL) vezérli a többágenses RL-t részleges megfigyelhetőség mellett, míg egy másik tanulmány elektromos járművek flottáinak intelligens töltését vizsgálja független többágenses RL-megközelítésekkel. Mindhárom forrás azt jelzi, hogy az RL túllépett az általános modellképzésen, és egyre inkább gyakorlati, specializált feladatokban alkalmazzák.

EAGLE: mélytanulási keretrendszer 99%-kal gyorsabb patológiai képelemzésre

A Nature Communications-ben megjelent tanulmány bemutatja az EAGLE nevű mélytanulási keretrendszert, amely a patológusok munkamódszerét utánozva szelektíven elemzi a szövettani metszeti képek informatív régióit a redundáns csempék ezreinek feldolgozása helyett. A szerzők szerint az EAGLE 43 feladaton, kilenc ráktípuson keresztül felülmúlta a jelenlegi aggregációs módszereket, egyes esetekben akár 23%-kal jobb osztályozási teljesítménnyel. A rendszer egyetlen metszetet 2,27 másodperc alatt dolgoz fel, ami a kutatók állítása szerint több mint 99%-os számítási idő csökkenést jelent. Az EAGLE auditálható munkafolyamatot kínál, mivel azonosíthatók a predikciók alapjául szolgáló csempék, csökkentve a nagy teljesítményű infrastruktúra iránti igényt.

Többágenses mesterséges intelligencia a jogi érvelésben: tárgyalótermi eljárások ihlette keretrendszerek

Kutatók többágenses deliberációs módszereket vizsgáltak nagy nyelvi modellekre (LLM) épülő jogi érvelési feladatokban – nem lektorált preprintjük két új, tárgyalótermi eljárásokból és jogi argumentációból ihletett többágenses keretrendszert mutat be. Kísérleteik jogi és nem jogi benchmarkokon azt mutatták, hogy a többágenses rendszerek összteljesítménye összevethető az egymodelles alapvonallal, ugyanakkor szignifikánsan eltérő válaszokat produkálnak. A szerzők kiemelték, hogy bizonyos eseteket a többágenses megoldás old meg sikeresen, amelyeken az alapmodell kudarcot vall – és fordítva. Kvalitatív elemzésük szerint a többperspektívás kritikai gondolkodást igénylő kérdéseknél a többágenses megközelítés tűnik előnyösebbnek. A szerzők eredményeik alapján a többágenses rendszereket ígéretes irányként pozicionálják a jogi AI számára.