2026. július 4., szombat · Kutatás

Meta-benchmarking keretrendszer pénzügyi szektorban használt nyelvi modellek célzott értékeléséhez

Egy nem lektorált tanulmány olyan meta-benchmarking keretrendszert mutat be, amely 452 nyilvános benchmarkot 41 O*NET munkatevékenységbe és 38 BIAN banki üzleti területbe szervez a nagy nyelvi modellek pénzügyi szektorra szabott értékelésére. A szerzők szerint a jelenlegi rangsorok globális átlagra optimalizálnak, így nem tükrözik a pénzügyi munka speciális követelményeit. A keretrendszer multiplikatív súlyozással és páros Elo-tornával állít elő összehasonlítható pontszámokat nyers normalizálás nélkül. A módszertant egy 2026. júniusi pillanatfelvételen demonstrálják 25 szervezet 288 modelljén, a reprodukálhatóságot szem előtt tartva.

Miért fontos?

A keretrendszer szektorspecifikus, reprodukálható módszertant kínál az LLM-ek pénzügyi értékeléséhez, túllépve az általános rangsorok korlátain.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #LLM-benchmark#pénzügyi szektor

Napi összefoglaló

Ez a hír a 2026. július 4., szombat napi AI összefoglaló része.

Kapcsolódó hírek

Lebegőpontos hibák felismerése: 14 nagy nyelvi modellt teszteltek új benchmarkkal

Egy nem lektorált kutatás 14 nagy nyelvi modellt (LLM) értékelt aszerint, hogy mennyire képesek statikusan felismerni és osztályozni a lebegőpontos hibákat C forráskódban. A szerzők létrehozták az InterFLOPBench benchmarkot, amely 90 C kernelt és 1130 tesztmintát tartalmaz hat hibakategóriában: kioltás, összehasonlítás, nullával osztás, túlcsordulás, alulcsordulás és NaN. Az eredmények szerint a legújabb modellek – köztük a Qwen 3 32b, Gemini 2.5 Flash, Phi 4 Reasoning, DeepSeek R1T2 és a gpt-oss 20b/120b – 0,88 feletti összesített F1-pontszámot értek el. A teljesítmény hibakategóriánként eltérő: a nullával osztás átlagos F1-értéke 0,85 volt, míg az alulcsordulás (0,61) és a kioltás (0,62) esetében a modellek gyengébben teljesítettek, jelezve a finomabb numerikus jelenségek felismerésének nehézségét.

Kódoló LLM-ek nem értik a szoftverek futási viselkedését – új értékelési keretrendszer mutatja a hiányosságokat

Egy nem lektorált kutatási tanulmány új megközelítést javasol a kódgeneráló nagy nyelvi modellek értékeléséhez: a szerzők a tesztkimenet és a hibaosztályok előrejelzése mellett a csúcsmemória-használat, a valós futási idő és a profilozó által rangsorolt metódus- és sorszintű erőforrás-fogyasztás becslését is vizsgálják. Az adatok forrásául a SWE-bench Verified benchmarkot használták, hogy az értékelés közel álljon a valós szoftvermérnöki feladatokhoz. A szerzők állítása szerint valamennyi tesztelt modell – beleértve az élvonalbeli rendszereket is – csak szerény teljesítményt mutatott és törékeny viselkedést tanúsított ezeken a feladatokon. Ez arra utal, hogy a jelenlegi LLM-ek a forráskód írásában jóval erősebbek, mint annak megértésében, hogyan viselkedik a szoftver futás közben, vagyis hiányzik belőlük egy implicit szoftver-világmodell.

Auto-FL-Research: ágens-alapú keresés föderált tanulási algoritmusok tervezési tereiben

Az Auto-FL-Research (AFR) egy korlátozott kódoló-ágens munkafolyamat, amely föderált tanulási algoritmusok receptjeinek automatizált keresését végzi – szerver-aggregációs szabályokat, kliens-frissítési ütemezéseket és modellvariánsokat vizsgálva. A szerzők öt egészségügyi FLamby- és hat LEAF-feladaton értékelték a rendszert ötszörös ismétléssel: négy FLamby- és öt LEAF-feladaton javulás mutatható ki. A nem lektorált tanulmány ugyanakkor rámutat, hogy egyes nyereségek skaláris hangolásból vagy szelekciós torzításból adódnak, és ismételt értékeléskor nem reprodukálódnak. A fő hozzájárulás e vegyes eredmények szisztematikus szétválasztása: valódi FL-mechanizmus-változások, hangolási hatások és egyszeri futásbeli artefaktumok elkülönítése.

CLAP: zárt hurkú keretrendszer domain-specifikus AI-ágensek utótréningjéhez

A CLAP keretrendszer az AI-ágensek finomhangolását, kiértékelését és kiadásvezérlését egyetlen zárt hurkú folyamatba integrálja – a szerzők nem lektorált kutatási munkában mutatják be. Öt gyártási szcenárión tesztelve a LoRA-SFT csak szerény javulást ért el (pontszám +0,0098, megfelelési arány +0,024), és csupán 3 az 5 tételből javult; a GRPO magas KL-kockázatot mutatott. Az alkalmazáslánc-visszajátszás szerint RAG-orientált adapterrel javulnak a kulcsmezők és a bizonyítékillesztés, de nő a késleltetés. A szerzők amellett érvelnek, hogy az utótréninget integrált ciklusként kell kezelni, nem egyetlen offline metrika alapján.