2026. július 25., szombat · Kutatás

DFAH-Bench: az AI-ügynökök pénzügyi döntéshozatalának viselkedési instabilitását mérő új benchmark

A DFAH-Bench nevű, nem lektorált kutatásban bemutatott benchmark-keretrendszer az AI-ügynökök viselkedési stabilitását méri pénzügyi feladatokban – nem csupán a végső döntést, hanem az odavezető eszközhasználati útvonalat is vizsgálja. A szerzők 8127 visszajátszási epizódot elemeztek 10 modellen és 3 feladaton: az élvonalbeli modellek 95%-os döntésegyezés mellett csupán 77%-ban követték ugyanazt az eszközútvonalat, ami 18 százalékpontos rejtett eltérést jelent. Három viselkedési profilt azonosítottak: mintaillesztőket, stabil végrehajtókat és trajektória-divergenseket, amelyek eltérő utakon jutnak azonos következtetésre.

Miért fontos?

A benchmark rámutat, hogy az eredményegyezés önmagában félrevezető képet ad az AI-ügynökök döntési stabilitásáról, ami pénzügyi alkalmazásoknál különösen kockázatos.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #AI-benchmark#pénzügyi döntéshozatal

Napi összefoglaló

Ez a hír a 2026. július 25., szombat napi AI összefoglaló része.

Kapcsolódó hírek

AISE-Bench: új benchmark az akadémiai tudásgráfokon végzett többlépéses információkeresés értékelésére

Az AISE-Bench egy 1133 kérdés-válasz párból álló, valós felhasználói szándékokra épülő benchmark, amely akadémiai tudásgráfokon teszteli a nagy nyelvi modellek eszközhasználó ágensként való működését. A még nem lektorált kutatás szerint a rendszer teljes munkafolyamatot fed le: lekérdezés-tervezés, API-hívások végrehajtása, paraméterek kitöltése, hivatkozásokkal alátámasztott válaszok generálása és átfogó kiértékelés. A szerzők 14 módszert hasonlítottak össze, és azt találták, hogy még a legjobban teljesítő megközelítés (a Gemini-3-Pro-val működő PLAY2PROMPT) is csak közepes eredményt ért el, különösen az API-tervezés és -végrehajtás terén küzdött nehézségekkel. Az AISE-Bench célja, hogy megbízható tesztágyat biztosítson a többlépéses, nyomon követhető érvelést igénylő LLM-ágensek fejlesztéséhez és összehasonlításához. A kód és az adatok nyilvánosan elérhetők.

32 mesterséges intelligencia alapmodell összehasonlítása a digitális patológiában – átfogó benchmark a Nature Communicationsben

A Nature Communicationsben megjelent (még szerkesztés előtti) tanulmány 32 mesterséges intelligencia alapmodellt hasonlít össze a számítógépes patológia területén. A kutatók négy kategóriát vizsgáltak: általános látásmodellek, általános látás-nyelvi modellek, patológia-specifikus látásmodellek és patológia-specifikus látás-nyelvi modellek. A TCGA, CPTAC és további külső adathalmazokon végzett tesztek szerint a patológia-specifikus látásmodellek következetesen a legjobban teljesítők közé tartoznak, és felülmúlják a patológia-specifikus látás-nyelvi modelleket. A szerzők rámutatnak, hogy a modellméret és az előtanító adathalmaz nagysága nem jósolja meg megbízhatóan a végső teljesítményt, míg a késői döntési szintű együttes alkalmazás javítja az összesített eredményeket. Az eredmények nyilvánosan elérhetők a PathBench felületen.

CANN Bench: nyílt benchmark AI által generált operátorkernelekhez Huawei Ascend NPU-n

Kutatók bemutatták a CANN Bench nevű nyílt benchmarkot, amely AI-ágensek által írt, alacsony szintű operátorkerneleket értékel Huawei Ascend NPU hardveren. A nem lektorált preprint szerint a benchmark 53 operátort és 1060 tesztesetet tartalmaz négy nehézségi szinten – egyszerű primitívektől a FlashAttention kernelekig –, FP16, BF16, FP32 és INT8 formátumokban. Az értékelés három dimenzió – fordíthatóság, funkcionális helyesség és teljesítmény – súlyozott pontszámán alapul, valós NPU-hardveren mért analitikus teljesítménykorláthoz viszonyítva. A szerzők szerint a módszer ellenáll a jutalom-manipulációnak, és hosszú távú közösségi fejlesztésre tervezett, pótolva a CUDA-centrikus benchmarkok hiányosságait.

FORCE-Bench: új mérce az ágens MI-rendszerek vállalati pénzügyi értékelésére

Kutatók egy nem lektorált tanulmányban mutatták be a FORCE-Bench értékelési keretrendszert, amely 251 szakértő által annotált lekérdezéssel méri az ágens MI-rendszerek teljesítményét vállalati pénzügyi munkafolyamatokban. A benchmark nyolc dimenzióban – többek között pontosság, hivatkozások, megalapozottság és naprakészség – értékel három feladattípust: ERP-alapú kötelezettségkutatást, nyilvános jelentéseken alapuló entitáselemzést és többforrásos üzleti összefoglalók készítését. A szerzők állítása szerint az általános célú ágens rendszerek valós üzemeltetési korlátok mellett nem teljesítik megbízhatóan a pénzügyi minőségi elvárásokat, míg a Microsoft 365 Copilothoz épített célzott ágens stabilabb eredményeket mutat. Az adatkészletet és a kódot nyílt forráskódúként teszik elérhetővé.