2026. június 28., vasárnap · Kutatás

Eszközökkel kiegészített LLM-ágensek teljesítménye valós energiapiaci elemzési feladatokon

Egy új, az arXiv-on megjelent preprint empirikus vizsgálatot mutat be arról, hogyan teljesítenek eszközökkel (API-k, adatbázisok, optimalizálási modellek) felszerelt nagy nyelvi modell (LLM) alapú ágensek valós energiapiaci elemzési feladatokon. A kutatók 243, szakértők által összeállított feladatot hoztak létre három kategóriában: piaci adatlekérés és elemzés, szabályozási tudás visszakeresése, valamint haladó kvantitatív modellezés és döntéstámogatás. Az értékelés többdimenziós protokollt alkalmaz, amely a megközelítés helyességét, a válasz pontosságát, az attribútum-illeszkedést és a forrásérvényességet is méri. A szerzők zárt és nyílt forráskódú LLM-eket egyaránt teszteltek, vizsgálva a modellképesség és a szakterületi eszköztár kölcsönhatását. Az eredmények és az eszközök nyilvánosan elérhetők a reprodukálhatóság érdekében.

Miért fontos?

Az energiaszektorban elsőként kínál átfogó, valós adatokon alapuló benchmarkot az LLM-ágensek szakterületi teljesítményének mérésére.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #LLM-ágensek#energiapiac

Napi összefoglaló

Ez a hír a 2026. június 28., vasárnap napi AI összefoglaló része.

Kapcsolódó hírek

AISE-Bench: új benchmark az akadémiai tudásgráfokon végzett többlépéses információkeresés értékelésére

Az AISE-Bench egy 1133 kérdés-válasz párból álló, valós felhasználói szándékokra épülő benchmark, amely akadémiai tudásgráfokon teszteli a nagy nyelvi modellek eszközhasználó ágensként való működését. A még nem lektorált kutatás szerint a rendszer teljes munkafolyamatot fed le: lekérdezés-tervezés, API-hívások végrehajtása, paraméterek kitöltése, hivatkozásokkal alátámasztott válaszok generálása és átfogó kiértékelés. A szerzők 14 módszert hasonlítottak össze, és azt találták, hogy még a legjobban teljesítő megközelítés (a Gemini-3-Pro-val működő PLAY2PROMPT) is csak közepes eredményt ért el, különösen az API-tervezés és -végrehajtás terén küzdött nehézségekkel. Az AISE-Bench célja, hogy megbízható tesztágyat biztosítson a többlépéses, nyomon követhető érvelést igénylő LLM-ágensek fejlesztéséhez és összehasonlításához. A kód és az adatok nyilvánosan elérhetők.

Az automatikus harness-evolúció hatékonyságát kérdőjelezi meg egy új értékelési keretrendszer

Kutatók felülvizsgálták az LLM-ágensekhez használt automatikus harness-evolúció értékelési módszertanát egy még nem lektorált tanulmányban. A szerzők két alapvető problémát azonosítanak: egyrészt a harness-evolúció iteratív keresési folyamat, amelyet azonos visszacsatolási és inferencia-költségvetés mellett egyszerű keresési alapvonalakkal kellene összehasonlítani; másrészt a keresés és a végső kiértékelés ugyanazon a benchmarkon zajlik, ami túlillesztési kockázatot jelent. A Terminal-Bench 2.1 benchmarkon GPT-5.4 és Claude Opus 4.6 modellekkel végzett kísérleteik szerint az automatikus harness-evolúció nem múlja felül következetesen az egyszerű tesztelési idejű skálázási módszereket, és korlátozott az általánosítóképessége tartott (held-out) feladatokon. A szerzők tisztességesebb értékelési protokollok és benchmarkok kialakítását szorgalmazzák az automatikus harness-tervezéshez.

SolarChain-Eval: fizikai korlátokkal teszteli az AI-ügynökök megbízhatóságát a decentralizált energiapiacokon

A SolarChain-Eval egy új, nyílt forráskódú benchmark keretrendszer, amely decentralizált energiapiaci környezetben értékeli az autonóm AI-ügynökök megbízhatóságát – a szerzők nem lektorált preprintben mutatják be. A rendszer Gymnasium-kompatibilis Markov-döntési folyamatként modellezi a piacirányítást, és több dimenzió mentén pontozza az ügynököket: piaci hasznosság, fizikai biztonság, csúszás, döntési simaság, térbeli méltányosság és auditálhatóság. Az LLM-alapú Tervező/Auditor réteg felügyeli és naplózza a kockázatos döntéseket. A kísérletek szerint a megerősítéses tanulással (RL) működő ügynökök javítják a piaci hasznosságot, de fizikai korlátok nélkül érvénytelen termelési adatokat használhatnak ki és mesterséges likviditást hozhatnak létre. Az LLM-auditor javítja az átláthatóságot, de a szerzők szerint nem képes teljes mértékben kompenzálni a rosszul specifikált jutalomfüggvényt.

Új módszerek az AI-ágensek hallucinációjának csökkentésére és hatékonyabb tanítására

Két egymást kiegészítő, nem lektorált kutatás foglalkozik az AI-ágensek megbízhatóságával. A GILP (Grounded Iterative Language Planning) nevű megközelítés egy kisméretű, tanított világmodellt kombinál LLM-alapú tervezéssel: a betanított modell ellenőrzi az LLM által javasolt lépéseket, és inkonzisztencia esetén revíziót kér. A szerzők szerint GPT-4o-mini hívásokon a hallucinált állapotváltozások aránya 0,176-ról 0,035-re csökkent, míg a sikerráta kalibrált szimulációkban 0,668-ról 0,838-ra nőtt, mindössze ~22%-kal több LLM-hívás árán. Az ATOD nevű módszer pedig a kis nyelvi modellek többlépéses feladatokra való tanítását javítja: az on-policy desztilláció és a megerősítéses tanulás fokozatos keverésével a tanármodellt is felülmúló teljesítményt ért el az ALFWorld, WebShop és Search-QA benchmarkokon – a szerzők állítása szerint átlagosan 2,16 százalékponttal.