2026. július 31., péntek · Kutatás

LivingArena: nyelvi modellek egymást tesztelik, hogy kiderüljenek gyengeségeik

Kutatók egy nem lektorált arXiv-tanulmányban bemutatják a LivingArena nevű értékelési keretrendszert, amely a nyelvi modellek egymás közti tesztelésén alapul. A módszer szerint a modellek felváltva tesznek fel kérdéseket egymásnak azzal a céllal, hogy olyan feladatot találjanak, amit az ellenfél nem tud megválaszolni; a kérdező akkor kap jutalmat, ha a másik modell hibázik, a válaszadó pedig akkor, ha helyesen felel. Egy erős modellekből álló bírálóbizottság ellenőrzi, hogy a kérdéseknek objektíven igazolható válaszuk van-e. A szerzők tíz élvonalbeli nyelvi modell tesztelésével stabil Elo-ranglistát állítottak elő, és megfigyelésük szerint a modellek felismerik és célzottan kihasználják egymás gyenge pontjait. A módszer csak gyengén korrelál az emberi preferenciákkal, de olcsó, skálázható folyamatos értékelést kínálhat.

Miért fontos?

A módszer megoldást kínálhat a statikus benchmarkok szennyeződésének és telítődésének problémájára a nyelvi modellek értékelésében.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #LLM-értékelés#benchmarkolás

Napi összefoglaló

Ez a hír a 2026. július 31., péntek napi AI összefoglaló része.

Kapcsolódó hírek

Orvosi mesterséges intelligencia biztonságosságát torzítja az értékelő személye – hiányzó információ mellett

Egy nem lektorált kutatás négy nagy nyelvi modell (Claude Opus 4.8, GPT-5.5, Grok 4.3 és Gemini 3.5 Flash) orvosi biztonságosságát vizsgálta nyílt végű klinikai beszélgetésekben, ahol szándékosan hiányos információt kaptak a modellek. A szerzők szerint az értékelő megválasztása érdemben befolyásolja az eredményt: a négy LLM-bíró közötti egyezés csak közepes (Fleiss-kappa 0,65), és kimutatható pozitív torzítás, ha egy modellt saját szolgáltatójának bírája értékel. Az LLM-bírák ráadásul szignifikánsan engedékenyebbek voltak, mint a vakított klinikai szakértők: 66–84%-ban ismerték el a megfelelő bizonytalanságot, szemben a klinikus 52%-ával. A kutatók hangsúlyozzák, hogy a biztonsági rés nem tudáshiányból, hanem a kalibrációból ered, amit egy zárt végű MedQA-teszttel is alátámasztanak. A csoport a teljes tesztkeretrendszert, promptokat és annotációs protokollt nyilvánosan elérhetővé tette.

Klinikai LLM-ek nem a tudásukon véreznek el, hanem az aktív információkeresés szisztematikus kudarcán

Egy nem lektorált kutatás 32 élvonalbeli nagy nyelvi modellt tesztelt hematológiai onkológiai eseteken, ahol a modelleknek három körben kellett aktívan klinikai adatokat kérniük diagnózis előtt. A legjobb modell is csak 68%-os pontosságot ért el. A szerzők szerint a diagnosztikai pontosság legerősebb előrejelzője az információ-felhasználási arány volt (R=0,69), amely az utolsó körre 57%-ról 26%-ra esett, így kezelésválasztáshoz kritikus molekuláris adatok feltáratlanok maradtak. A gondolkodási láncolatok magas klinikai minőséget mutattak (91%), de ez nem korrelált a végső pontossággal. A hibaelemzés a kezdő klinikusokra jellemző kognitív torzításokat – horgonyzást, idő előtti lezárást – azonosította fő hibamódként.

Kutatók: alapvető, javíthatatlan biztonsági hiba lehet az LLM-ekben

Egy kutatócsoport az ICML konferencián bemutatott tanulmányában azt állítja, hogy a nagy nyelvi modellek működésének egy alapvető sajátossága miatt lehetetlen teljesen biztonságossá tenni őket. A szerzők szerint a probléma abban rejlik, ahogyan az LLM-ek megkülönböztetik, ki vagy mi ad nekik utasítást: ha a kérést a modell belső „gondolatmenetét” utánzó stílusban fogalmazzák meg, a rendszer könnyen azt hiheti, hogy saját ötletéről van szó, és végrehajtja a tiltott utasítást. Ezzel a módszerrel állításuk szerint sikerült népszerű modelleket rávenni tiltott információ kiadására, például kokainszintézisre vagy repülőgép navigációjának szabotálására. A társszerzők szerint a jelenlegi tiltólista-alapú védelem és a red-teaming elvi okokból soha nem lehet teljes.

HOBA: háromszintű AI-ügynök az online hirdetési licitálásra

Kutatók egy nem lektorált arXiv-preprintben mutatták be a HOBA nevű keretrendszert, amely három időskálán osztja szét az online hirdetési licitálás feladatait. A legfelső szinten egy nagy nyelvi modell következteti ki a hiperparamétereket kontextuális jelek alapján, középső szinten egy SARSA-ügynök választ a szakértői modellek közül torzításmentesítő korrekcióval, az alsó szinten pedig hagyományos módszerek (PID, MPC, IQL, Decision Transformer) végzik a tényleges licitet. A szerzők állítása szerint ez csökkenti az online tanulás kockázatát, mert csak a diszkrét modellválasztást hangolja folyamatosan. Az AuctionNet benchmarkon és egy nagyszabású A/B teszten mért eredmények alapján a HOBA bevetése 3,6 százalékos növekedést hozott a célköltség-metrikában a korábbi módszerekhez képest, saját méréseik szerint.