2026. július 31., péntek · Kutatás

Kutatók egy nem lektorált arXiv-tanulmányban bemutatják a LivingArena nevű értékelési keretrendszert, amely a nyelvi modellek egymás közti tesztelésén alapul. A módszer szerint a modellek felváltva tesznek fel kérdéseket egymásnak azzal a céllal, hogy olyan feladatot találjanak, amit az ellenfél nem tud megválaszolni; a kérdező akkor kap jutalmat, ha a másik modell hibázik, a válaszadó pedig akkor, ha helyesen felel. Egy erős modellekből álló bírálóbizottság ellenőrzi, hogy a kérdéseknek objektíven igazolható válaszuk van-e. A szerzők tíz élvonalbeli nyelvi modell tesztelésével stabil Elo-ranglistát állítottak elő, és megfigyelésük szerint a modellek felismerik és célzottan kihasználják egymás gyenge pontjait. A módszer csak gyengén korrelál az emberi preferenciákkal, de olcsó, skálázható folyamatos értékelést kínálhat.