Benchmark-tolmács · Emberi preferencia
Chatbot Arena
Vak, páros emberi szavazásokból rangsorolja, melyik chatbot válaszát kedvelik jobban a felhasználók valós promptokon.
Más néven: LMArena, LMSYS Chatbot Arena, Arena Elo, Arena Score
Mit mér valójában?
A pontszám mögötti képesség
A felhasználó ugyanarra a saját promptra két névtelen modell válaszát látja, majd kiválasztja a jobbat vagy döntetlent jelöl. Sok ilyen páros összevetésből statisztikai rangsor készül, így a mérés a valós felhasználói preferenciát közelíti nyílt végű beszélgetésekben.
Az eredmény a modell adott kiszolgált változatát, a rendszerpromptot és a válaszgenerálási beállításokat együtt értékeli.
Mit nem mér?
Amit ebből a számból nem tudunk
Nem objektív tényhelyességi, biztonsági vagy munkafolyamat-teljesítési teszt. A szavazók gyakran nem tudják ellenőrizni a válasz igazságát, és előnybe kerülhet a kellemesebb stílus, a hosszabb válasz vagy az ismerős formázás.
Az összesített helyezés elfedheti a témánkénti különbségeket, és nem feltétlenül tükrözi a magyar nyelvű, vállalati vagy speciális szakmai használatot.
Mennyire friss?
Folyamatosan frissül
A mérés folyamatosan kap új promptokat, szavazatokat és modellverziókat, ezért frissebb lehet a rögzített teszteknél. Ugyanezért egy helyezés pillanatfelvétel: a dátum, a kategória, a szavazatszám és a bizonytalansági tartomány nélkül könnyű túlértelmezni.
Megjelenés: 2023. máj. 1. Adat-időmetszet: Folyamatosan érkező szavazatok; minden közlésnél dátum és kategória szükséges
Lehet-e adatszivárgás?
Alacsony kockázat
Nincs egyetlen előre közzétett, rögzített kérdéslista, amelyet egyszerűen be lehetne tanulni, ezért a hagyományos tesztadat-szivárgás kockázata alacsonyabb. Ettől még lehetséges a benchmarkra optimalizált stílus, a modellazonosítás vagy a szavazói és promptmintából eredő torzítás.
Jelent-e bármit a hétköznapokban?
Erős kapcsolat
Az általános chatbotélményhez közvetlenebb jel, mint sok vizsgateszt, mert emberek valós kéréseken választanak. Egyéni döntéshez mégsem elég: a saját nyelved, feladataid, áraik, sebességük, adatkezelésük és eszközeik alapján is próbáld ki a modelleket.