Benchmark-tolmács · Matematika és tudomány
GPQA Diamond
Szakértők által írt, doktori szintű biológiai, fizikai és kémiai feleletválasztós kérdéseken méri a nehéz tudományos következtetést.
Más néven: GPQA-Diamond, Graduate-Level Google-Proof Q&A Diamond
Mit mér valójában?
A pontszám mögötti képesség
A GPQA azt vizsgálja, hogy a modell képes-e nehéz, szakterületi tudást és több lépéses következtetést igénylő biológiai, fizikai és kémiai kérdésekre válaszolni. A gyakran idézett Diamond részhalmaz a szerzők minőségszűrése szerint a legegyértelműbb tételeket emeli ki.
A teszt szándékosan nehéz nem szakértő embereknek is, ezért inkább a tudományos feladatmegoldás határát, mint az általános műveltséget jelzi.
Mit nem mér?
Amit ebből a számból nem tudunk
Nem méri a kutatás teljes folyamatát: a szakirodalom keresését, a kísérlettervezést, az adatelemzést, a bizonyítékok forrásolását vagy új tudományos eredmény létrehozását. Három természettudományra és feleletválasztós válaszokra korlátozódik.
Egy jó válasz nem bizonyítja, hogy a modell megbízhatóan indokol, és az eltérő gondolkodási tokenkeret miatt két közölt pontszám nem feltétlenül azonos feltételű.
Mennyire friss?
Korosodó
A nehézsége miatt továbbra is használható, de a teljes készlet nyilvános, és 2023 óta sok modellfejlesztési ciklus hivatkozási alapja. A friss eredményeknél a pontos részhalmazt, a promptot és az eszközhasználatot is ellenőrizni kell.
Megjelenés: 2023. nov. 20. Adat-időmetszet: 2023-ban publikált, rögzített kérdéskészlet
Lehet-e adatszivárgás?
Magas kockázat
A publikált kérdések hozzáférhetők, ezért a később tanított vagy benchmarkra hangolt modelleknél fennáll a közvetlen vagy közvetett adatszivárgás veszélye. A „Google-proof” elnevezés az emberi keresési nehézségre utal, nem arra, hogy a tanítóadat-szivárgás lehetetlen.
Jelent-e bármit a hétköznapokban?
Gyenge kapcsolat
A legtöbb felhasználó ritkán old meg doktori szintű természettudományos tesztkérdéseket. A pontszám jelezhet erős elemző képességet, de nem jó előrejelzője a levelezésnek, összefoglalásnak, magyar nyelvi minőségnek vagy a napi irodai munkának.