Benchmark-tolmács · Kódolás
SWE-bench Verified
Valódi GitHub-hibajegyek alapján méri, hogy egy kódoló ügynök képes-e működő javítást készíteni meglévő Python-projektekben.
Más néven: SWEbench Verified, SWE-bench_Verified
Mit mér valójában?
A pontszám mögötti képesség
A rendszer egy valódi kódbázist és hibajegyet kap, majd olyan javítást kell készítenie, amely átmegy a repository tesztjein. A Verified változat 500, szoftvermérnökök által megoldhatónak ellenőrzött feladatot tartalmaz.
Ez nem pusztán kódkiegészítés: a pontszámot a modell mellett az ügynöki keret, a fájlkeresés, a parancsfuttatás, a hibakeresési stratégia és a rendelkezésre álló számítási keret együtt alakítja.
Mit nem mér?
Amit ebből a számból nem tudunk
Nem méri általában a szoftvermérnöki munkát: a követelmények tisztázását, az új rendszertervezést, a kódreview-t, a biztonságot, a hosszú távú karbantarthatóságot vagy a csapatmunkát. A feladatok főként nyílt forrású Python-repositorykból származnak.
A teszteken átmenő patch sem feltétlenül a legjobb vagy legbiztonságosabb javítás, és a modell pontszáma nem választható le az agent implementációjáról.
Mennyire friss?
Korosodó
A valós repositoryk miatt gyakorlatiasabb sok régi kódtesztnél, de a Verified feladatai rögzítettek és széles körben használtak. A futtatókörnyezetet és a harness hibáit időközben javítják, ezért a dátum nélküli eredmény nem elég pontos.
Megjelenés: 2024. aug. 13. Adat-időmetszet: 2024-es, 500 feladatos Verified készlet; a harness verziója külön számít
Lehet-e adatszivárgás?
Magas kockázat
A hibajegyek, repositoryk és később a megoldások is nyilvános GitHub-adatokból származnak. Egy modell előtanítása, finomhangolása vagy agentjének visszakeresése találkozhatott velük. A tiszta összevetéshez a fejlesztőknek közölniük kell az adatszűrést, a hozzáférhető internetet és a benchmark-specifikus hangolást.
Jelent-e bármit a hétköznapokban?
Részleges kapcsolat
Kódkarbantartási feladatoknál az egyik hasznosabb külső jel, mert valódi projekten, végrehajtható tesztekkel mér. Ettől még nem garantál jó teljesítményt a te nyelveden, repositorydon vagy fejlesztői környezetedben; saját, vak hibajegyekkel végzett próba továbbra is fontos.
Hírek, amelyekben ez a benchmark szerepel
-
Az NVIDIA nyílt forráskódú NOOA ügynökkeretet mutatott be
Az NVIDIA Labs technikai blogján jelentette be a NOOA (NVIDIA Labs Object-Oriented Agents) nevű, nyílt forráskódú, objektumorientált AI-ügynökkeretet. A vállalat közlése szerint a rendszer minden ügynököt egyetlen Python osztályként kezel, ahol a metódusok a képességeket, a mezők az állapotot, a docstringek pedig a promptokat testesítik meg, a típusannotációk pedig kikényszerített szerződésként működnek. A keretrendszer típusos, kapcsolati memóriát tart fenn egy emberi szemmel is olvasható SQLite-adatbázisban, ami az NVIDIA szerint feleslegessé teszi a kontextus-tömörítést. A cég állítása alapján a NOOA a SWE-bench Verified, a CyberGym L1 és az ARC-AGI-3 benchmarkokon jobb pontosságot és alacsonyabb tokenköltséget ér el a korábbi keretrendszerekhez képest, a kódot és kiértékeléseket pedig nyilvánosan elérhetővé tették.
-
Kódoló LLM-ek nem értik a szoftverek futási viselkedését – új értékelési keretrendszer mutatja a hiányosságokat
Egy nem lektorált kutatási tanulmány új megközelítést javasol a kódgeneráló nagy nyelvi modellek értékeléséhez: a szerzők a tesztkimenet és a hibaosztályok előrejelzése mellett a csúcsmemória-használat, a valós futási idő és a profilozó által rangsorolt metódus- és sorszintű erőforrás-fogyasztás becslését is vizsgálják. Az adatok forrásául a SWE-bench Verified benchmarkot használták, hogy az értékelés közel álljon a valós szoftvermérnöki feladatokhoz. A szerzők állítása szerint valamennyi tesztelt modell – beleértve az élvonalbeli rendszereket is – csak szerény teljesítményt mutatott és törékeny viselkedést tanúsított ezeken a feladatokon. Ez arra utal, hogy a jelenlegi LLM-ek a forráskód írásában jóval erősebbek, mint annak megértésében, hogyan viselkedik a szoftver futás közben, vagyis hiányzik belőlük egy implicit szoftver-világmodell.
