2026. szeptember 24., csütörtök · Kutatás

SWE-Serve: új benchmark leplezi le az AI kódügynökök gyengéit élő szerverkörnyezetben

Az NVIDIA technikai blogja bemutatta a SWE-Serve nevű benchmarkot, amely 53 feladaton, a nyílt forráskódú SGLang inferencia-kiszolgáló 83 összevont pull requestjéből származó módosításokon méri az AI kódolóügynökök teljesítményét hat területen: modellbetöltés, dekódolás, gyorsítótárazás, ütemezés, kiszolgáló API-k és elosztott futtatás. A 19, élő szervert is elindító feladatnál a javítások 69,4%-ban mentek át, ha az élő kiszolgálási teszteket kihagyták, de csak 45,9%-ban a teljes ellenőrzéssel, vagyis minden harmadik, más teszteken átment javítás elbukott valós terhelés mellett. A több futásidejű területet érintő feladatoknál a sikerarány 21,3 százalékponttal alacsonyabb volt, mint az egy területre koncentráló feladatoknál, ez a jelenség minden tesztelt modellnél megjelent. Tizenegy modellt vizsgáltak a mini-swe-agent keretrendszerrel zárt könyves módban, a pass@1 mutató 34,6% és 75,5% között szórt.

Miért fontos?

A benchmarkot a SGLang fejlesztőcsapat bevonásával készítették, ami arra utal, hogy a jelenlegi kódügynök-tesztek felülbecsülhetik a modellek megbízhatóságát valós, éles inferencia-szerverek üzemeltetésénél.

Források

NVIDIA Technical Blog Hivatalos

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #SWE-Serve#SGLang

Napi összefoglaló

Ez a hír a 2026. szeptember 24., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

OpenAI matematikai tanácsadó testületet állít fel AI-vita közepette

Az OpenAI hétfőn bejelentette az Institute for Advanced Study (Princeton) keretében működő Advisory Group on Mathematics and Artificial Intelligence nevű független tanácsadó csoportot. A lépés azután történt, hogy a cég közzétette a Navier–Stokes-egyenletre vonatkozó Millenniumi-díj-probléma állítólagos megoldását, és bejelentése szerint ugyanaz a belső modell mindössze egy hónapos betanítás – augusztus 28-tól számítva – alatt több mint száz további, régóta megoldatlan matematikai problémát oldott meg. Ezt az állítást egyelőre nem erősítette meg független szakértői ellenőrzés. A bejelentésre azután került sor, hogy 25 Fields-érmes matematikus nyílt levélben bírálta az AI-laborokat, amiért versengve, kellő ellenőrzés nélkül publikálnak matematikai „áttöréseket”. A kilenctagú testület, köztük Timothy Gowers Fields-érmes matematikussal, tanácsot adhat az eredmények közzétételéről, de az OpenAI és az IAS is leszögezte: a kutatás ütemébe nem szólhat bele, és döntési joga sincs.

Robotkarok ritkán tagadják meg a veszélyes parancsokat egy új biztonsági teszten

A Robocurve kutatói egy új RoboHarm nevű benchmarkban tesztelték, hogy vezető AI-modellek megtagadják-e a veszélyes utasításokat robotkarok vezérlésekor. Az OpenAI GPT-6 Astra, az Anthropic Claude Fable 5.1 és az Ai2 MolmoAct2 modelleket öt olyan feladatra kérték, amelyeket egy biztonságos rendszernek mindig vissza kellene utasítania, köztük egy babát kés közelében megszúrni, sűrített levegős dobozt égő tűzhelyre tenni, illetve fehérítőt ammóniával keverni. A GPT-6 Astra 100 próbálkozásból 60 veszélyes feladatot teljesített, és csak kétszer utasított vissza parancsot; a babát 20-ból 17-szer szúrta meg. A Claude Fable minden bababal kapcsolatos kérést megtagadott, de a másik négy feladattípusnál egyszer sem, összesen 34 veszélyes akciót hajtott végre. A MolmoAct2 sosem tagadott meg utasítást, de 100-ból csak hatot teljesített sikeresen, mert gyakran egyszerűen lefagyott, ami nem jelent biztonságosságot, csak működésképtelenséget.

ScientistTwo: önállóan kutató és publikáló AI-rendszer preprintje

Egy kutatócsapat bemutatta a ScientistTwo nevű, több AI-ügynökből álló keretrendszert, amely a fejlesztők állítása szerint emberi beavatkozás nélkül képes végigvinni egy tudományos felfedezési ciklust: hipotézist állít fel, kísérleteket futtat, ablációs vizsgálatokkal finomítja a módszert, majd egy szimulált, AI-alapú bírálati-válaszadási folyamattal ellenőrzi az eredményt. A szerzők a rendszert olyan cikkekhez hasonlították, amelyeket korábban elfogadtak az ICLR, ICML és NeurIPS konferenciákon, és azt közlik, hogy a ScientistTwo által generált, futtatható kóddal ellátott tanulmányok automatizált AI-bírálók pontozásában átlagosan magasabb értékelést kaptak, mint az emberi szerzők cikkei. Fontos hangsúlyozni, hogy ez egy arXiv-preprint, tehát az eredmények még nem mentek át független emberi szakmai lektoráláson. A szerzők a rendszert nem puszta segédeszköznek, hanem önálló „tudományos felfedezőnek” nevezik, ez azonban a saját minősítésük, nem külső validáció.

Új benchmark: LLM-ek megbízhatatlanok autós hangparancsok engedélyezésénél

Kutatók egy 202 forgatókönyvből álló benchmarkot dolgoztak ki, amely azt méri, mennyire biztonságosan döntenek a nagy nyelvi modellek (LLM) autós hangasszisztensek parancsainak kezeléséről – végrehajtás, elutasítás, visszaigazolás vagy manuális vezérlés között. A nem lektorált arXiv-preprint szerint a Gemini 3.1 Pro Preview érte el a legjobb, 89,1%-os egyezést a referenciadöntésekkel, míg a Llama 3.2 3B csak 40,1%-ot; a három API-alapú modell 83,2-89,1% között teljesített, szignifikáns különbség nélkül. Még a legjobb modellek is 2-3 hamis végrehajtást produkáltak a 161 nem-végrehajtási esetből, és a visszaigazolási döntéseknél tartós hibák maradtak. A szerzők szerint a strukturált LLM-döntések önmagukban nem elégségesek, független érvényesítési rétegre van szükség a valós autós beépítéshez.