2026. október 12., hétfő · Kutatás

Kutatás: az AI-ügynökcsapatok alig jobbak, mint az önálló modellek

A Vals AI benchmarkja szerint az AI-ügynökcsapatok alig jobbak, mint az önálló ügynökök, miközben sokkal drágábbak. A cég a GPT-6 Sol és a Claude Opus 5.5 modelleket tesztelte a Vibe Code Bench feladatsoron, egyedül és csapatban, közepes és maximális következtetési szinten. A csapatos megoldás 1,8-5,1-szer többe került, de a négy összehasonlításból csak egy mutatott statisztikailag szignifikáns javulást: a GPT-6 Sol közepes szinten 7,3 ponttal jobb lett csapatban. Maximális következtetési erőforrásnál egyik modellnél sem jelentett előnyt a csapat. Az Anthropic saját tesztjei hasonlót mutattak: az Opus 5.5 tudásbázis-pontszáma 0,53-ról 0,74-re nőtt 1-ről 100 ügynökre váltva, de a javulás 10 ügynök után erősen lelassult. Noam Brown OpenAI-kutató a Dwarkesh Podcastben megerősítette: a több ügynökös rendszerek főleg sebességet hoznak, nem minőséget – négy ügynök kétszer gyorsabban dolgozott, de kétszer annyiba is került.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A kutatás gyakorlati tétje, hogy a vállalatok feleslegesen pazarolhatják a számítási kapacitást ügynökcsapatokra, miközben Brown szerint csak bizonyos feladatok, például a webes kutatás vagy a matematika párhuzamosíthatók jól, egy regény megírása viszont nem.

Források

The Decoder

Kapcsolódó témák

Napi összefoglalók AI kutatás #AI ügynökcsapatok#Vals AI benchmark

Napi összefoglaló

Ez a hír a 2026. október 12., hétfő napi AI összefoglaló része.

Kapcsolódó hírek

Kutatók: nyelvi modellek saját kontextusukat kezelhetik

A Meta, az MIT és a University of Washington kutatói egy új módszert, a Context Language Models (CLM) nevű megközelítést mutatták be, amelyben a nyelvi modell a saját kontextusát szabadon szerkeszthető fájlként kezelheti, nem pedig előre rögzített szabályok szerint tömöríti vagy hívja le az adatokat. A kutatók szerint ez kiküszöbölheti a hagyományos módszerek – összefoglalás, tömörítés, külső memória – ismert hátrányait, mint az információvesztés vagy a merev szabályrendszer. A csapat háromféle megközelítést tesztelt: tanítás nélküli (zero-shot), kontextusban tanuló és megerősítéses tanulásos módszert, és beszámolójuk szerint mindháromban érdemi teljesítmény- és számításiköltség-javulást mértek. A kutatók azt is kiemelik, hogy a CLM-ek olyan kontextuskezelési stratégiákat is kialakíthatnak, amelyek túlmutatnak az eddigi, emberek által tervezett megoldásokon – ez egyelőre kutatási eredmény, nem kész termék.

Harvard-kutatás: az AI kódolóügynökök több kódot, de nem több szoftvert termelnek

A Harvard Egyetem kutatói, Fiona Chen és James Stratton, 700 szoftverfejlesztő cég és több mint 700 000 alkalmazott Jellyfish-adatai alapján (2021 és 2026 márciusa között, 300 millió munkaesemény elemzésével) vizsgálták az AI kódoló eszközök hatását. Eredményük szerint az AI kódolóügynökök bevezetése után a cégeknél 30 százalékkal nőtt a legenerált kódsorok száma, 20 százalékkal a commitok, 23 százalékkal pedig a pull requestek száma. Ennek ellenére a kutatók szerint alig van bizonyíték arra, hogy a cégek tényleges szoftverkibocsátása nőtt vagy a létszámuk csökkent volna, mert a nyereséget elnyeli az emberi kódellenőrzés „szűk keresztmetszete”: a review folyamat meghosszabbodik, több átdolgozásra van szükség, és a review-k alatt több megjegyzés születik. A tanulmány így azt sugallja, hogy a kódgenerálás gyorsulása önmagában nem alakítja át a szoftverfejlesztés végső kimenetét.

Az Ai2 új GPU-ütemezőt vezetett be kutatási klasztereihez

Az Ai2 mesterséges intelligencia infrastruktúra csapata blogbejegyzésben mutatta be, hogyan váltotta fel a korábbi prioritás-alapú GPU-ütemezőjét egy új rendszerre, amely GPU-időkereteket, hierarchikus igazságos elosztást és időszeletelési szerződést alkalmaz. A cég állítása szerint ezzel a kutatási projektek GPU-időigényéről szóló vitát eseti operatív döntésből átlátható adminisztratív költségvetés-tervezéssé alakították. Az Ai2 több ezer NVIDIA H100, B200 és B300 GPU-t üzemeltet, 88-1024 GPU-s klaszterekbe rendezve, és mintegy 150 belső kutatót szolgál ki különféle AI-területeken, LLM- és VLM-tréningtől a robotikai megerősítéses tanulásig. A vállalat szerint a kereslet jellemzően 2-3-szorosa a rendelkezésre álló kapacitásnak, és a régi rendszer olyan torzulásokhoz vezetett, mint a GPU-„foglalgatás”, amikor kutatók üresjáratú munkákat parkoltattak le, hogy szükség esetén gyorsan hozzáférjenek erőforráshoz.

Egyetlen üzenettel feltörhető volt egy teljes AWS AI-ügynök-flotta

A Zenity Labs biztonsági kutatói sebezhetőség-láncot találtak Amazon Bedrock AgentCore platformján, amelyet „AgentCorruption” néven neveztek el. A kutatók szerint elég volt egyetlen chatüzenetet küldeni egy nyilvánosan elérhető AI-ügynöknek ahhoz, hogy átvegyék az irányítást az adott AWS-fiók és régió összes AgentCore-ügynöke felett. A probléma gyökere, hogy az ügynökök nem voltak megfelelően elszigetelve, és felszólításra kiadták az AWS belső metaadat-szolgáltatásától (169.254.169.254) kapott ideiglenes hitelesítő adataikat, amelyekkel a kutatók állítása szerint forráskódhoz, jelszavakhoz, privát beszélgetésekhez és más ügynökök memóriájához is hozzáfértek. Az ellopott hitelesítő adatok a kutatók szerint saját gépükről is működtek. Az AWS részlegesen javította a hibát a metaadat-hozzáférés szigorításával és az alapértelmezett végrehajtási szerepkör korlátozásával, a Zenity emellett szigorúbb, minimális jogosultságú szerepkörök manuális beállítását javasolja a vállalatoknak.