2026. augusztus 31., hétfő · Kutatás

Kutatás: az AI-kódolóügynökök nem érzik az idő múlását

Egy nem lektorált tanulmány, amelyet két független kutató készített a MATS kutatói program keretében, azt vizsgálta, mennyire tudják az AI-kódolóasszisztensek megbecsülni egy feladat elvégzéséhez szükséges időt. Az Anthropic Claude Code és az OpenAI Codex ügynökeit 200 feladaton (ProgramBench) és egy 18 tesztes saját csomagon tesztelték. Mindkét modell rendszeresen túlbecsülte az időigényt: a ProgramBench-en a nehézségtől függetlenül kb. 90 percet jósoltak, a második körben a Claude háromszor, a Codex hat-tízszer tévedett, főleg rövid feladatoknál. A futásidő a szoftverkörnyezettől is függött: a Claude Code addig dolgozik, amíg készen nem véli a feladatot, míg a Codex szinte mindig fél óra után leáll. Az ügynökök saját munkájukat is túlértékelték: az Opus 4.8 és a GPT-5.5 átlag 20 ponttal adott magának jobb jegyet, egy esetben 70 százalékos sikert állítva a valós 7-14,5 százalék helyett.

Miért fontos?

A vizsgálat szerint az AI-ügynökök megbízhatatlanul mérik fel saját idő- és teljesítményigényüket, ami kockázatot jelent hosszabb, önálló munkafolyamatoknál.

Források

The Decoder

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #Claude Code#OpenAI Codex

Napi összefoglaló

Ez a hír a 2026. augusztus 31., hétfő napi AI összefoglaló része.

Kapcsolódó hírek

LAION kiadta a 10 millió órás nyílt videó-adathalmazt AI-kutatáshoz

A LAION közzétette a Big Video Dataset (BVD) nevű gyűjteményt, amely a CommonCrawlben talált 1,3 milliárd videó-URL-ből építkezik. A csapat 80 millió videót töltött le, ez összesen 10 millió óra anyagot jelent, ebből 55 millió klipet vágtak ki automatikusan generált videó- és hangleírásokkal, valamint 300 millió állóképet nyertek ki. A kísérő, egyelőre nem lektorált tanulmány szerint a BVD-n tanított modellek a videó-szöveg benchmarkokon akár 2,1 százalékponttal jobban teljesítenek, mint az InternVid adathalmazon tanítottak, ezt egyelőre csak a LAION saját közleménye állítja. A szervezet a 2024-es hamburgi bírósági döntésre hivatkozva kizárólag nem kereskedelmi kutatási célra teszi elérhetővé az adatokat, és kéri a felhasználókat, hogy tartsák tiszteletben az eredeti tartalomkészítők jogait.

LLM-ekkel automatizált szakirodalmi áttekintés járványmodellekről

Egy nem lektorált, arXiv-on közzétett tanulmány szerint kutatók nagy nyelvi modellekre épülő feldolgozási láncot fejlesztettek 536, lektorált ágensalapú betegségterjedési modelleket bemutató cikk automatikus feldolgozására, majd az eredményeket emberi kutatók szisztematikus szakirodalmi áttekintésével vetették össze. A szerzők állítása szerint a GPT-4.1 cikkszintű pontossága mintegy 77,95%, a GPT-5.0-é 81,67% volt, míg mezőnkénti szinten a pontosság 32,40% és 100% között szórt, a bonyolultabb, szubjektívebb mezőknél megbízhatatlanabbul. A tanulmány szerint az LLM-ek közötti egyezés a kimenet minőségének jelzője lehet: alacsony egyezés hallucinációra, magas egyezés alacsony pontossággal párosulva pedig az emberi adathalmaz hibáira utalhat.

Szimbolikus szabályrendszer segítené az AI-t iskolai kémiai feladatok megoldásában

Kutatók egy ChemOntoRule nevű, kémiai feladatokra szabott ontológiát és determinisztikus Python-szabályokat kombináló rendszert mutattak be, amely az elektronszerkezet, periodikus trendek, oxidációs állapotok és oxid-hidrid viselkedés köré épül. A cél, hogy a nyelvi modellek nehezen ellenőrizhető belső következtetése helyett egy átlátható szabálymag adjon választ iskolai szintű kémiai kérdésekre. A nem lektorált, arXivon közzétett tanulmány szerint a rendszer 300 emberi feladatból 296-ot oldott meg helyesen, a szabályalapú rész pedig 269 feladatból 266-ot talált meg pontosan. A szerzők hangsúlyozzák: mivel ugyanazt a feladathalmazt használták építéshez és teszteléshez, az eredmény a beépített lefedettséget mutatja, nem független általánosítást.

Gépi tanulási modell javítja a genetikai kockázati pontszámok pontosságát

A Nature Communications korai hozzáférésű, lektorált, de a végleges közlésre még váró cikke szerint Ross DeVito és Melissa Gymrek (UC San Diego) kutatói olyan módszert dolgoztak ki, amely a hely- és időadatokat, valamint egyéb nem genetikai tényezőket nemlineáris gradient boosted decision tree modellel kezeli, nem a szokásos lineáris korrekcióval. A modell előrejelzését kiegészítő kovariánsként adják a poligénikus pontszám (PGS) számításához. A UK Biobank adatain 16 fenotípust vizsgálva a szerzők állítása szerint ez a megközelítés minden vizsgált tulajdonságnál javította az előrejelzést, a BASIL módszerrel medián 7,3%-os R² növekedést mértek. Az elemzés szezonális hatásokat, nemhez kötött életkor-összefüggéseket és összetett földrajzi mintázatokat is feltárt, ami a szerzők szerint jobban megérteti a környezeti hatások szerepét komplex tulajdonságokban.