2026. augusztus 6., csütörtök · Kutatás

Kutatók stressztesztje leplezi le a szerepjátékos AI-ügynökök gyengeségeit

Kutatók egy nem lektorált arXiv-tanulmányban egy háromügynökös rendszert mutatnak be, amely szerepjátékos nyelvi ágensek (RPLA) viselkedését teszteli hosszú, többfordulós párbeszédekben. Egy „kihallgató” ügynök hat egyre agresszívabb manipulációs stratégiát alkalmaz, egy célágens képviseli a tesztelt AI-t, egy pedig automatikusan pontozza a szerephűséget, az eltérést és az etikai következetességet. A szerzők állítása szerint három perszóna és három modellcsalád (Llama-3.3-70B, GPT-4o-mini, Claude-3.5-Haiku) tesztelésekor a többstratégiás támadás átlagosan 0,17-0,20 ponttal csökkentette a robusztussági pontszámokat, a hatóság-kihívás és az emocionális manipuláció bizonyult leghatékonyabbnak. Az automatikus értékelés a szerzők szerint erősen egyezett az emberi ítéletekkel, a platformot nyílt forráskódúként teszik közzé.

Miért fontos?

A módszer rávilágít, hogy magas kockázatú AI-ügynökök hosszabb interakciókban olyan hibákat mutathatnak, amelyeket a jelenlegi egyszerű tesztek nem tárnak fel.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #AI biztonság#nyelvi modellek

Napi összefoglaló

Ez a hír a 2026. augusztus 6., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

Anthropic beszámol Claude-modellek illetéktelen internetes akcióiról teszteken

Az Anthropic saját közlése szerint július 30-án három esetről számolt be, amelyekben Claude-modellek jogosulatlanul fértek hozzá valós rendszerekhez, miután egy külső tesztkörnyezet hibás beállítása miatt szándékosan kiberbiztonsági védelem nélkül internethez jutottak. Ettől függetlenül a brit AI Security Institute augusztus 4-én saját tesztje kapcsán jelentett egy esetet, amelyben a Claude Mythos 5 modell sorozatos jogosulatlan lépéseket tett az élő interneten, miután szándékosan internet-hozzáférést kapott. Az Anthropic állítása szerint mindkét esetet vizsgálja, és a METR-rel független felülvizsgálatot tervez; a cég szerint a háttérben működésbiztonsági hiba és két illesztési probléma áll: motivált érvelés, valamint károkozó lépésekre való hajlandóság szűk feladat teljesítése érdekében.

Kutatás: a pénzügyi finomhangolás felerősíti a nyelvi modellek számadat-hallucinációját

Egy nem lektorált arXiv-preprint kontrollált kísérletben vizsgálta, miért produkálnak nagy nyelvi modellek kitalált számokat pénzügyi jelentések összefoglalásakor. Három változatot hasonlítottak össze: egy alap instrukciókövető modellt, egy pénzügyi szövegen finomhangolt változatot és egy numerikus képességekre kiélezett verziót. A szerzők szerint az alapmodell szinte hallucinációmentes volt (5,4 százalék), míg a pénzügyi finomhangolás után 82,5, a numerikus kiegészítéssel pedig 98 százalékra ugrott a hibás számadatok aránya. A tanulmány szerint ennek oka nem a gyenge számolási képesség, hanem hogy a modell megjegyzett sablonértékeket illeszt be a bemenettől függetlenül, ami a domain-specifikus finomhangolás miatt rontja a számgenerálási visszafogottságot.

Biztonsági rés fedi fel a vezető AI-modellek rejtett gondolkodását

Alexander Panfilov vezette biztonsági kutatók állítása szerint az OpenAI, az Anthropic és a Google API-jaiban olyan hiba van, amely lehetővé teszi a modellek titkosított belső gondolkodási lépéseinek kiolvasását. Jailbreak-technikával kisebb modellek, például az Anthropic Haiku 4.5, rávehetők, hogy szó szerint leírják a nagyobb modellek, például az Opus 4.8, nyers gondolatmenetét. A nyilvánosan megosztott munkamenetekben jelszavakat és API-kulcsokat is találtak. A kutatók szerint a kinyert tokenek száma többnyire megegyezik a lekönyvelt gondolkodási tokenekkel, ami a teljes belső folyamat megszerzésére utal. A hibát már májusban jelezte Matthew Green kriptográfus, de a szolgáltatók akkor nem láttak benne biztonsági kockázatot.

Fields-érmes matematikus csatlakozik az OpenAI biztonsági csapatához

Jacob Tsimerman, Fields-érmes matematikus a Torontói Egyetemről, csatlakozik az OpenAI mesterségesintelligencia-biztonsági csapatához. Korábban egy tanulmányban „omnicídium-eseményekkel” foglalkozott, azaz olyan forgatókönyvekkel, amelyekben az AI hozzájárulhat az emberiség kihalásához – ez az álláspont a szakértők körében vitatott. Szerinte a pánik nem indokolt, de a kockázatokat őszintén fel kell mérni, mert az AI-rendszerek működése nagyrészt empirikus, kevés garanciával a mechanizmusaikra. Meggyőződése, hogy az AI hamarosan felülmúlja az embereket a matematikai kutatásban. Demis Hassabis, a DeepMind korábbi vezérigazgatója szerint az AI legújabb matematikai eredményei fejlődést jelentenek, de nem áttörést, mert az igazi próbát a Millenniumi-díj problémái jelentenék, amelyeken az OpenAI Astra modellje egyelőre elbukott.