2026. július 10., péntek · Kutatás

Intézményi red-teaming: a telepítési szabályok okságilag befolyásolják a multiágens AI-biztonságot

Kutatók nem lektorált tanulmányban új módszertant mutatnak be, amellyel multiágens AI-rendszerek telepítési szabályainak biztonsági hatása vizsgálható: az ágenseket és célokat rögzítve egyetlen szabályt változtatnak, majd az eltérést a szabálynak tulajdonítják. Az IABench-CA benchmarkot 228 kontextusban, öt szabállyal és hét modellpopulációval tesztelték (33 924 játszma). Eredményeik szerint egyetlen szabályváltoztatás 22–58 százalékpontos eltérést okozott a halálos kimenetelekben, miközben univerzálisan biztonságos alapbeállítás nem létezik. Az identitásalapú célzás minden populációnál szelekciós szempontból nem biztonságos; a GPT-5.1 populáción végzett anonimizálási kísérlet szerint a veszteségviselő megnevezése 22%-ról 81%-ra emelte a célzott eliminációt.

Miért fontos?

A kutatás rámutat, hogy a multiágens AI-biztonságot nem csak a modellek, hanem a telepítési szabályok is okságilag alakítják.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #multi-agent safety#red-teaming

Napi összefoglaló

Ez a hír a 2026. július 10., péntek napi AI összefoglaló része.

Kapcsolódó hírek

Többszintű ágens keretrendszer automatikusan generál nehéz teszteseteket multimodális AI-biztonsági modellek megerősítéséhez

Egy nem lektorált kutatási munka olyan automatizált, többágenses red-teaming keretrendszert mutat be, amely emberi beavatkozás nélkül képes nehéz, határeseti példákat szintetizálni multimodális nagy nyelvi modellek (MLLM-ek) tartalombiztonsági feladataihoz. A rendszer egy magas szintű tervező ágensből, egy képgenerátorból és egy többszintű LLM-értékelő bizottságból áll, amelyek iteratívan állítanak elő új hipotéziseket és mutálják a korábbi kísérleteket. A szerzők állítása szerint az így előállított adversariális példák tesztelési idejű visszakereséssel kontextusba ágyazva jelentősen javítják a célmodell robusztusságát: egy nyilvános képbiztonsági benchmarkon a hamis negatív arányt 41,2%-ról 24,5%-ra csökkentették, mindezt emberi címkézés nélkül. A megközelítés a hagyományos aktív tanulás és manuális annotáció skálázhatósági korlátait célozza meg.

Átfogó szakirodalmi áttekintés a terminálban működő AI-ügynökökről

Egy kutatói csoport arXiv-on közzétett, még nem lektorált szakcikke szisztematikusan összegzi a parancssori környezetben (terminálban) működő nagy nyelvi modell alapú AI-ügynökökkel kapcsolatos kutatásokat. A szerzők állítása szerint ezeket a rendszereket eddig szétszórtan tárgyalta a szoftverfejlesztési, eszközhasználati és számítógép-kezelési szakirodalom, ezért egy egységes, hét dimenziós kompetenciaprofilt javasolnak a modell, a felület, a futtatókörnyezet és a végrehajtási folyamat összekapcsolására. A cikk szerint a jelenlegi benchmarkok főleg a végeredményt mérik, míg a folyamat minőségét, a hibából való felépülést és az irányíthatóságot egyenetlenül vizsgálják. A szerzők ezért a rendszer- és futtatási körülmények részletes dokumentálását, valamint visszajátszható nyomkövetési adatok használatát javasolják az értékelések megbízhatóbbá tételéhez.

Új módszer mobilos AI-ügynökök teljesítményének és biztonságának értékelésére

Kutatók CRATE néven új, kétlépcsős értékelési keretrendszert mutattak be nyelvi utasításokkal irányított mobilalkalmazás-ügynökök automatikus minősítésére. A módszer lényege, hogy a teljes műveletsort egyben elemző korábbi megoldásokkal szemben lépésenként vizsgálja a releváns vizuális jeleket és az egyes akciók által kiváltott állapotváltozásokat, majd ezeket az eredményeket trajektóriaszinten összesíti. A szerzők állítása szerint – a cikk egy nem lektorált arXiv-preprintben jelent meg – a Qwen2.5-VL-72B-Instruct modellel futtatott CRATE 0,833-as F1-értéket ért el az AndroidWorld benchmarkon, ami 20 százalékkal jobb, mint a SPA-Bench módszeré. A biztonsági kockázatok értékelésére kiterjesztett CRATE-S változat a MobileRisk adathalmazon 0,697-es F1-értéket mutatott. A kutatók szerint az eredmények erős egyezést mutatnak a benchmarkok referenciaértékeivel, a kód nyilvánosan elérhető.

AI-főnök először rúgott ki emberi alkalmazottat egy san franciscói boltban

Az Andon Labs cég szerint az általuk üzemeltetett Luna nevű AI-ügynök áprilisa óta vezeti a San Franciscó-i Andon Marketet, és most először bocsátott el egy emberi dolgozót. Luna az Anthropic Claude Opus 4.8 modelljén futott, saját maga írt korábban egy szabályzatot a késésekről, ám ez az emlékezetéből kiesett, így sokáig elnézte a problémákat: a cég szerint a dolgozó 23 műszakból 17-ben késett, ebből Luna csak hatot rögzített hivatalosan. A dolgozó emellett céges kártyát is használt tiltás ellenére, és utasításokat hagyott figyelmen kívül. Az elbocsátásra végül csak azután került sor, hogy emberek emlékeztették Lunát saját szabályaira; a döntést emberek vizsgálták felül és hajtották végre. Az Andon Labs szerint hét modell tesztelésekor a képességesebb AI-modellek következetesebben javasolták a felmondást, mint a gyengébbek.