2026. szeptember 12., szombat · Kutatás

Új keretrendszer tárja fel az AI-ügynökök rejtett biztonsági réseit

Kutatók olyan fekete dobozos tesztelési módszert dolgoztak ki, amely kizárólag alapvető rendszerleírások alapján képes feltérképezni az autonóm AI-ügynökök kockázatait, anélkül hogy hozzáférne a rendszer belső működéséhez. A SAGE-RT nevű, automatizált red teaming eljárás egy hét kategóriás kockázati taxonómiára épül, és minden kategóriában 120 ellenséges tesztforgatókönyvet generál, amelyeket emberi ellenőrzéssel és AI-bírákkal validálnak. A kutatás egyelőre nem lektorált arXiv-preprintként érhető el, tehát az eredményeket független szakértői bírálat még nem erősítette meg. A szerzők állítása szerint a CrewAI és AutoGen keretrendszerekre épülő, szimulált demó-ügynökrendszereken (szintetikus adatbázissal, valódi tranzakció nélküli tőzsdei szimulációval), négy alapmodellel végzett tesztek átlagosan 56,25%-os kormányzási kockázatot, többügynökös konfigurációkban 65%-os adatvédelmi kockázatot mutattak ki, az ügynöki viselkedés manipulálhatósága pedig egyes konfigurációkban elérte a 85%-ot. A szerzők szerint ez a megközelítés kiváltságos hozzáférés nélkül is képes azonosítani a bevezetés előtt álló ügynökrendszerek kritikus architekturális gyengeségeit.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A preprint szerzői szerint a CrewAI és AutoGen alapú, szimulált ügynökrendszereken tesztelt SAGE-RT módszer egyes konfigurációkban 85%-os ügynöki viselkedési sérülékenységet, többügynökös rendszerekben 65%-os adatvédelmi kockázatot mutatott ki.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #Agentic AI#Red teaming

Napi összefoglaló

Ez a hír a 2026. szeptember 12., szombat napi AI összefoglaló része.

Helyesbítés · 2026. október 1., csütörtök

Helyesbítés (2026-10-01): a szöveg korábban nem jelezte, hogy az „56,25%-os kormányzási kockázatot” és a többi arány szimulált demó-rendszereken (szintetikus adatbázis, valódi tranzakció nélküli tőzsdei szimuláció) született, és hogy a 85% egyes konfigurációk csúcsértéke. A módszertani korlátot pótoltuk.

Kapcsolódó hírek

Kutatók feltárták, miért fárasztó olvasni az AI szövegeit

A New York-i Egyetem és a Texasi Egyetem (Austin) kutatói szerint a vezető nyelvi modellek szövegei szisztematikusan nehezebben olvashatók, mint az emberi írás. A kutatás 14 modellt – köztük Claude, GPT-5.6, GLM-5 és Kimi K2.5 – vizsgált, 120 beszélgetést, 45 kódolási munkamenetet és 980 esszét elemezve, emberi szövegekkel összevetve. A szerzők hat jellegzetes mintát azonosítottak, például szokatlan szóösszetételeket és távolra helyezett mondatrészeket, amelyek megnehezítik a megértést. Szerintük ez azért alakul ki, mert a modellek tanítása inkább a matematikai és kódolási feladatok helyességét jutalmazza, nem az olvashatóságot, az RLHF helyett egyre inkább RLVR módszert alkalmazva. A kisebb modellek, mint a Llama és az Olmo alapváltozata, közelebb maradtak az emberi íráshoz, míg az Anthropic Opus 5.5 a kutatók szerint 21 összehasonlításból 19-ben javult elődjéhez képest.

MXFP4 kvantálással közelítik a BF16 pontosságát MoE-tréningben

Egy nem lektorált preprint szerzői ALTO néven nyílt forráskódú módszert mutatnak be egy 20 milliárd paraméteres mixture-of-experts modell, a GPT-OSS-20B MXFP4 ultra-alacsony pontosságú formátumban történő betanítására, az MLPerf Small MoE Training benchmarkon. A szerzők szerint a hibrid blokk-kvantálás, a véletlenszerű Hadamard-transzformáció, a sztochasztikus kerekítés és egy új súly-de-oszcillációs eljárás kombinációja a C4 validációs halmazon 3,3350-es veszteséget ér el, mindössze 0,007-del elmaradva a BF16 alapvonaltól (3,3283), ami a de-oszcilláció nélküli MXFP4-hez képest a különbség mintegy felét zárja be. A szerzők szerint ez a konvergencia-többletköltséget a BF16-hoz képest 20%-ról 5%-ra csökkenti. A kísérletek szimulált MXFP4-kernelekkel, AMD MI300 hardveren futottak, a futásidő-sebesség optimalizálása nélkül.

Anthropic társalapítója 2027-re hozta előre az önfejlesztő AI jóslatát

A P-Zero Research nevű kutatóműhely új TasteVal nevű benchmarkot tett közzé, amely azt méri, mennyire képesek AI-rendszerek önállóan kísérleteket tervezni és az eredményeket értelmezni – ezt nevezik „kutatói ízlésnek”. A nyolc feladat mindegyike rögzített kutatási célt ad az AI-modellfejlesztésből, a teszteket egységesen egy Nvidia H100 GPU-n futtatják, legfeljebb 40 GPU-óra vagy 120 óra alatt. A legjobb tesztelt modell a mérés szerint felülmúlta a 24 fős, korábban OpenAI-nél, Google DeepMindnél, Nvidiánál és Microsoft Researchnél dolgozó szakértőkből álló összehasonlító csoportot, ráadásul jóval alacsonyabb költséggel. A The Decoder cikke szerint Anthropic társalapítója, Jack Clark ezekre az adatokra hivatkozva most 2028 helyett már 2027-re várja, hogy az AI-rendszerek önmaguk utódait fejlesszék ki (rekurzív önfejlesztés). A lap hangsúlyozza, hogy a benchmark csak a tudományos munka szűk szeletét méri, és nem bizonyítja, hogy az AI-rendszerek már most önmagukat fejlesztik.

PHP-sebezhetőségek: az AI felgyorsítja a kihasználást

A Wired cikke szerint a nyilvánosságra hozott PHP-hibák, gyűjtőnevükön PHP2Shell, néhány órán belül milliós nagyságrendű kihasználási kísérletet váltottak ki a Cloudflare elemzése szerint. A PHP Foundation közlése szerint eddig nem történt sikeres támadás, és sok nyilvánosan terjedő exploit hatástalannak bizonyult. A lap szerint a Calif nevű biztonsági cég fedezte fel elsőként a hibákat augusztus elején, részben az OpenAI Patch the Planet programjának AI-eszközeivel; egyes mögöttes problémák már 2024 óta ismertek voltak, de korábban túl bonyolultnak tartották a kihasználásukat. Ezt követően az OpenAI és a Google tulajdonában álló Wiz kutatói egymástól függetlenül, szintén AI-eszközökkel találtak PHP2Shell-hibákat. Wiz biztonsági kutatója, Sagi Tzadik szerint a sebezhetőség évek óta ismert volt a PHP-csapat előtt, de mivel ember korábban nem tudta kihasználni, nem javították ki. A cikk megemlíti, hogy a Microsoft e havi frissítése rekordszámú, 1453 biztonsági hibát tartalmazott, a Bank of America pedig 1000 tanácsadót vett fel az Anthropic Mythos eszköze által feltárt hibák javítására.