2026. augusztus 1., szombat · Kutatás

AI-ügynökök biztonsági kockázatai: NVIDIA-teszt és kutatói ütemterv

Az NVIDIA AI Red Team fél éven át tesztelt vállalati AI-ügynököket, és állítása szerint visszatérő hibákat talált: hiányos hozzáférés-szabályozást, tetszőleges kódfuttatást lehetővé tevő eszközöket, kontrollálatlan hálózati kimenetet és nyílt szövegű titkok tárolását. Az NVIDIA szerint a prompt-alapú és LLM-bíróra épülő védelmek megbízhatatlanok social engineering és „frog-boiling” támadásokkal szemben, ezért determinisztikus, a modell irányítási körén kívüli architektúrai kontrollokat javasol: hozzáférés-korlátozást, sandboxolt futtatást, alapértelmezetten tiltó hálózati szabályokat és a tartós titkok kizárását. Egy különálló, lektorálatlan arXiv-preprint iparági és kormányzati szakértők bevonásával négy prioritási témát azonosít az AI-biztonság fejlesztésére, köztük az agentikus AI ellenséges nyomás alatti irányítását.

Miért fontos?

A hír konkrét, gyakorlatban feltárt biztonsági réseket dokumentál az AI-ügynökök vállalati bevezetésénél, amelyek architekturális védelmet igényelnek.

Források

NVIDIA Technical Blog Hivatalos arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #AI-ügynökök biztonsága#NVIDIA Red Team

Napi összefoglaló

Ez a hír a 2026. augusztus 1., szombat napi AI összefoglaló része.

Kapcsolódó hírek

Pegasus: emberi videókból tanulható robotadat generálása

Kutatók Pegasus néven olyan keretrendszert mutatnak be egy nem lektorált arXiv-preprintben, amely emberi manipulációs videókat alakít robotok számára tanulható adattá. A szerzők szerint a fő probléma nem a modellarchitektúra, hanem az adathiány: rengeteg emberi kézmozdulatot rögzítő videó elérhető, de a robotok az eltérő testfelépítés miatt nem tanulhatnak közvetlenül belőlük. A módszer állításuk szerint gráf alapú köztes reprezentációt épít – Feladatgráfból Affordancia- és Megkötés-gráfokon át Robot Tervezési Gráfig –, majd egy fizikai ellenőrző kiszűri a kinematikailag lehetetlen generálásokat. A megoldást a GTEA Gaze+ és az EPIC-KITCHENS-100 adathalmazokon, több robotmegtestesülésen tesztelték, és a szerzők megbízható embertől robotig terjedő adatátvitelről számolnak be. Mivel a publikáció még nem lektorált preprint, az eredmények független megerősítésre szorulnak.

Új benchmark méri, mennyire értik az AI-modellek a szereplők motivációit

Kutatók bemutatták a MultivationBench nevű mérőeszközt, amely azt vizsgálja, mennyire képesek a multimodális nagy nyelvi modellek szekvenciális, időben egymásra épülő motivációkat felismerni történet-alapú, képekkel illusztrált narratívákban. A benchmark Maslow szükséglethierarchiájára és Reiss alapvágy-elméletére épül, és arra kényszeríti a modelleket, hogy a felhalmozódó multimodális kontextusból következtessenek a szereplők változó motivációira, ne csak egyetlen pillanatképből. A szerzők állítása szerint minden tesztelt modell komoly nehézségekkel küzd a következetes motivációs következtetés fenntartásában több egymást követő eseményen keresztül, ami éles ellentmondást jelez a statikus felismerés és a dinamikus, emberszerű társas megértés között. A munka egyelőre nem lektorált preprint, így az eredményeket független szakmai bírálat még nem erősítette meg.

Shadow evaluation: AI-ágensek elbuknak a nyílt kutatói döntéseknél

Egy nem lektorált tanulmány „shadow evaluation” néven új tesztmódszert vezet be: két meg nem jelent NeurIPS 2026-os cikk nyitott kutatási kérdését kapták meg AI-ágensek hat nap és több ezer dollárnyi számítási kapacitás mellett, majd a kéziratok eredeti szerzői értékelték a munkájukat. A szerzők szerint az ágensek emberi segítség nélkül elvégezték a szükséges mérnöki munkát, de érdemi előrelépést nem értek el a kutatási kérdés megválaszolásában, ezért mindkét dolgozatot elutasították. Öt visszatérő hibamintát azonosítottak: gyenge publikálhatósági ítélőképesség, kreativitáshiány a kutatási terv hibáinak kezelésében, hatástalan visszalépés zsákutcákból, gyenge erőforrás-tudatosság és utasításoktól való eltávolodás. Egy második modellel végzett ellenőrzés ugyanezeket a hibákat reprodukálta.

Rutin kórházi CT- és MRI-adatokon tanult AI-modell jobb neurológiai diagnosztikát ad

A Nature Medicine folyóiratban megjelent tanulmány szerint a kutatók egy háromdimenziós vizuális alapmodellt 5,24 millió, a napi klinikai gyakorlatból származó CT- és MRI-felvételsorozaton tanítottak be, hogy az agy anatómiájáról és betegségeiről közös reprezentációt tanuljon meg. A cikk állítása szerint ez a modell jobb diagnosztikai teljesítményt ért el, mint azok az alapmodellek, amelyeket nyilvános internetes és orvosi adatokon tanítottak. A szerzők szerint a modell előzetes lelettervezetek generálására és a betegek sürgősségi triázsára is alkalmas volt valódi egészségügyi rendszerekben végzett teszteken. A tanulmány lektorált folyóiratcikként jelent meg, így az eredmények megbízhatóbb bizonyítéknak számítanak, mint egy előzetes közlemény, ugyanakkor a gyakorlati, széles körű klinikai alkalmazhatóság további validálást igényel.