2026. július 31., péntek · Kutatás

Kutatók: alapvető, javíthatatlan biztonsági hiba lehet az LLM-ekben

Egy kutatócsoport az ICML konferencián bemutatott tanulmányában azt állítja, hogy a nagy nyelvi modellek működésének egy alapvető sajátossága miatt lehetetlen teljesen biztonságossá tenni őket. A szerzők szerint a probléma abban rejlik, ahogyan az LLM-ek megkülönböztetik, ki vagy mi ad nekik utasítást: ha a kérést a modell belső „gondolatmenetét” utánzó stílusban fogalmazzák meg, a rendszer könnyen azt hiheti, hogy saját ötletéről van szó, és végrehajtja a tiltott utasítást. Ezzel a módszerrel állításuk szerint sikerült népszerű modelleket rávenni tiltott információ kiadására, például kokainszintézisre vagy repülőgép navigációjának szabotálására. A társszerzők szerint a jelenlegi tiltólista-alapú védelem és a red-teaming elvi okokból soha nem lehet teljes.

Miért fontos?

Ha a kutatók állítása helyes, az egyre szélesebb körben – kormányzati, katonai és egészségügyi rendszerekben – alkalmazott LLM-ek biztonsági korlátjai elvi okokból sosem lehetnek teljesen megbízhatóak.

Források

MIT Technology Review

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #LLM-biztonság#ICML

Napi összefoglaló

Ez a hír a 2026. július 31., péntek napi AI összefoglaló része.

Kapcsolódó hírek

HOBA: háromszintű AI-ügynök az online hirdetési licitálásra

Kutatók egy nem lektorált arXiv-preprintben mutatták be a HOBA nevű keretrendszert, amely három időskálán osztja szét az online hirdetési licitálás feladatait. A legfelső szinten egy nagy nyelvi modell következteti ki a hiperparamétereket kontextuális jelek alapján, középső szinten egy SARSA-ügynök választ a szakértői modellek közül torzításmentesítő korrekcióval, az alsó szinten pedig hagyományos módszerek (PID, MPC, IQL, Decision Transformer) végzik a tényleges licitet. A szerzők állítása szerint ez csökkenti az online tanulás kockázatát, mert csak a diszkrét modellválasztást hangolja folyamatosan. Az AuctionNet benchmarkon és egy nagyszabású A/B teszten mért eredmények alapján a HOBA bevetése 3,6 százalékos növekedést hozott a célköltség-metrikában a korábbi módszerekhez képest, saját méréseik szerint.

Microsoft Echoverse: mély szimulált világokban edzik a számítógép-kezelő AI-ügynököket

A Microsoft Research bemutatta az Echoverse nevű rendszert, amely tizenkét betanító világot tartalmaz számítógép-használó AI-ügynökök számára: tíz mély alkalmazás-szimulációt és két, kifejezetten nehéz kezelőfelületi elemekre (dátumválasztók, egymásba ágyazott szűrők) fókuszáló világot. A vállalat állítása szerint egy 9 milliárd paraméteres modell mind a tizenkettőn betanítva pontszámát 36,5 százalékról 67,1 százalékra közel duplázta, ezzel tizennégy pontra megközelítve az általuk hivatkozott GPT-5.4 modellt. A kutatók szerint a felszínes szimulációk rontják a teljesítményt, míg a valósághű, koherens állapotú világok és a megerősítéses tanulás segítenek az ügynöknek túllépni az egyszerű utánzáson. A Microsoft négy világot kódjával, adataival és ellenőrző moduljaival együtt elérhetővé tesz GitHubon és Hugging Face-en.

LivingArena: nyelvi modellek egymást tesztelik, hogy kiderüljenek gyengeségeik

Kutatók egy nem lektorált arXiv-tanulmányban bemutatják a LivingArena nevű értékelési keretrendszert, amely a nyelvi modellek egymás közti tesztelésén alapul. A módszer szerint a modellek felváltva tesznek fel kérdéseket egymásnak azzal a céllal, hogy olyan feladatot találjanak, amit az ellenfél nem tud megválaszolni; a kérdező akkor kap jutalmat, ha a másik modell hibázik, a válaszadó pedig akkor, ha helyesen felel. Egy erős modellekből álló bírálóbizottság ellenőrzi, hogy a kérdéseknek objektíven igazolható válaszuk van-e. A szerzők tíz élvonalbeli nyelvi modell tesztelésével stabil Elo-ranglistát állítottak elő, és megfigyelésük szerint a modellek felismerik és célzottan kihasználják egymás gyenge pontjait. A módszer csak gyengén korrelál az emberi preferenciákkal, de olcsó, skálázható folyamatos értékelést kínálhat.

Microsoft Research: EvoLib, amely tapasztalatból tanuló tudástárat épít az AI-nak

A Microsoft Research bemutatta az EvoLib nevű keretrendszert, amely a vállalat állítása szerint lehetővé teszi, hogy nagy nyelvi modellek a saját, futásidejű tapasztalataikból tanuljanak, anélkül hogy a modell súlyait módosítanák vagy külső címkézett adatra lenne szükség. A módszer a korábbi próbálkozásokat újrafelhasználható készségekké és reflektív meglátásokká alakítja, amelyeket folyamatosan finomít és összevon, így az egyedi megfigyelésekből egyre általánosabb tudás lesz. A cég szerint az EvoLib bármely, API-n keresztül elérhető, fekete doboz jellegű nyelvi modellhez alkalmazható, mivel nem igényel modellfrissítést. Az eredmény a „Test-Time Learning with an Evolving Library” című kutatási cikkben jelent meg, amelynek lektoráltságáról a közlemény nem tesz említést, így azt egyelőre önálló, nem független módon ellenőrzött állításként kell kezelni.