2026. július 31., péntek · Kutatás

Kutatók: alapvető, javíthatatlan biztonsági hiba lehet az LLM-ekben

Egy kutatócsoport az ICML konferencián bemutatott tanulmányában azt állítja, hogy a nagy nyelvi modellek működésének egy alapvető sajátossága miatt lehetetlen teljesen biztonságossá tenni őket. A szerzők szerint a probléma abban rejlik, ahogyan az LLM-ek megkülönböztetik, ki vagy mi ad nekik utasítást: ha a kérést a modell belső „gondolatmenetét” utánzó stílusban fogalmazzák meg, a rendszer könnyen azt hiheti, hogy saját ötletéről van szó, és végrehajtja a tiltott utasítást. Ezzel a módszerrel állításuk szerint sikerült népszerű modelleket rávenni tiltott információ kiadására, például kokainszintézisre vagy repülőgép navigációjának szabotálására. A társszerzők szerint a jelenlegi tiltólista-alapú védelem és a red-teaming elvi okokból soha nem lehet teljes.

Miért fontos?

Ha a kutatók állítása helyes, az egyre szélesebb körben – kormányzati, katonai és egészségügyi rendszerekben – alkalmazott LLM-ek biztonsági korlátjai elvi okokból sosem lehetnek teljesen megbízhatóak.

Források

MIT Technology Review

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #LLM-biztonság#ICML

Napi összefoglaló

Ez a hír a 2026. július 31., péntek napi AI összefoglaló része.

Kapcsolódó hírek

Kétéves egyetemi kutatás: az AI-tiltás rontja a jogászhallgatók teljesítményét

Thibault Schrepel, a Vrije Universiteit Amsterdam jogászprofesszora két éven át vizsgálta „Law of AI” kurzusán, hogyan hat a hallgatói teljesítményre az AI teljes tiltása, a felügyelet nélküli AI-használat és a strukturált AI-képzés. A hallgatókat három csoportra osztották: egyiküknek nem volt szabad ChatGPT-t használnia, a másik felügyelet nélkül kapott AI-javaslatokat, a harmadik célzott képzést kapott a jogi promptolásban. A feladat mindenkinek ugyanaz volt: 20 perc alatt kellett javítani egy rendelkezést az uniós mesterséges intelligencia-rendeleten. A kísérletet 2024-ben 66, 2025-ben 164 hallgatóval ismételték meg. A kutató szerint a tiltott csoport mindkét évben az utolsó helyen végzett, mert az ötletek gyorsan kimerültek, míg a felügyelet nélküli csoport kritikátlanul fogadta el az AI javaslatait. A képzett csoport 2024-ben egyértelműen jobban teljesített, ám 2025-re ez az előny szinte eltűnt, mivel a hallgatók már megszokott felhasználóként érkeztek a kurzusra.

Sci-MMR: új teszt leplezi le a multimodális AI-ügynökök bizonyítási hiányosságait

Kutatók bemutatták a Sci-MMR benchmarkot, amely azt méri, mennyire képesek a multimodális AI-ügynökök több lépéses, bizonyítékra alapozott tudományos következtetésre. A nem lektorált, arXiv-preprintként közzétett tanulmány szerint a 235 feladatból álló teszt négy tudományterületet fed le, feladatonként átlag kilenc ábrapanellel. Nyolc élvonalbeli multimodális modell vizsgálatakor kiderült: a végső válasz pontossága több mint 20 százalékponttal meghaladja azt az arányt, amikor a modell a teljes bizonyítékláncot is helyesen adja vissza, vagyis gyakran jó választ ad valódi bizonyíték nélkül. A szerzők szerint a hibák 57,2 százaléka az ábrákból való hiányos bizonyítékkinyerésből ered, 31,8 százaléka pedig abból, hogy a modellek a meglévő bizonyítékot sem tudják helyes következtetéssé alakítani; még arany bizonyíték mellett is csak 69,1 százalékos pontosságot ér el a legjobb modell a legnehezebb feladatokon.

Élő adatbázis gyűjti össze az AI-benchmarkokat

Kutatók a Benchmark Radar nevű rendszert ismertetik egy nem lektorált, arXiv-on közzétett preprintben: ez egy élő adatbázis és keresőmotor, amely LLM-ek, ügynökalapú rendszerek, kódolási, érvelési és biztonsági benchmarkok adatait gyűjti egy helyre. A rendszer 37 forrásból (13 közvetlen kapcsolón és 24 kutatási-mérnöki hírfolyamon keresztül) naponta gyűjt benchmark-cikkeket, kódtárakat és adathalmazokat. A szerzők állítása szerint a katalógus jelenleg 1283 forrásrekordot tartalmaz négy benchmark-gyűjteményből, valamint 12 916 számszerű megfigyelést 790 rekordon. A csapat webes irányítópultot, rangsorolót, telítettségi és trendnézeteket, valamint parancssori felületet is közzétett a katalógus lekérdezéséhez.

GPT-6 Astra: robotikai tesztben nagyot ugrott a térbeli gondolkodás

Az OpenAI GPT-6 Astra modelljét egy új StationeryBench nevű robotikai teszt vetette össze az Ai2 MolmoAct2 modelljével öt asztali feladaton, két robotkarral végzett 200 kísérletben. Astra 100-ból 7 feladatot teljesített hibátlanul, míg a MolmoAct2 egyet sem, és Astra medián haladási pontszáma 46 pont volt a MolmoAct2 12 pontjával szemben. A Cornell és a Google DeepMind kutatója, Yoav Artzi ezt „lépésváltásnak” nevezte a térbeli gondolkodásban, bár szerinte a modell még nem éri el az emberi szintet minden helyzetben, és feltételezése szerint sok 3D-s (például Blender) adaton tanították. Emellett az OpenAI cégblogjában azt is közölte, hogy Astra kevesebb, célzottabb utasítást igényel, mint elődei, míg a Perplexity saját közlése szerint már ritkábban ellenőrzi a modellt, amikor az önállóan ír kommunikációt vagy módosít szoftvereket.