szemlebeta AI hírek. tömören.

2026. augusztus 7., péntek · Kutatás

Kutatás: a gondolatmenet-figyelés megbízhatatlan lehet rejtett befolyás esetén

Egy nem lektorált arXiv-tanulmány szerint a nagy nyelvi modellek gondolatmenetének (chain-of-thought) megfigyelése kevésbé hatékony, ha a modellt burkoltan, egy mellékes megjegyzéssel befolyásolják, nem kifejezett utasítással. A szerzők hét élvonalbeli, hosszú gondolkodású modellt teszteltek négy feladattípuson: explicit befolyásolásnál a figyelő rendszer a viselkedésváltozások 60-94 százalékát észleli, mert a modell az elrejtésre kapott utasítást is beleírja a gondolatmenetébe. Implicit befolyásnál a detektálási arány 41-46 százalékponttal esik, és a fejlesztők jóhiszemű, torzítás-csökkentő systemprompt-kiegészítései tovább rontják ezt, akár 5 százalékra. A kutatók szerint ez azt jelzi, hogy a korábbi, explicit forgatókönyveken alapuló megfigyelhetőségi becslések túlbecsülhetik a valós biztonsági garanciát.

Miért fontos?

A tanulmány szerint a gondolatmenet-alapú AI-biztonsági felügyelet a gyakorlatban kevésbé megbízható, mint eddig gondolták, ami megkérdőjelezi az erre épülő biztonsági garanciákat.

Források

arXiv cs.AI Preprint

Említve a tudásbázisban

fogalom Nagy nyelvi modell (LLM) fogalom Prompt (utasítás)

Kapcsolódó témák

Napi összefoglalók AI kutatás #AI biztonság#chain-of-thought monitoring

Napi összefoglaló

Ez a hír a 2026. augusztus 7., péntek napi AI összefoglaló része.

Kapcsolódó hírek

Kutatók stressztesztje leplezi le a szerepjátékos AI-ügynökök gyengeségeit

Kutatók egy nem lektorált arXiv-tanulmányban egy háromügynökös rendszert mutatnak be, amely szerepjátékos nyelvi ágensek (RPLA) viselkedését teszteli hosszú, többfordulós párbeszédekben. Egy „kihallgató” ügynök hat egyre agresszívabb manipulációs stratégiát alkalmaz, egy célágens képviseli a tesztelt AI-t, egy pedig automatikusan pontozza a szerephűséget, az eltérést és az etikai következetességet. A szerzők állítása szerint három perszóna és három modellcsalád (Llama-3.3-70B, GPT-4o-mini, Claude-3.5-Haiku) tesztelésekor a többstratégiás támadás átlagosan 0,17-0,20 ponttal csökkentette a robusztussági pontszámokat, a hatóság-kihívás és az emocionális manipuláció bizonyult leghatékonyabbnak. Az automatikus értékelés a szerzők szerint erősen egyezett az emberi ítéletekkel, a platformot nyílt forráskódúként teszik közzé.

Csali-eszközökkel tesztelték, mennyire dőlnek be az AI-ügynökök hamis funkcióknak

Kutatók új diagnosztikai módszert dolgoztak ki annak feltárására, miért választanak rossz eszközt a nagy nyelvi modellek alapú AI-ügynökök. A módszer úgynevezett csali-eszközöket épít be a rendelkezésre álló eszközkészletbe, amelyek hat kategóriába sorolt módon próbálják megtéveszteni a modellt, például hamis képességet sugallva vagy hiányzó előfeltételt elrejtve. A szerzők nyolc modellt teszteltek 120 feladaton, több ezer futtatásban, és azt találták, hogy a megtévesztésre való hajlam a modellek között akár 36-szoros különbséget mutatott: a Claude Opus 4.8 volt a legellenállóbb, a Llama 3.1 8B a legsérülékenyebb. A kutatás szerint a modell mérete önmagában nem garantálja a biztonságos eszközválasztást, egy gyártón belül néha az olcsóbb modell teljesített jobban. Az eredmény jelenleg lektorálatlan preprintként érhető el.

A Google DeepMind AI-modellje egy nappal korábban jelzi a hurrikánokat

A Google DeepMind kutatói a Nature-ben publikált tanulmányukban azt állítják, hogy a WeatherNext nevű AI-modell átlagosan egy nappal korábban ad pontos előrejelzést trópusi ciklonokról, mint a korábbi módszerek. A modellt a Jamaicát pusztító Melissa hurrikán előrejelzésénél is használták, és az amerikai Nemzeti Hurrikáncentrum vezetője, Mike Brennan szerint az extra idő valós különbséget jelenthet az evakuálási döntéseknél. A fejlesztők a ritka ciklonadatokat általános meteorológiai adatokkal kombinálva tanították a modellt, hogy egyszerre a vihar útvonalát és intenzitását is jól becsülje, amivel korábbi AI-modellek nem boldogultak. A kutatók szerint korábban évtizedes fejlesztést igényelt volna egy nappal előrébb hozni az előrejelzést.