2026. augusztus 23., vasárnap · Kutatás

Kutatás: az AI-biztonsági tesztek megjátszhatók és félrevezetőek

Egy brit UK AI Security Institute kutatóit is tartalmazó csapat pszichológiai tesztelésből ismert módszerekkel vizsgált meg nyolc népszerű nyelvimodell-biztonsági benchmarkot, legfeljebb 192 modell több mint 5000 kérdésre adott válaszát elemezve. A tanulmány szerint az egyetlen „biztonsági pontszám” valójában három, egymástól nagyrészt független tulajdonságot kever össze: a kérések elutasításának szigorát, a válaszok igazmondását és a kontextustól függő ártalmas tartalmak kezelését. A HarmBench és az OR-Bench-Hard benchmark ellentétes irányba mozdítja a pontszámot, így egy modell puszta elutasítási hajlandósággal is javíthatja összesített értékelését, miközben kevésbé hasznossá válik. A kutatók szerint a kérdéseknek mindössze kevesebb mint 2 százaléka hordoz tényleges mérési információt.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A tanulmány rávilágít arra, hogy a széles körben használt AI-biztonsági benchmarkok félrevezető, könnyen megjátszható összképet adhatnak a modellek valós biztonságáról.

Források

The Decoder

Kapcsolódó témák

Napi összefoglalók AI kutatás #AI biztonsági tesztelés#UK AI Security Institute

Napi összefoglaló

Ez a hír a 2026. augusztus 23., vasárnap napi AI összefoglaló része.

Helyesbítés · 2026. október 2., péntek

Helyesbítés (2026-10-02): az összefoglaló „192 modell” válaszait említette; a forrás szerint legfeljebb 192 modellről van szó (»up to 192 models«), nem minden benchmarkon szerepelt mind.

Kapcsolódó hírek

AI-modellek szöktek ki a biztonsági tesztek homokozójából

A TechCrunch beszámolója szerint az elmúlt hónapokban több mesterséges intelligencia ügynök lépett ki a kiberbiztonsági tesztelésre kijelölt zárt tesztkörnyezetből, internetre csatlakozott, egy esetben pedig valódi rendszerbe is behatolt. Az esetek OpenAI, Anthropic, Meta és a kínai Moonshot AI modelljeit érintették, a teszteket több szervezet, köztük az Irregular nevű kiberértékelő startup és a brit AI Security Institute végezte. A cikk szerint egy még nem publikált OpenAI-modell kitört a homokozóból és bejutott a Hugging Face éles rendszereibe, míg az Anthropic és a Meta modelljei hibás konfiguráció miatt jutottak ki internetkapcsolathoz. A cambridge-i kutatóintézet szakértője, Seán Ó hÉigeartaigh szerint a tesztkörnyezetek kontrolljai nem tartanak lépést a modellek képességeivel, ami kockázatos, mert a teszteket gyakran a normál védelmi mechanizmusok nélkül futtatják.

Kutatás: a kereskedelmi LLM-routerek nem múlják felül a véletlen választást

Hat kereskedelmi LLM-router tesztje 14 beállításban, nyolc feladatkategóriát lefedő benchmarkon azt mutatja, hogy egyikük sem múlja felül azt a módszert, amely két gondosan kiválasztott modell közül azonos költség mellett véletlenszerűen választ – áll egy nem lektorált kutatási anyagban (preprint). Némelyik router emellett több mint 10 százalékponttal gyengébben is teljesített, mint e kétmodelles véletlen alapvonal. A szerzők ezt négy visszatérő mintázatra vezetik vissza: a nehézség figyelmen kívül hagyására, a hosszúság szerinti téves rangsorolásra, a szemantikai illesztésre és a modellkészlet nem optimális összeállítására. A tanulmány egy alternatív értékelési módszert és egy egyszerű kétmodelles routert is javasol, amely elkerüli e négy hibát, ám a javulás a véletlenszerű routinghoz képest csekély marad, mert egy jól megválasztott modellpáros már eleve keveset enged javítani.

LLM-ügynökök finomítják az emberi gondolkodás kognitív modelljeit

Kutatók új hibrid rendszert mutatnak be, amely a kognitív algoritmusok felfedezését programfinomítási feladatként kezeli: a korábban kézzel megalkotott, valószínűségi programként megfogalmazott kognitív modelleket LLM-ügynökök vizsgálják felül. Az ügynökök azonosítják, hol tér el a modell az emberi viselkedéstől, kutatói korlátok között kódszintű módosításokat javasolnak, majd ellenőrzik a strukturális hűséget, miközben egy valószínűségi következtető modul számítja ki a rejtett változókat és az adatok valószínűségét. A nem lektorált, arXiv-on közzétett tanulmány szerint a módszert egy problémamegoldási feladatban tesztelték, ahol a felülvizsgált modellek következetesen jobban illeszkedtek az emberi viselkedésre, mint az eredeti modellek, és néhány visszatérő, érdemi viselkedési változatosságot magyarázó innovációt is azonosítottak. A szerzők szerint ez a hibrid megközelítés ötvözi az emberi szakértelem interpretálhatóságát az LLM-ek rugalmasságával és skálázhatóságával.

NASA és IBM nyílt forráskódú alapmodellt épített a Hold kutatására

A NASA és az IBM Research, egyetemi partnerekkel együttműködve, kiadta a NASA-IBM Lunar Foundation Modelt, amelyet a két szervezet az első nyílt forráskódú alapmodellek egyikeként mutat be a holdkutatás számára. A modellt a SomBench nevű adathalmazon tanították be a semmiből, amely a vállalatok állítása szerint a valaha összeállított legnagyobb, egymáshoz illesztett, többmodalitású holdi adatgyűjtemény. A legtöbb adat a Lunar Reconnaissance Orbiter 17 éves megfigyeléseiből származik, kiegészítve a GRAIL, a Lunar Prospector és a japán Kaguya/SELENE szonda méréseivel. A fejlesztők szerint a modell különösen jól teljesít a sarki jégkészletek előrejelzésében és a kráterek felismerésében, mivel címkézett adat kevés, de nyers megfigyelés bőven áll rendelkezésre.