2026. július 23., csütörtök · Kutatás

Orvosi mesterséges intelligencia biztonságosságát torzítja az értékelő személye – hiányzó információ mellett

Egy nem lektorált kutatás négy nagy nyelvi modell (Claude Opus 4.8, GPT-5.5, Grok 4.3 és Gemini 3.5 Flash) orvosi biztonságosságát vizsgálta nyílt végű klinikai beszélgetésekben, ahol szándékosan hiányos információt kaptak a modellek. A szerzők szerint az értékelő megválasztása érdemben befolyásolja az eredményt: a négy LLM-bíró közötti egyezés csak közepes (Fleiss-kappa 0,65), és kimutatható pozitív torzítás, ha egy modellt saját szolgáltatójának bírája értékel. Az LLM-bírák ráadásul szignifikánsan engedékenyebbek voltak, mint a vakított klinikai szakértők: 66–84%-ban ismerték el a megfelelő bizonytalanságot, szemben a klinikus 52%-ával. A kutatók hangsúlyozzák, hogy a biztonsági rés nem tudáshiányból, hanem a kalibrációból ered, amit egy zárt végű MedQA-teszttel is alátámasztanak. A csoport a teljes tesztkeretrendszert, promptokat és annotációs protokollt nyilvánosan elérhetővé tette.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

Rámutat, hogy az orvosi AI-modellek biztonsági értékelése az értékelő választásától függ, ami megkérdőjelezi a jelenlegi benchmarkok megbízhatóságát.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #orvosi AI biztonság#LLM-értékelés

Napi összefoglaló

Ez a hír a 2026. július 23., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

LivingArena: nyelvi modellek egymást tesztelik, hogy kiderüljenek gyengeségeik

Kutatók egy nem lektorált arXiv-tanulmányban bemutatják a LivingArena nevű értékelési keretrendszert, amely a nyelvi modellek egymás közti tesztelésén alapul. A módszer szerint a modellek felváltva tesznek fel kérdéseket egymásnak azzal a céllal, hogy olyan feladatot találjanak, amit az ellenfél nem tud megválaszolni; a kérdező akkor kap jutalmat, ha a másik modell hibázik, a válaszadó pedig akkor, ha helyesen felel. Egy erős modellekből álló bírálóbizottság ellenőrzi, hogy a kérdéseknek objektíven igazolható válaszuk van-e. A szerzők tíz élvonalbeli nyelvi modell tesztelésével stabil Elo-ranglistát állítottak elő, és megfigyelésük szerint a modellek felismerik és célzottan kihasználják egymás gyenge pontjait. A módszer csak gyengén korrelál az emberi preferenciákkal, de olcsó, skálázható folyamatos értékelést kínálhat.

Klinikai LLM-ek nem a tudásukon véreznek el, hanem az aktív információkeresés szisztematikus kudarcán

Egy nem lektorált kutatás 32 élvonalbeli nagy nyelvi modellt tesztelt hematológiai onkológiai eseteken, ahol a modelleknek három körben kellett aktívan klinikai adatokat kérniük diagnózis előtt. A legjobb modell is csak 68%-os pontosságot ért el. A szerzők szerint a diagnosztikai pontosság legerősebb előrejelzője az információ-felhasználási arány volt (R=0,69), amely az utolsó körre 57%-ról 26%-ra esett, így kezelésválasztáshoz kritikus molekuláris adatok feltáratlanok maradtak. A gondolkodási láncolatok magas klinikai minőséget mutattak (91%), de ez nem korrelált a végső pontossággal. A hibaelemzés a kezdő klinikusokra jellemző kognitív torzításokat – horgonyzást, idő előtti lezárást – azonosította fő hibamódként.

AWS: a nyílt GPT-OSS-20B alapból angolul gondolkodik más nyelveken is

Az AWS Machine Learning blogja szerint a nyílt súlyú GPT-OSS-20B reasoning modell alapból angolul gondolkodik akkor is, ha a felhasználó más nyelven kér választ. Egy 50 elemes teszten a célnyelvi gondolkodás aránya mindössze 22% volt, szinte kizárólag az angol példák miatt (angol 100%, francia 0%, német 10%, spanyol 0%, olasz 0%). A csapat a modellt Amazon SageMaker HyperPod infrastruktúrán finomhangolta a HuggingFaceH4/Multilingual-Thinking adathalmazon, amely franciára, spanyolra, németre és olaszra fordított gondolatmenet-példákat tartalmaz, mintegy 949 tanító- és 50 validációs elemmel. Az AWS szerint felügyelt finomhangolás (SFT) és megerősítéses tanulás (GRPO) kombinációja adta a legjobb eredményt: az SFT tanítja be a hiányzó viselkedést, a GRPO pedig finomítja azt, ahol még van javulási tér. Egy kontrollált Qwen2.5-7B kísérlet is megerősítette, hogy a technika megválasztása a képességbeli hiánytól függ.

Reward Engine: jutalomjel-alapú önfejlesztés nyílt eszközügynököknek

A Reward Engine nevű módszer nyílt végű eszközügynökök számára ad tanulási jelet olyan feladatoknál, ahol nem áll rendelkezésre futtatható helyes megoldás – ez az arXiv-on publikált, még nem lektorált preprint fő állítása. A szerzők leírása szerint a rendszer a feladatból és korai próbálkozásokból RewardPacket épít: teszteseteket a helyesség ellenőrzésére és értékelési szempontokat a minőség pontozásához, amelyek bizonyítékkal alátámasztott ítéletek formájában állnak elő. A befagyasztott RewardPack ezután az ügynök kimenetének finomítását és kiválasztását vezérli, és megerősítéses tanuláshoz is felhasználható jutalom gyanánt. A preprint szerzői szerint WorkBuddy Bench Office benchmarkon a háromfutásos konzisztencia (Pass3) 45,0-ről 54,0 százalékra nőtt, Claw-Eval benchmarkon pedig 78,4-ről 83,7 százalékra – mindkét esetben az alapvonalhoz (Baseline) képest mérve, és a benchmark-értékelők sorrendjével 82,3, illetve 80,5 százalékban egyező eredménnyel. A preprint még nem esett át szakmai lektoráláson, így az eredmények megerősítésre szorulnak.