2026. július 23., csütörtök · Kutatás

Orvosi mesterséges intelligencia biztonságosságát torzítja az értékelő személye – hiányzó információ mellett

Egy nem lektorált kutatás négy nagy nyelvi modell (Claude Opus 4.8, GPT-5.5, Grok 4.3 és Gemini 3.5 Flash) orvosi biztonságosságát vizsgálta nyílt végű klinikai beszélgetésekben, ahol szándékosan hiányos információt kaptak a modellek. A szerzők szerint az értékelő megválasztása érdemben befolyásolja az eredményt: a négy LLM-bíró közötti egyezés csak közepes (Fleiss-kappa 0,65), és kimutatható pozitív torzítás, ha egy modellt saját szolgáltatójának bírája értékel. Az LLM-bírák ráadásul szignifikánsan engedékenyebbek voltak, mint a vakított klinikai szakértők: 66–84%-ban ismerték el a megfelelő bizonytalanságot, szemben a klinikus 52%-ával. A kutatók hangsúlyozzák, hogy a biztonsági rés nem tudáshiányból, hanem a kalibrációból ered, amit egy zárt végű MedQA-teszttel is alátámasztanak. A csoport a teljes tesztkeretrendszert, promptokat és annotációs protokollt nyilvánosan elérhetővé tette.

Miért fontos?

Rámutat, hogy az orvosi AI-modellek biztonsági értékelése az értékelő választásától függ, ami megkérdőjelezi a jelenlegi benchmarkok megbízhatóságát.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #orvosi AI biztonság#LLM-értékelés

Napi összefoglaló

Ez a hír a 2026. július 23., csütörtök napi AI összefoglaló része.

Kapcsolódó hírek

Klinikai LLM-ek nem a tudásukon véreznek el, hanem az aktív információkeresés szisztematikus kudarcán

Egy nem lektorált kutatás 32 élvonalbeli nagy nyelvi modellt tesztelt hematológiai onkológiai eseteken, ahol a modelleknek három körben kellett aktívan klinikai adatokat kérniük diagnózis előtt. A legjobb modell is csak 68%-os pontosságot ért el. A szerzők szerint a diagnosztikai pontosság legerősebb előrejelzője az információ-felhasználási arány volt (R=0,69), amely az utolsó körre 57%-ról 26%-ra esett, így kezelésválasztáshoz kritikus molekuláris adatok feltáratlanok maradtak. A gondolkodási láncolatok magas klinikai minőséget mutattak (91%), de ez nem korrelált a végső pontossággal. A hibaelemzés a kezdő klinikusokra jellemző kognitív torzításokat – horgonyzást, idő előtti lezárást – azonosította fő hibamódként.

Szelektív tényellenőrzési keretrendszer: a rendszer tartózkodhat, ha gyenge a bizonyíték

Kutatók egy Evidence Chain Evaluation (ECE) nevű szelektív tényellenőrzési keretrendszert mutattak be egy még nem lektorált tanulmányban. A rendszer lényege, hogy az igaz/hamis döntés helyett bizonytalan verdiktet is adhat, ha a rendelkezésre álló bizonyítékok gyengék, szórványosak vagy ellentmondásosak. A módszer webes keresést, tudományos keresést és végrehajtható ellenőrzéseket kombinál, majd strukturált verdiktet ad konfidenciaértékkel és forrásszintű metaadatokkal. A szerzők szerint az ECE-Bench teszthalmazon 91,6 százalékos standard pontosságot és 97,8 százalékos szelektív pontosságot ért el, miközben 95-ből 6 esetet halasztott el – ezek többsége alacsony megbízhatóságú bizonyítéki környezetbe esett. A kutatók hangsúlyozzák, hogy a tartózkodás biztonságorientált mechanizmusként működik az episztemikusan gyenge bizonyítékok kezelésére.

Szemantikus kooperatív játékok: új módszer az ágensek hozzájárulásának mérésére többágenses LLM-rendszerekben

Kutatók egy új keretrendszert javasolnak, amely LLM-alapú többágenses rendszerekben méri az egyes ágensek hozzájárulását a végső kimenethez. A még nem lektorált tanulmány bevezeti a szemantikus Shapley-értéket (SSV) és a SLIC algoritmust, amely egyetlen futtatásból, az ágensek ismételt újrahívása nélkül építi fel a szemantikus hipergráfot és számítja ki az attribúciós értékeket. A szerzők szerint klasszikus feltételek mellett az SSV visszavezethető a hagyományos Shapley-értékre, a SLIC pedig egy orvosi benchmarkon 93,3%-kal csökkentette a számítási költséget a Monte Carlo Shapley-alapvonalhoz képest, nagyfokú konzisztencia mellett. Összetettebb munkafolyamatokban a módszer feltárhatja, hol tér el a szemantikus hozzájárulás és a hibák hatása.

Az anyagtudomány fejlődése kulcsfontosságú a következő generációs mesterséges intelligencia fenntartásához

A félvezetők és adatközpontok egyre szélsőségesebb fizikai követelményeinek kielégítése az anyagtudomány folyamatos fejlődését igényli – állítja az MIT Technology Review elemzése. A cikk szerint a mesterséges intelligencia teljesítménynövekedése nemcsak a chipek tervezésétől és a rendszerarchitektúrától függ, hanem az azokat működtető anyagoktól: polimerektől, elasztomerektől és speciális folyadékoktól. A modern félvezetőgyártás több ezer, szorosan szabályozott lépést foglal magában, ahol a hőmérséklet vagy a kémiai instabilitás minimális eltérései is hibákat okozhatnak és növelhetik a költségeket. Az anyaginnovációs cégek feladata, hogy az egyre nagyobb tisztaságot, kémiai és plazmaállóságot, valamint stabilitást biztosító anyagokat fejlesszenek, amelyek nélkül az AI-fejlődés fizikai korlátokba ütközne.