2026. július 15., szerda · Kutatás

Klinikai LLM-ek nem a tudásukon véreznek el, hanem az aktív információkeresés szisztematikus kudarcán

Egy nem lektorált kutatás 32 élvonalbeli nagy nyelvi modellt tesztelt hematológiai onkológiai eseteken, ahol a modelleknek három körben kellett aktívan klinikai adatokat kérniük diagnózis előtt. A legjobb modell is csak 68%-os pontosságot ért el. A szerzők szerint a diagnosztikai pontosság legerősebb előrejelzője az információ-felhasználási arány volt (R=0,69), amely az utolsó körre 57%-ról 26%-ra esett, így kezelésválasztáshoz kritikus molekuláris adatok feltáratlanok maradtak. A gondolkodási láncolatok magas klinikai minőséget mutattak (91%), de ez nem korrelált a végső pontossággal. A hibaelemzés a kezdő klinikusokra jellemző kognitív torzításokat – horgonyzást, idő előtti lezárást – azonosította fő hibamódként.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A kutatás szerint az LLM-ek orvosi tudása önmagában nem elegendő: a valós klinikai döntéshozatalhoz szükséges aktív információkeresés szisztematikusan kudarcot vall.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #klinikai döntéshozatal#LLM-értékelés

Napi összefoglaló

Ez a hír a 2026. július 15., szerda napi AI összefoglaló része.

Kapcsolódó hírek

LivingArena: nyelvi modellek egymást tesztelik, hogy kiderüljenek gyengeségeik

Kutatók egy nem lektorált arXiv-tanulmányban bemutatják a LivingArena nevű értékelési keretrendszert, amely a nyelvi modellek egymás közti tesztelésén alapul. A módszer szerint a modellek felváltva tesznek fel kérdéseket egymásnak azzal a céllal, hogy olyan feladatot találjanak, amit az ellenfél nem tud megválaszolni; a kérdező akkor kap jutalmat, ha a másik modell hibázik, a válaszadó pedig akkor, ha helyesen felel. Egy erős modellekből álló bírálóbizottság ellenőrzi, hogy a kérdéseknek objektíven igazolható válaszuk van-e. A szerzők tíz élvonalbeli nyelvi modell tesztelésével stabil Elo-ranglistát állítottak elő, és megfigyelésük szerint a modellek felismerik és célzottan kihasználják egymás gyenge pontjait. A módszer csak gyengén korrelál az emberi preferenciákkal, de olcsó, skálázható folyamatos értékelést kínálhat.

Orvosi mesterséges intelligencia biztonságosságát torzítja az értékelő személye – hiányzó információ mellett

Egy nem lektorált kutatás négy nagy nyelvi modell (Claude Opus 4.8, GPT-5.5, Grok 4.3 és Gemini 3.5 Flash) orvosi biztonságosságát vizsgálta nyílt végű klinikai beszélgetésekben, ahol szándékosan hiányos információt kaptak a modellek. A szerzők szerint az értékelő megválasztása érdemben befolyásolja az eredményt: a négy LLM-bíró közötti egyezés csak közepes (Fleiss-kappa 0,65), és kimutatható pozitív torzítás, ha egy modellt saját szolgáltatójának bírája értékel. Az LLM-bírák ráadásul szignifikánsan engedékenyebbek voltak, mint a vakított klinikai szakértők: 66–84%-ban ismerték el a megfelelő bizonytalanságot, szemben a klinikus 52%-ával. A kutatók hangsúlyozzák, hogy a biztonsági rés nem tudáshiányból, hanem a kalibrációból ered, amit egy zárt végű MedQA-teszttel is alátámasztanak. A csoport a teljes tesztkeretrendszert, promptokat és annotációs protokollt nyilvánosan elérhetővé tette.

DeepMind AI-ja kilenc Erdős-problémát oldott meg, lektorált tanulmányban

A Google DeepMind új rendszere, az AlphaProof Nexus a Gemini 3.1 Pro nyelvi modellre épül, és a Science folyóiratban megjelent, lektorált tanulmány szerint kilencet megoldott a 353 nyitott Erdős-probléma közül, köztük kettőt, amely 56 éve várt megoldásra. A cég szerint a rendszer emellett 44 sejtést bizonyított az OEIS egész szám-sorozat adatbázisából, megoldott egy nyitott algebrai geometriai kérdést, és javított egy ismert korlátot a min-max optimalizálásban, amelyet egyes AI-modellek betanításához is használnak. A rendszer a Lean formális nyelven vázolja és javítja a bizonyításokat, a Lean minden szerkesztés után ellenőrzi azokat, a hibaüzenetek pedig irányítják a következő próbálkozást, nehezebb részfeladatoknál pedig a specializált AlphaProof eszközt is bevetheti. A publikáció éles vitába csöppent: a lap szerint az OpenAI korábban több száz AI-generálta bizonyítást töltött fel a GitHubra anélkül, hogy folyóiratnak nyújtotta volna be őket, amit a Terence Tao vezette Association for Human Mathematics bojkottra szólított fel, míg a DeepMind a saját munkáját lektorálásnak vetette alá.

Microsoft Research: diákszimulátorral finomítanák az AI-oktatókat

A Microsoft Research bemutatta a StudentSim nevű kutatási rendszert, amely a vállalat szerint nyilvánosan elérhető, anonimizált tanulói adatokból személyre szabott AI-diákszimulátorokat épít, egyet-egyet minden egyes tanulóhoz igazítva. A cél az, hogy az AI-oktatórendszerek fejlesztői gyorsan és olcsón kapjanak visszajelzést arról, hogyan reagálnak a diákok egy-egy tanácsra, és javul-e a megértésük, anélkül, hogy minden iterációhoz valódi tanulói kísérletre lenne szükség. A rendszert a StudentSimEval nevű benchmarkon tesztelték sakk, angol mint idegen nyelv írásos feladatai és matematika területén, és a Microsoft állítása szerint felülmúlta a vezető alapmodelleket abban, hogy mennyire hitelesen utánozza egy adott diák válaszait és azok változását a tanári útmutatás után. A cég hangsúlyozza, hogy a StudentSim kutatási eszköz, nem éles termék, nem használják tantermekben, és nem helyettesíti a tanárokat.