2026. október 28., szerda · Kutatás

Kutatók szerint adatszivárgás torzítja a ritka betegségeket diagnosztizáló AI-rendszerek eredményeit

Egy nem lektorált kutatási anyag (preprint) szerzői 60 000-nél több klinikai esetet felhasználva auditálták a ritka betegségek diagnosztizálására használt, nagy nyelvi modellekre épülő AI-rendszereket. A kutatók azt állítják, hogy a szigorú, adathalmazok közötti elkülönítés bevezetése után az ágensalapú rendszerek Recall@1 mutatója 54,3 százalékról 40,3 százalékra esett vissza, míg a felügyelt osztályozók pontossága 42,9 százalékról 16,7 százalékra csökkent külső kohorszokon tesztelve. A szerzők szerint ez azt jelzi, hogy a korábbi magas benchmark-eredmények jelentős részben a jelölt-térben megjelenő adatszivárgásból, nem pedig valódi orvosi következtetésből fakadnak. A tanulmány azt is állítja, hogy a modellek a klinikai leírásokban szereplő, utólagos terápiás nyomokat használják fel a diagnózis kitalálásához, és javasol egy szigorúbb, adatelkülönítésen alapuló értékelési keretrendszert.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A szerzők szerint a jelenlegi értékelési protokollok a ritka betegségek diagnosztizálására szánt AI-rendszerek esetében nem a valódi orvosi döntéshozatali képességet, hanem a tesztadatok szivárgását mérik, ami megkérdőjelezi a klinikai alkalmazhatóságukat.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #ritka betegségek#nagy nyelvi modellek

Napi összefoglaló

Ez a hír a 2026. október 28., szerda napi AI összefoglaló része.

Kapcsolódó hírek

Helyben futtatható nyelvi modellek japán gyógyszerészvizsgán

Japán kutatók a Scientific Reports folyóiratban közölt, korai hozzáférésű tanulmányukban négy, helyben (lokálisan) futtatható nagy nyelvi modellt teszteltek a Japán Nemzeti Gyógyészvizsga (JNEP) 109. kiadásának 165 szöveges kérdésén. A vizsgált modellek – a phi-4, a DeepSeek R1 Distill Qwen (DSR1-Qwen32B), valamint két japánra finomhangolt DSR1-Qwen variáns – 55,2% és 76,4% közötti pontosságot értek el. A szerzők szerint a LoRA nevű, erőforrás-hatékony finomhangolási módszer a phi-4 modell pontosságát 60,6%-ról 66,1%-ra javította, ami arra utal, hogy a feladatspecifikus adaptáció növelheti a teljesítményt. A kutatók hangsúlyozzák, hogy az eredmények előzetes bizonyítékot jelentenek arra, hogy helyben futtatható modellek és erőforrás-takarékos adaptációs technikák alkalmazhatók strukturált, tudásalapú vizsgákon, de szükség van szélesebb körű vizsgálatokra is.

LLM-ekkel automatizált szakirodalmi áttekintés járványmodellekről

Egy nem lektorált, arXiv-on közzétett tanulmány szerint kutatók nagy nyelvi modellekre épülő feldolgozási láncot fejlesztettek 536, lektorált ágensalapú betegségterjedési modelleket bemutató cikk automatikus feldolgozására, majd az eredményeket emberi kutatók szisztematikus szakirodalmi áttekintésével vetették össze. A szerzők állítása szerint a GPT-4.1 cikkszintű pontossága mintegy 77,95%, a GPT-5.0-é 81,67% volt, míg mezőnkénti szinten a pontosság 32,40% és 100% között szórt, a bonyolultabb, szubjektívebb mezőknél megbízhatatlanabbul. A tanulmány szerint az LLM-ek közötti egyezés a kimenet minőségének jelzője lehet: alacsony egyezés hallucinációra, magas egyezés alacsony pontossággal párosulva pedig az emberi adathalmaz hibáira utalhat.

Kutatók AI-val kísérleteztek légiforgalmi irányítói szövegek generálására

Egy nem lektorált, arXiv-on közzétett preprint azt vizsgálta, hogy nagy nyelvi modellek képesek-e hiteles légiforgalmi irányítói (ATC) közléseket generálni egy San Francisco feletti kísérleti repülés kézzel átírt rádióforgalma alapján. A szerzők kilenc modellt teszteltek öt, egyre szigorúbb promptszerkezettel, miközben a modell a pilóta rögzített szövegére válaszolva játszotta az irányító szerepét. Eredményeik szerint egy kidolgozott minta beillesztése javította a hasonlóságot a valós adatokhoz, ám a prompt szigorítása nem: a legkötetlenebb utasítások teljesítettek legjobban, míg a legrészletesebben szkriptelt verzió saját hibái miatt fokozatosan összeomlott, amit a helyes előzményszöveg beillesztése korrigált. A szerzők szerint ez konkrét, de korlátokkal terhelt utat vázol fel az LLM-alapú ATC-asszisztencia felé.

A Tencent TGR-EvoDAG rendszere önállóan fejleszti az ajánlóalgoritmusokat

Kutatók bemutatták a TGR-EvoDAG nevű, több ügynökös kódfejlesztési keretrendszert, amely irányított aciklikus gráfként modellezi a generatív ajánlórendszerek algoritmusainak automatikus fejlesztését. A szerzők szerint a módszer figyelembe veszi az egyes fejlesztési szakaszok eltérő GPU-költségeit, és kezelni tudja azokat az újításokat, amelyek átmenetileg rontják a metrikákat, mielőtt a későbbi lépések kiaknáznák azok előnyeit. A nem lektorált, arXiv-on közzétett tanulmány szerint az Amazon nyilvános adatkészletein a rendszer akár 37,4%-kal javította az offline metrikákat, és 19,7%-kal növelte az Agent4Rec szimulált felhasználói elégedettségét a legjobb alapmodellhez képest. A szerzők szerint a Tencent kereskedelmi médiaplatformján végzett bevezetés során a rendszer 12,16%-os relatív javulást ért el az offline Hit@1 mutatóban, és 0,40 százalékpontos, statisztikailag szignifikáns növekedést hozott az online kattintási arányban.