2026. augusztus 11., kedd · Kutatás

Új benchmark: az AI-modellek még messze nem elég megbízhatóak valódi tudományos felfedezéshez

Egy friss, egyelőre nem lektorált kutatás bemutatja a Science Edge Evaluation (SEE) nevű benchmarkot, amely szakértők által összeállított, kémiai, biológiai és anyagtudományi szakirodalomra és kísérleti gyakorlatra épülő kérdésekből áll. A szerzők 19 multimodális nagy nyelvi modellt teszteltek, és a legjobban teljesítő modell is csak 48,7 százalékos pontosságot ért el, miközben az általános célú modellek átlagosan felülmúlták a tudományra specializált társaikat. Amikor a modellek eszközöket (vizuális ágens módban) is használhattak, a legjobb pontosság 52,7 százalékra nőtt, de a szerzők szerint a több elérhető információ önmagában nem javítja a következtetések megbízhatóságát. A kutatók szerint a fő probléma az, hogy a modellek nem tudják megbízhatóan az eredeti kísérleti bizonyítékok határain belül tartani a tovább feldolgozott információt.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.

Miért fontos?

A benchmark konkrét, mérhető bizonyítékot ad arra, hogy a jelenlegi AI-modellek még nem képesek megbízható, bizonyítékokra alapozott tudományos következtetésekre.

Források

arXiv cs.AI Preprint

Kapcsolódó témák

Napi összefoglalók AI kutatás #multimodális LLM-ek#tudományos benchmark

Napi összefoglaló

Ez a hír a 2026. augusztus 11., kedd napi AI összefoglaló része.

Kapcsolódó hírek

Kutatás: a kereskedelmi LLM-routerek nem múlják felül a véletlen választást

Hat kereskedelmi LLM-router tesztje 14 beállításban, nyolc feladatkategóriát lefedő benchmarkon azt mutatja, hogy egyikük sem múlja felül azt a módszert, amely két gondosan kiválasztott modell közül azonos költség mellett véletlenszerűen választ – áll egy nem lektorált kutatási anyagban (preprint). Némelyik router emellett több mint 10 százalékponttal gyengébben is teljesített, mint e kétmodelles véletlen alapvonal. A szerzők ezt négy visszatérő mintázatra vezetik vissza: a nehézség figyelmen kívül hagyására, a hosszúság szerinti téves rangsorolásra, a szemantikai illesztésre és a modellkészlet nem optimális összeállítására. A tanulmány egy alternatív értékelési módszert és egy egyszerű kétmodelles routert is javasol, amely elkerüli e négy hibát, ám a javulás a véletlenszerű routinghoz képest csekély marad, mert egy jól megválasztott modellpáros már eleve keveset enged javítani.

LLM-ügynökök finomítják az emberi gondolkodás kognitív modelljeit

Kutatók új hibrid rendszert mutatnak be, amely a kognitív algoritmusok felfedezését programfinomítási feladatként kezeli: a korábban kézzel megalkotott, valószínűségi programként megfogalmazott kognitív modelleket LLM-ügynökök vizsgálják felül. Az ügynökök azonosítják, hol tér el a modell az emberi viselkedéstől, kutatói korlátok között kódszintű módosításokat javasolnak, majd ellenőrzik a strukturális hűséget, miközben egy valószínűségi következtető modul számítja ki a rejtett változókat és az adatok valószínűségét. A nem lektorált, arXiv-on közzétett tanulmány szerint a módszert egy problémamegoldási feladatban tesztelték, ahol a felülvizsgált modellek következetesen jobban illeszkedtek az emberi viselkedésre, mint az eredeti modellek, és néhány visszatérő, érdemi viselkedési változatosságot magyarázó innovációt is azonosítottak. A szerzők szerint ez a hibrid megközelítés ötvözi az emberi szakértelem interpretálhatóságát az LLM-ek rugalmasságával és skálázhatóságával.

NASA és IBM nyílt forráskódú alapmodellt épített a Hold kutatására

A NASA és az IBM Research, egyetemi partnerekkel együttműködve, kiadta a NASA-IBM Lunar Foundation Modelt, amelyet a két szervezet az első nyílt forráskódú alapmodellek egyikeként mutat be a holdkutatás számára. A modellt a SomBench nevű adathalmazon tanították be a semmiből, amely a vállalatok állítása szerint a valaha összeállított legnagyobb, egymáshoz illesztett, többmodalitású holdi adatgyűjtemény. A legtöbb adat a Lunar Reconnaissance Orbiter 17 éves megfigyeléseiből származik, kiegészítve a GRAIL, a Lunar Prospector és a japán Kaguya/SELENE szonda méréseivel. A fejlesztők szerint a modell különösen jól teljesít a sarki jégkészletek előrejelzésében és a kráterek felismerésében, mivel címkézett adat kevés, de nyers megfigyelés bőven áll rendelkezésre.

Google-kutatók módszere védi az önfejlesztő AI-ügynököket a tesztek bemagolásától

A Google Cloud AI Research és több egyetem kutatói olyan AI-ügynökökkel foglalkoztak, amelyek saját működési keretrendszerüket (a modellt körülvevő prompt-, eszköz- és logikarendszert) ismételten átírják a jobb teljesítmény érdekében. A kutatók szerint ez a folyamat, amelyet a gyakorlati rekurzív önfejlesztés egy formájának neveznek, komoly hátránnyal jár: az ügynökök a korlátozott tesztfeladat-készleten gyakorolva bemagolják azokat, így a teszteredményeik javulnak, de új, ismeretlen feladatokon alig vagy egyáltalán nem javulnak. Erre válaszul a kutatók egy RRSI nevű módszert dolgoztak ki, amely csökkenő „szerkesztési költségvetéssel” korlátozza az egyszerre bevezethető változtatások számát, és nyomon követi a korábbi sikertelen próbálkozásokat, hogy a rendszer ne ismételje azokat. A cikk állítása szerint az RRSI mindhárom vizsgált területen javulást hozott az ismeretlen feladatokon is, miközben a számítási költségeket is csökkentette.