2026. november 1., vasárnap · Kutatás

A SciGame nevű új kutatási keretrendszer azt méri, mennyire képesek a nagy nyelvi modellekre épülő AI-ügynökök valódi tudományos felfedezésre, nem csupán adatillesztésre. A kutatók egy, az arXiv-on közzétett, még nem lektorált tanulmány szerint tudományos cikkekből strukturált „kártyákat” hoznak létre, amelyekhez eredeti és dimenzionálisan konzisztens kontrafaktuális környezeteket rendelnek, hogy elkülönítsék a tényleges bizonyítékból és az előre betanított tudásból származó teljesítményt. A benchmark klasszikus törvényeket tartalmazó történeti gyűjteményt és a modellek ismereti határideje utáni cikkekből összeállított, friss gyűjteményt is tartalmaz. A szerzők szerint öt élvonalbeli modellen végzett kísérletekben az ismerős előfeltevések rontják a teljesítményt, ha a mögöttes összefüggést megváltoztatják, az adaptív kísérletezés csak az erősebb modelleknek segít, a gyengébbeknek árt korlátozott költségvetés mellett, és a jó magyarázatok elfedhetik a számszerű hibákat.

Egy forrás Ehhez a hírhez egy forráslink áll rendelkezésre.