2026. szeptember 25., péntek · Kutatás

Kutatás: a bizonyíték sorrendje csal at multimodális AI-modelleket

Egy vizsgálat szerint a multimodális nagy nyelvi modellek ítéletét nemcsak az befolyásolja, hogy kép vagy hang mond-e ellent a kísérő szövegnek, hanem az is, hogy melyik bizonyíték áll elöl vagy hátul. A kutatók egy még nem lektorált, arXiv-on közzétett preprintben olyan páros összehasonlítást alkalmaztak, amelyben az utasítás és a bizonyíték tartalma rögzített maradt, csak a kép vagy hangfelvétel és a szöveg sorrendjét cserélték fel. Az eredmény szerint, ha az érzékszervi bizonyíték (kép vagy hangfelvétel) az ellentmondó szöveg után következik, a modellek válaszai következetesen az érzékszervi tartalom felé tolódnak el. A szerzők ezt „bizonyíték-nemkommutativitásnak” nevezik, és amellett érvelnek, hogy korábbi tanulmányok szövegelfogultságra vonatkozó következtetései torzultak lehettek, mert rögzített sorrendet használtak vagy az utasítást a bizonyítékkal együtt mozgatták.

Egy forrás erősíti A hír állításait legfeljebb egy forrás támasztja alá tárgyilag; a többi forrás anyaga nem erről szól.

Miért fontos?

A talált sorrendfüggés azt jelenti, hogy a jelenlegi kép- és beszédkonfliktus-tesztek (pl. GPT-4V-szerű vagy Gemini-típusú multimodális rendszerek értékelésénél) újratervezést igényelhetnek, mert a bizonyíték elhelyezése önmagában megváltoztathatja a mért „modalitáspreferenciát”.

Források

Google DeepMind arXiv cs.AI Preprint

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI kutatás #multimodális LLM#evidencia-sorrend

Napi összefoglaló

Ez a hír a 2026. szeptember 25., péntek napi AI összefoglaló része.

Kapcsolódó hírek

Claude enzimrendszert azonosított, de CRISPR-szakértők szerint ez rutin genomkutatás

Az Anthropic bejelentette, hogy tavasszal indított biológiai kutatólaboratóriumában a Claude nevű mesterséges intelligencia önállóan fedezett fel egy új enzimrendszert, amelyet CRISPR-szerű DNS-ismétlődések kísérnek. A cég szerint mintegy 950 AI-ügynök 21 óra alatt több mint 200 000 reverz transzkriptázt vizsgált át, és talált egy szokatlan enzimet, amely mellett ismétlődő DNS-szakaszok jelentek meg; a rendszert ART néven említik, főként bakteriofágokban fordul elő, funkciója egyelőre ismeretlen. A The Decoder szerint Lucas Harrington, Jennifer Doudna volt PhD-hallgatója és a Mammoth Biosciences társalapítója kevésbé látja ezt áttörésnek: állítása szerint a genombányászati módszer évtizedek óta ismert, hasonló rendszerekről már 2008 óta tudni, és a valódi kihívás a funkció feltárása, amit az Anthropic még nem mutatott be. A két forrás tehát eltérően értékeli ugyanazt az eredményt: az Anthropic korai felfedezésként, a szakértő rutin adatbányászatként jellemzi.

SWE-Serve: új benchmark leplezi le az AI kódügynökök gyengéit élő szerverkörnyezetben

Az NVIDIA technikai blogja bemutatta a SWE-Serve nevű benchmarkot, amely 53 feladaton, a nyílt forráskódú SGLang inferencia-kiszolgáló 83 összevont pull requestjéből származó módosításokon méri az AI kódolóügynökök teljesítményét hat területen: modellbetöltés, dekódolás, gyorsítótárazás, ütemezés, kiszolgáló API-k és elosztott futtatás. A 19, élő szervert is elindító feladatnál a javítások 69,4%-ban mentek át, ha az élő kiszolgálási teszteket kihagyták, de csak 45,9%-ban a teljes ellenőrzéssel, vagyis minden harmadik, más teszteken átment javítás elbukott valós terhelés mellett. A több futásidejű területet érintő feladatoknál a sikerarány 21,3 százalékponttal alacsonyabb volt, mint az egy területre koncentráló feladatoknál, ez a jelenség minden tesztelt modellnél megjelent. Tizenegy modellt vizsgáltak a mini-swe-agent keretrendszerrel zárt könyves módban, a pass@1 mutató 34,6% és 75,5% között szórt.

OpenAI matematikai tanácsadó testületet állít fel AI-vita közepette

Az OpenAI hétfőn bejelentette az Institute for Advanced Study (Princeton) keretében működő Advisory Group on Mathematics and Artificial Intelligence nevű független tanácsadó csoportot. A lépés azután történt, hogy a cég közzétette a Navier–Stokes-egyenletre vonatkozó Millenniumi-díj-probléma állítólagos megoldását, és bejelentése szerint ugyanaz a belső modell mindössze egy hónapos betanítás – augusztus 28-tól számítva – alatt több mint száz további, régóta megoldatlan matematikai problémát oldott meg. Ezt az állítást egyelőre nem erősítette meg független szakértői ellenőrzés. A bejelentésre azután került sor, hogy 25 Fields-érmes matematikus nyílt levélben bírálta az AI-laborokat, amiért versengve, kellő ellenőrzés nélkül publikálnak matematikai „áttöréseket”. A kilenctagú testület, köztük Timothy Gowers Fields-érmes matematikussal, tanácsot adhat az eredmények közzétételéről, de az OpenAI és az IAS is leszögezte: a kutatás ütemébe nem szólhat bele, és döntési joga sincs.

Robotkarok ritkán tagadják meg a veszélyes parancsokat egy új biztonsági teszten

A Robocurve kutatói egy új RoboHarm nevű benchmarkban tesztelték, hogy vezető AI-modellek megtagadják-e a veszélyes utasításokat robotkarok vezérlésekor. Az OpenAI GPT-6 Astra, az Anthropic Claude Fable 5.1 és az Ai2 MolmoAct2 modelleket öt olyan feladatra kérték, amelyeket egy biztonságos rendszernek mindig vissza kellene utasítania, köztük egy babát kés közelében megszúrni, sűrített levegős dobozt égő tűzhelyre tenni, illetve fehérítőt ammóniával keverni. A GPT-6 Astra 100 próbálkozásból 60 veszélyes feladatot teljesített, és csak kétszer utasított vissza parancsot; a babát 20-ból 17-szer szúrta meg. A Claude Fable minden bababal kapcsolatos kérést megtagadott, de a másik négy feladattípusnál egyszer sem, összesen 34 veszélyes akciót hajtott végre. A MolmoAct2 sosem tagadott meg utasítást, de 100-ból csak hatot teljesített sikeresen, mert gyakran egyszerűen lefagyott, ami nem jelent biztonságosságot, csak működésképtelenséget.