Benchmark-tolmács · Multimodális
MMMU-Pro
Egyetemi szintű, képet és szöveget együtt igénylő feladatokkal méri a multimodális modellek szakmai látását és következtetését.
Más néven: MMMU Pro, Massive Multi-discipline Multimodal Understanding Pro
Mit mér valójában?
A pontszám mögötti képesség
Az MMMU-Pro diagramokat, táblázatokat, térképeket, kottákat, műszaki és természettudományos ábrákat kapcsol egyetemi szintű kérdésekhez. Az eredeti MMMU-ból kiszűri a pusztán szövegből megoldható tételek egy részét, több válaszlehetőséget ad, és külön vision-only beállítást is használ.
A pontszám a vizuális és szöveges információ közös értelmezését, a szakmai tudást és a zárt válaszos következtetést keveri.
Mit nem mér?
Amit ebből a számból nem tudunk
Nem általános képfelismerési teszt, és nem méri a hétköznapi fotók szerkesztését, a videóértést, a dokumentumok teljes feldolgozását vagy a vizuális tartalom létrehozását. Az angol, vizsgaszerű kérdések nem fedik le a természetes felhasználói kérések sokféleségét.
A jó pontszám nem jelenti azt, hogy a modell minden ábratípuson vagy rossz minőségű valódi dokumentumon megbízható.
Mennyire friss?
Friss
Az MMMU-Pro az eredeti MMMU több gyenge pontját célzottan javította, ezért erősebb jel a valódi multimodális következtetésről. Ugyanakkor a készlet rögzített, és a hivatalos repository 2026-ban az MMMU tesztválaszainak nyilvánosságra hozását is jelezte; mindig ellenőrizni kell, pontosan melyik változaton futott a mérés.
Megjelenés: 2024. sze. 4. Adat-időmetszet: 2024-es MMMU-Pro készlet; az MMMU tesztválaszok 2026-ban nyilvánossá váltak
Lehet-e adatszivárgás?
Közepes kockázat
A benchmark anyagai és értékelőkódja hozzáférhetők, így a hosszabb távú tanítóadat-szivárgás kockázata nő. A Pro változat fiatalabb és szigorúbb az eredetinél, de egy modellkártya állítását csak a használt split, prompt és adatkezelési nyilatkozat mellett érdemes összevetni.
Jelent-e bármit a hétköznapokban?
Részleges kapcsolat
Hasznos jel lehet, ha diagramokat, műszaki ábrákat, prezentációkat vagy tananyagokat elemzel. Kevésbé mond sokat a hétköznapi fotókról, a magyar dokumentumokról vagy egy teljes PDF-folyamat pontosságáról, ezért saját mintákkal is érdemes próbálni.