2026. augusztus 17., hétfő · Eszközök

Az Artificial Analysis saját adatokra szabott AI-benchmarkot indított Optima néven

Az Artificial Analysis, amely független LLM-értékeléseiről és olyan benchmarkokról ismert, mint a GDPval-AA vagy az AA-Briefcase, elindította az Optima nevű platformot. A cég állítása szerint a szolgáltatás lehetővé teszi, hogy a felhasználók saját adataik, munkafolyamataik vagy egy feladat leírása alapján egyedi teszteket állítsanak össze, majd ezeken hasonlítsák össze a vezető AI-modelleket minőség, feladatonkénti költség és idő szerint. A platform saját fájlokból, Hugging Face-adatkészletekből, valamint olyan eszközökből érkező adatokat is fogad, mint az Arize, a Braintrust vagy a Langfuse. Adathiány esetén a felhasználó szövegesen írja le a felhasználási esetet, ebből az Optima teszteseteket és értékelési szempontokat generál. A cikk szerint az, hogy egy ilyen egyedi benchmark módszertanilag megalapozott-e, továbbra is a tervezés minőségén múlik.

Miért fontos?

A publikus benchmarkok gyakran nem mutatják meg, melyik AI-modell válik be egy konkrét vállalati feladatnál, ezt próbálja orvosolni az egyedi, adatalapú tesztelés.

Források

The Decoder

Említve a tudásbázisban

Kapcsolódó témák

Napi összefoglalók AI eszközök #Artificial Analysis#AI-benchmark

Napi összefoglaló

Ez a hír a 2026. augusztus 17., hétfő napi AI összefoglaló része.

Kapcsolódó hírek

Egymillió kattintás LinkedIn AI-szemét gombjára

A LinkedIn július 30-án vezette be a „Ez AI-szemétnek tűnik” gombot, amely a posztok hármaspont menüjéből érhető el. Hari Srinivasan termékigazgató csütörtöki bejegyzése szerint a funkciót eddig több mint egymillióan használták, és a platform szerint az AI-generáltként besorolt tartalmak megtekintése 40 százalékkal csökkent néhány hét alatt. A LinkedIn a gomb mellett új, továbbfejlesztett osztályozókat is bevezetett az AI-tartalmak felismerésére, és megszüntette a posztokat AI-val „javító” funkciót. A cég azt is közölte, hogy hamarosan üzenetben jelzi a felhasználóknak, ha mások szerint a posztjuk mesterséges intelligenciával készültnek tűnik. Mindezek az állítások a LinkedIn saját közléséből származnak, független megerősítés a számokról a forrásban nem szerepel.

LinkedIn multi-ügynökös AI-rendszert épített kódellenőrzésre

A LinkedIn mérnökei saját cikkük szerint olyan multi-ügynökös AI-alapú kódellenőrző platformot fejlesztettek, amely a cég méretéhez igazodva váltja fel az egyetlen, kész AI-modellre épülő megoldásokat. A vállalat állítása szerint az egymodelles rendszerek vakfoltokkal küzdenek, nehezen testreszabhatók a szervezeti szabályokhoz és repó-specifikus konvenciókhoz, és korlátozott az üzemeltethetőségük. Ezt a LinkedIn több, egymástól független modellt és következtetési módszert használó AI-értékelővel, rétegzett testreszabással, valamint egy Kubernetes-alapú, eseményvezérelt architektúrával orvosolja, amely figyeli a késleltetést és a szolgáltatói hibákat. A cég szerint, ha több ügynök önállóan ugyanazt a hibát jelzi, azt erős bizonyítéknak tekintik, az egyedi találatokat viszont nem fogadják el automatikusan. Az állítások kizárólag a LinkedIn saját közléséből származnak.

DoorDash: hibrid AI-rendszerrel szűrik a sértő üzeneteket a piactéren

A DoorDash Bruna Pereira előadása szerint egy SafeChat nevű, tartalomtól független AI-moderációs platformot épített, amely a fogyasztók, futárok és éttermek közötti chatüzeneteket figyeli. A cég állítása szerint a korábbi, kizárólag nagy nyelvi modellre (LLM) épülő, drága megoldást egy hibrid architektúrával váltották fel: gyors, saját fejlesztésű modellek szűrik ki az egyértelmű eseteket, míg az árnyaltabb döntéseket többszempontú LLM-pontozás végzi, no-code munkafolyamatokkal és visszatesztelési lehetőséggel kiegészítve. A DoorDash szerint ez az architektúra csökkentette a biztonsági incidensek számát, miközben a rendszer napi több millió üzenetet dolgoz fel. Az állítások a vállalat saját előadásából származnak, független megerősítés a forrásban nincs.

AWS háromrészes útmutatót adott ki kódolás nélküli gépi tanulási folyamathoz Snowflake-kel

Az AWS hivatalos blogján megjelent háromrészes technikai útmutató bemutatja, hogyan építhető fel kódolás nélküli gépi tanulási munkafolyamat Snowflake, Amazon SageMaker Canvas és Amazon Quick segítségével. Az első rész a Snowflake-környezet beállítását ismerteti, a második a Data Wrangler vizuális eszközeivel végzett adat-előkészítést és egy XGBoost algoritmusra épülő csalásdetektáló modell felépítését, a harmadik a modell előrejelzéseinek Amazon Quick Sight-ba importálását és interaktív irányítópultok létrehozását tárgyalja. Az AWS állítása szerint a cél, hogy üzleti elemzők adatszakértők nélkül is építhessenek prediktív modelleket. A sorozat egy egészségügyi szervezet Snowflake-ben tárolt üzemi adataira épülő esetet említ példaként.