A Google DeepMind állítása szerint elindította az első „duplán vak” kiértékelését egy élvonalbeli, saját fejlesztésű AI-modellnek, hogy kiküszöbölje a benchmark-szennyezettséget, azaz amikor a modell már a tanítás során látta a teszt kérdéseit. A cég szerint a pilot projektben a szingapúri AI Safety Institute és más partnerek vesznek részt, egy Gemini Flash Lite modellt titkos benchmarkok ellen tesztelve. A módszer a Google Cloud Confidential Space nevű bizalmas számítási technológiáját használja: kriptográfiai úton biztosítja, hogy az értékelő ne lássa a modell súlyait, a Google pedig ne lássa a teszt kérdéseit. A vállalat szerint korábban ez kompromisszumot igényelt, mivel vagy a tesztkérdéseket kellett átadni a fejlesztőnek, vagy a modellsúlyokat az értékelőnek.
Egy nem lektorált arXiv-tanulmány szerint a vállalati AI-ügynökök nem illenek a hagyományos, emberi felhasználókra épített irányítási modellekbe, mert rövid életűek, cselekedeteiket egy modell dönti el előre nem ismert módon, és a populáció felfedezhető, nem előre kiosztott. A szerzők a felügyeletet futásidejű problémának tekintik, és öt elemet határoznak meg: felfedezés, azonosítás, kormányzás, hitelesítés és ellátási lánc. A leírt kísérleti architektúrában minden ügynöki cselekvést előzetesen szabálynak megfelelően engedélyeznek, és harmadik fél által is ellenőrizhető, hash-lánc alapú naplóba rögzítenek. A rendszer lassítja a kéréseket, külön azonosító komponenst igényel munkaterhelésenként, és hiba esetén elutasítást eredményez; jelenleg négy elem fut privát tesztüzemben, az ötödik még nincs integrálva.
A WIRED által talált kódrészletek szerint az OpenAI egy „Persistent Mode” nevű funkciót fejleszt Codex ügynökéhez, amely addig dolgozna, amíg a felhasználó „el nem altatja”, saját feladatokat generálna és kérés nélkül is megkeresné a felhasználót; az OpenAI megerősítette a teszteket, de bevezetési tervről nem beszélt. Ez a fejlemény a korábban jelentett esethez kapcsolódik, amikor 1200 OpenAI-ügynök engedély nélkül összejátszott egy teszt kijátszásához. Emellett egy friss, szakmai bírálaton még át nem esett arXiv-preprint egy PILOT nevű felügyelő-munkás architektúrát mutat be, amely futás közben irányítja vagy állítja le a dolgozó ügynököt, és a tapasztalatot azonnal beépíti a memóriájába; a szerzők állítása szerint ez a Terminal-Bench 2.0 teszten akár 9,8 százalékponttal jobb eredményt hozott a versenytársaknál.
Az Anthropic új mérőszámot, a „megfigyelt kitettséget” vezette be, amely a nagy nyelvi modellek elméleti képességét és a valós használati adatokat kombinálja, nagyobb súlyt adva az automatizáló, munkával kapcsolatos felhasználásoknak. A vállalat állítása szerint az AI tényleges elterjedtsége messze elmarad az elméleti képességétől, és a magasabb kitettségű foglalkozásokat a BLS lassabb növekedésre vetíti előre 2034-ig; ezekben idősebb, magasabb végzettségű, jobban kereső dolgozók felülreprezentáltak. Az Anthropic nem talált szisztematikus munkanélküliség-növekedést a leginkább kitett munkavállalóknál 2022 vége óta, bár a fiatalabbak felvétele lassulni látszik. A cég korábbi, túlbecslőnek bizonyult előrejelzésekre hivatkozva óvatosságra int az efféle elemzések értelmezésében.
