Llama

Llama a hírekben

1. Eszközök 2026. október 31., szombat

   A Netflix elosztott rendszerként kezeli a GPU-k megbízhatóságát

   A Netflix saját cikkében bemutatta, hogyan épít megbízhatósági platformot nagy léptékű GPU-alapú tréning- és következtetési feladatokhoz. A vállalat szerint a rendszer többrétegű hardverellenőrzéseket (NVIDIA DCGM, hálózati adapter-figyelés), automatikus hibajavítást és hibatűrő tréninget kombinál Kubernetes és Karpenter alapon, hogy egyetlen hibás GPU vagy lassú gép ne állítsa meg a hetekig futó, több száz GPU-t használó modellbetanítást. A Netflix adatai szerint ezzel 99,95% feletti GPU-csomópont-rendelkezésre állást és a feladatok sikerességi arányának körülbelül 98%-ról 99,5% fölé emelését érték el. A platform checkpointingot, rugalmas workereket és az NVIDIA Multi-Instance GPU (MIG) technológiáját is használja, hogy a kisebb következtetési feladatok megosztva, izolált memóriával futhassanak egy GPU-n.

2. Kutatás 2026. október 27., kedd

   Kutatók feltárták, miért fárasztó olvasni az AI szövegeit

   A New York-i Egyetem és a Texasi Egyetem (Austin) kutatói szerint a vezető nyelvi modellek szövegei szisztematikusan nehezebben olvashatók, mint az emberi írás. A kutatás 14 modellt – köztük Claude, GPT-5.6, GLM-5 és Kimi K2.5 – vizsgált, 120 beszélgetést, 45 kódolási munkamenetet és 980 esszét elemezve, emberi szövegekkel összevetve. A szerzők hat jellegzetes mintát azonosítottak, például szokatlan szóösszetételeket és távolra helyezett mondatrészeket, amelyek megnehezítik a megértést. Szerintük ez azért alakul ki, mert a modellek tanítása inkább a matematikai és kódolási feladatok helyességét jutalmazza, nem az olvashatóságot, az RLHF helyett egyre inkább RLVR módszert alkalmazva. A kisebb modellek, mint a Llama és az Olmo alapváltozata, közelebb maradtak az emberi íráshoz, míg az Anthropic Opus 5.5 a kutatók szerint 21 összehasonlításból 19-ben javult elődjéhez képest.

3. Eszközök 2026. október 26., hétfő

   A Google nyílt forráskódúvá tette az ML Drift GPU-gyorsító motort

   A Google bejelentette, hogy nyílt forráskódúvá tette az ML Drift nevű, platformfüggetlen GPU-számítási motort, amely Apache 2.0 licenc alatt támogatja az OpenGL ES, OpenCL, Metal és WebGPU API-kat. A vállalat szerint ez a LiteRT keretrendszer alapmotorja, és már milliónyi eszközön fut olyan alkalmazásokban, mint a Chrome, a YouTube Shorts, a Fotók és a Meet. A cég közlése szerint a Gemma modelleken végzett belső teszteken az ML Drift 12%-kal kisebb memóriaterhelést produkált, mint a llama.cpp és az MLX LM keretrendszerek. A Google azt is állítja, hogy a YouTube Shortsban a szegmentáláson alapuló effektusok átlagos képkocka-késleltetését Androidon és iOS-en akár 40%-kal csökkentette az új motor.

4. Kutatás 2026. szeptember 19., szombat

   Új benchmark: LLM-ek megbízhatatlanok autós hangparancsok engedélyezésénél

   Kutatók egy 202 forgatókönyvből álló benchmarkot dolgoztak ki, amely azt méri, mennyire biztonságosan döntenek a nagy nyelvi modellek (LLM) autós hangasszisztensek parancsainak kezeléséről – végrehajtás, elutasítás, visszaigazolás vagy manuális vezérlés között. A nem lektorált arXiv-preprint szerint a Gemini 3.1 Pro Preview érte el a legjobb, 89,1%-os egyezést a referenciadöntésekkel, míg a Llama 3.2 3B csak 40,1%-ot; a három API-alapú modell 83,2-89,1% között teljesített, szignifikáns különbség nélkül. Még a legjobb modellek is 2-3 hamis végrehajtást produkáltak a 161 nem-végrehajtási esetből, és a visszaigazolási döntéseknél tartós hibák maradtak. A szerzők szerint a strukturált LLM-döntések önmagukban nem elégségesek, független érvényesítési rétegre van szükség a valós autós beépítéshez.

5. Modellek 2026. szeptember 18., péntek

   NVIDIA: 6,4-szer gyorsabb agentikus AI-következtetés a Jetson AGX Thor élperemes chipen

   Az NVIDIA saját közleménye szerint a TensorRT Edge-LLM szoftverük a Qwen3.6-27B modellt futtatva egyetlen Jetson AGX Thor fejlesztői eszközön 52,33 tokent generált másodpercenként, és az MLPerf Inference v6.1 Edge Agentic teszt mind az 1007 fordulóját 24 perc 36 másodperc alatt teljesítette. Ez a vállalat mérése szerint 6,4-szer gyorsabb, mint a llama.cpp referencia-futtatás 2 óra 37 perces ideje. A gyorsítást az NVIDIA szerint az NVFP4 kvantálás, az FP8 KV-gyorsítótár, egy fastruktúrás többtokenes predikció és a promptok mintegy 96 százalékát kiszolgáló KV-gyorsítótár-újrahasznosítás kombinációja adja. A cég állítása szerint a fastruktúrás predikció önmagában mintegy 40 százalékos dekódolási teljesítménynövekedést ad a lineáris megoldáshoz képest függvényhívásos munkaterheléseknél.

6. Eszközök 2026. szeptember 15., kedd

   Az AWS nyolclépéses útmutatót adott ki a generatív AI testreszabásához

   Az AWS hivatalos blogbejegyzése egy nyolclépéses döntési keretrendszert mutat be, amellyel a fejlesztők eldönthetik, milyen mélységű testreszabás szükséges egy generatív AI-feladathoz az Amazon Bedrock platformon. A bejegyzés szerint a testreszabási spektrum három fő kategóriára oszlik: a modell változtatás nélküli használata jobb promptokkal, a dokumentumok bevonása retrieval augmented generation (RAG) technikával, illetve a finomhangolás vagy teljesen egyedi modell betanítása. Az AWS azt állítja, hogy a csapatok gyakran rossz döntést hoznak: túl korán nyúlnak finomhangoláshoz, amikor egy jól megírt prompt is elég lenne, vagy éppen ellenkezőleg, hetekig ragaszkodnak a prompt-optimalizáláshoz olyan feladatoknál, amelyek valójában dedikált tanítóadatot igényelnének. A cég szerint mindkét hiba plusz számítási költséggel, csúszó határidőkkel és a megrendelők bizalmának elvesztésével jár. A bejegyzés az Anthropic Claude, az Amazon Nova és a Meta Llama modellek Bedrock-on keresztüli elérhetőségét említi konkrét példaként.

7. Eszközök 2026. szeptember 2., szerda

   Az NVIDIA útmutatót ad az AI-inferencia GPU-igényének méretezéséhez

   Az NVIDIA saját technikai blogján közölt útmutatót arról, hogyan méretezhetők pontosan a GPU-erőforrások AI-inferencia feladatokhoz és hogyan optimalizálható a teljes birtoklási költség. A vállalat szerint az inferencia-terheléseket négy fő kategóriába (chatbotok, AI-ügynökök, tartalomgenerálás, fordítóalkalmazások) sorolva eltérő tokenmintázatok rajzolódnak ki, amelyek meghatározzák a memória- és számításigényt. Az NVIDIA egy úgynevezett „core-and-flex” modellt javasol, amely helyi vagy foglalt felhő-GPU-kat kombinál a rugalmas, csúcsidőszaki felhőkapacitással. A cég állítása szerint a Model Optimizer eszközükkel végzett FP8 utólagos kvantálás újratanítás nélkül 43,5%-kal csökkentette a Llama-3.1-8B modell memóriaigényét, míg egy Qwen3-8B modellből metszéssel és desztillációval mintegy 6 milliárd paraméteres kisebb modellt hoztak létre.

8. Kutatás 2026. augusztus 12., szerda

   Preprint: azonosság-torzítás az AI-bírák pontozásában, blokklánc a megoldásra

   Egy nem lektorált arXiv-tanulmány szerint hét nagynyelvi modellt – köztük a GPT-OSS 120B-t, a Llama 3.3 70B-t és a DeepSeek V4 Pro-t – bíráló szerepben teszteltek: ezek pontozták három elsődleges modell válaszait 58 tényszerű, gondolkodási, politikai és preferenciaalapú kérdésen, anonim és azonosítóval ellátott formában is. A szerzők állítása szerint az azonosság felfedése enyhén torzítja a tényszerű kérdések pontszámát, közepesen a nehéz gondolkodási feladatokét, és nagymértékben a geopolitikailag érzékeny témákét; a GLM 5.1 pontszáma 7 ponttal, a Llama 3.3 70B-é 1,56 ponttal emelkedett szignifikánsan. A torzítás orvoslására a kutatók egy Ethereum-kompatibilis, kétfázisú „commit-reveal” blokkláncprotokollt javasolnak, amely a bírák pontszámát hash formában rögzíti, mielőtt a modellek azonossága kiderülne.

9. Modellek 2026. augusztus 11., kedd

   A Meta megjelentette a Muse Glimmer nyílt súlyú AI-ügynökmodellt

   Meta kiadta a Muse Glimmer nevű 30 milliárd paraméteres, sűrű architektúrájú modellt, amelynek súlyait Apache 2.0 licenc alatt, nyíltan tette elérhetővé a Hugging Face-en. A vállalat szerint a modellt kifejezetten helyi, folyamatosan futó AI-ügynökök számára optimalizálták: egyetlen fogyasztói GPU-n, akár internetkapcsolat nélkül is képes futni, és több mint 100 nyelven, szöveget és képet is kezel. A The Decoder szerint Meta saját benchmarkjai alapján a Glimmer a Google Gemma és az Alibaba Qwen hasonló méretű nyílt modelljeivel versenyképes ügynöki feladatokban, ám a mérés a vállalat saját, nem független tesztkörnyezetében történt. Ez Meta első nyílt modellje a 2025 tavaszi Llama 4 óta, amelyet gyenge fogadtatás és manipulált benchmarkok miatti kritika ért. NVIDIA és Hugging Face már nap-nulla támogatást biztosít a modellhez több futtatókörnyezetben.

10. Üzlet 2026. augusztus 8., szombat

    Az AMD felvásárolta a Taalas AI-chipfejlesztőt

    Az AMD bejelentette, hogy megvásárolja a 2023-ban Torontóban alapított Taalas nevű startupot, amely különleges inferencia-chipeket fejleszt. A Taalas technológiája egy AI-modell architektúráját és betanított paramétereit közvetlenül a szilíciumba égeti, ami rendkívül gyors futtatást tesz lehetővé, viszont minden chipet egyetlen konkrét modellhez köt. A cég állítása szerint egy demó chip Llama 3.1-8B modellel felhasználónként 16 000 token/másodperc feletti sebességet ért el, ami sokszorosa a versenytárs hardvereknek. Az AMD a technológiát a jövőbeli gyorsítói közé illeszti, és az Instinct GPU-k mellett rendszerszintű megoldásként kínálja majd. A felvásárlás a szokásos hatósági jóváhagyásoktól függ.

11. Kutatás 2026. augusztus 7., péntek

    Csali-eszközökkel tesztelték, mennyire dőlnek be az AI-ügynökök hamis funkcióknak

    Kutatók új diagnosztikai módszert dolgoztak ki annak feltárására, miért választanak rossz eszközt a nagy nyelvi modellek alapú AI-ügynökök. A módszer úgynevezett csali-eszközöket épít be a rendelkezésre álló eszközkészletbe, amelyek hat kategóriába sorolt módon próbálják megtéveszteni a modellt, például hamis képességet sugallva vagy hiányzó előfeltételt elrejtve. A szerzők nyolc modellt teszteltek 120 feladaton, több ezer futtatásban, és azt találták, hogy a megtévesztésre való hajlam a modellek között akár 36-szoros különbséget mutatott: a Claude Opus 4.8 volt a legellenállóbb, a Llama 3.1 8B a legsérülékenyebb. A kutatás szerint a modell mérete önmagában nem garantálja a biztonságos eszközválasztást, egy gyártón belül néha az olcsóbb modell teljesített jobban. Az eredmény jelenleg lektorálatlan preprintként érhető el.

12. Kutatás 2026. augusztus 6., csütörtök

    Kutatók stressztesztje leplezi le a szerepjátékos AI-ügynökök gyengeségeit

    Kutatók egy nem lektorált arXiv-tanulmányban egy háromügynökös rendszert mutatnak be, amely szerepjátékos nyelvi ágensek (RPLA) viselkedését teszteli hosszú, többfordulós párbeszédekben. Egy „kihallgató” ügynök hat egyre agresszívabb manipulációs stratégiát alkalmaz, egy célágens képviseli a tesztelt AI-t, egy pedig automatikusan pontozza a szerephűséget, az eltérést és az etikai következetességet. A szerzők állítása szerint három perszóna és három modellcsalád (Llama-3.3-70B, GPT-4o-mini, Claude-3.5-Haiku) tesztelésekor a többstratégiás támadás átlagosan 0,17-0,20 ponttal csökkentette a robusztussági pontszámokat, a hatóság-kihívás és az emocionális manipuláció bizonyult leghatékonyabbnak. Az automatikus értékelés a szerzők szerint erősen egyezett az emberi ítéletekkel, a platformot nyílt forráskódúként teszik közzé.

13. Kutatás 2026. július 11., szombat

    NVIDIA: JAX host offloading akár 57%-kal javítja a nagy nyelvi modellek tanítási átvitelét Blackwell GPU-kon

    Az NVIDIA technikai blogja szerint a JAX keretrendszerben alkalmazott host offloading technika jelentősen csökkenti a GPU HBM-szűk keresztmetszetét LLM-tanítás során: a forward pass közben kiválasztott aktivációkat hoszt memóriába mozgatja, majd a backward passnál visszatölti. Az NVIDIA GB200 NVL72 rendszeren végzett MaxText kísérletekben a DeepSeek-V3 671B és Llama 3.1 405B modellekkel az aktiváció-újraszámításhoz képest akár 57%-os átviteli javulást mértek, különösen ritka MoE modellek esetén. A megoldás a Grace Blackwell NVLink-C2C 900 GB/s kétirányú sávszélességére épít, és az optimális eredményhez XLA ütemezési beállítások és Nsight Systems profilozás szükséges.

14. Kutatás 2026. július 1., szerda

    Közlekedésmérnöki AI-ügynök fejlesztése: hat nagy nyelvi modellt finomhangoltak szakterületi szabványokra

    Egy nem lektorált kutatás szisztematikus módszert javasol közlekedésmérnöki célú, testreszabott generatív AI-ügynök fejlesztésére. A szerzők amerikai közlekedési kézikönyvekből, tervezési irányelvekből és szabályozási dokumentumokból álló szakértői korpuszt állítottak össze, majd hat korszerű nagy nyelvi modellt hangoltak finomra LoRA (Low-Rank Adaptation) keretrendszerrel. A kiértékelés BLEU-4 és ROUGE metrikákkal történt; a kutatók állítása szerint a Qwen2.5-7B és a LLaMA-3.1-8B modell érte el a legmagasabb szakterületi illeszkedést és válaszminőséget. A szerzők azt hangsúlyozzák, hogy a LoRA-alapú adaptáció javítja a műszaki tartalom értelmezését és a kontextusfüggő következtetést. A kutatás reprodukálható fejlesztési keretet kínál szakterületi AI-ügynökök építéséhez, bár a módszer valós mérnöki környezetben történő validálása további lépést igényel.