2026. augusztus 15., szombat · Üzlet
Francia startup szoftveres trükkökkel gyorsítaná a GPU-alapú AI-következtetést
A francia Kog startup azt állítja, hogy szoftveres optimalizálással jelentősen felgyorsítható az AI-következtetés meglévő adatközponti GPU-kon, például AMD MI300X és Nvidia H200 kártyákon. Májusi technológiai bemutatójuk a Hacker News címlapjára is felkerült, és a vezérigazgató, Gaël Delalleau szerint azóta mintegy 200 konkrét üzleti érdeklődő jelentkezett. A demóban 3000 token/másodperc sebességet értek el, de ezt egy célzottan épített, mindössze 2 milliárd paraméteres kis modellel, a Laneformer 2B-vel mutatták be, amelyet azóta nyílt forráskódúvá tettek. A cég szerint ugyanez a módszer nagy nyelvi modelleknél is működne, ez azonban egyelőre igazolatlan ígéret, mivel az erre optimalizált verzió még fejlesztés alatt áll. Az összefoglaló kizárólag a Kog és vezetője állításain alapul, független mérés nem szerepel a forrásban.
Miért fontos?
Ha a Kog állítása igazolódik, olcsóbbá és gyorsabbá válhat az AI-modellek futtatása a meglévő GPU-flottákon, csökkentve a drága célhardver iránti igényt.
Források
Említve a tudásbázisban
Kapcsolódó témák
Napi összefoglaló
Ez a hír a 2026. augusztus 15., szombat napi AI összefoglaló része.