Kontextusablak (context window)

A kontextusablak azt a szövegmennyiséget jelöli, amelyet egy nagy nyelvi modell egyetlen feldolgozási lépésben képes kezelni: ez tartalmazza a felhasználó kérdését, a korábbi beszélgetést, a betöltött dokumentumokat és a modell által generált választ is. A méretét jellemzően tokenben mérik, ami szavaknál kisebb egység, így egy adott tokenszám a nyelvtől és a szöveg típusától függően eltérő szómennyiséget jelenthet.

A kontextusablak a modell architektúrájából, elsősorban a figyelem (attention) mechanizmus működéséből fakadó technikai korlát. Minél nagyobb az ablak, annál több információt tud a modell egyszerre összefüggésbe helyezni, de a számítási igény és a memóriahasználat is jelentősen megnő, gyakran nem lineárisan, a hossz növekedésével. Ha egy beszélgetés vagy dokumentum meghaladja ezt a méretet, a modell a korábbi részeket levágja vagy összefoglalja, ami információvesztéshez vezethet.

A kontextusablak mérete közvetlenül meghatározza, milyen feladatokra alkalmas egy modell: rövid ablak esetén hosszabb dokumentumok elemzése, több fájl egyidejű összevetése vagy hosszú, sokfordulós beszélgetés követése nehézkes. Ezért a fejlesztők folyamatosan törekednek a kontextusablak bővítésére, ami lehetővé teszi teljes könyvek, kódbázisok vagy hosszú jegyzőkönyvek egyszeri feldolgozását anélkül, hogy a szöveget darabokra kellene bontani.

A gyakorlatban a kontextusablak korlátai miatt terjedtek el olyan technikák, mint a dokumentumok tömörítése, a releváns részek visszakeresése (RAG) vagy a beszélgetés összefoglalása, amelyek segítenek hatékonyan kihasználni a rendelkezésre álló helyet anélkül, hogy minden korábbi információt szó szerint be kellene illeszteni.