szemlebeta AI hírek. tömören.

AI-fogalom · Kutatás

Token

A nyelvi modellek által feldolgozott szöveg legkisebb egysége, ami lehet szó, szótöredék vagy karakter.

Más néven: tokenizáció, tokenizálás, token (LLM), subword token, szótöredék

A token a nagy nyelvi modellek (LLM) működésének alapvető építőeleme: az a legkisebb egység, amelyre a modell a bemeneti szöveget felbontja, és amelyekkel számol. Egy token lehet egy egész szó, egy szótöredék, egy szóköz vagy akár egyetlen karakter is, attól függően, hogy a modell milyen tokenizálási eljárást használ. A magyar mondat tehát nem betűnként vagy szavanként, hanem tokenekre bontva kerül be a modellbe.

A tokenizáció folyamata során egy speciális algoritmus a nyers szöveget számokká, azaz token-azonosítókká alakítja, amelyeket a modell aztán matematikai műveletekkel tud kezelni. A leggyakoribb módszerek, mint a Byte Pair Encoding (BPE) vagy a WordPiece, gyakori szórészeket egyetlen tokenként kezelnek, míg ritkább szavakat több kisebb darabra bontanak. Ez azért fontos, mert így a modell szótára kezelhető méretű marad, ugyanakkor korábban sosem látott szavakat is képes feldolgozni a már ismert szódarabokból összeépítve.

A tokenek gyakorlati jelentősége abban áll, hogy a modellek teljesítménye, sebessége és költsége mind a feldolgozott tokenek számától függ: a szolgáltatók jellemzően tokenenkénti díjazást alkalmaznak, és minden modellnek van egy maximális tokenszám-korlátja (kontextusablak), amely meghatározza, mennyi szöveget képes egyszerre kezelni. Egy adott nyelven, például magyarul, a szöveg jellemzően több tokenre bomlik, mint angolul, mivel a tokenizálók többsége eredetileg angol nyelvi adatokon lett optimalizálva.

A token fogalma nemcsak a szövegfeldolgozásban, hanem a modellek kimenetének generálásában is kulcsszerepet játszik: a nyelvi modellek egyesével, token-ről token-re generálják a választ, minden lépésben az addigi szöveg alapján megbecsülve a következő legvalószínűbb tokent.

Kapcsolódó fogalmak

Kapcsolódó hírek

  1. Kutatás 2026. július 23., csütörtök

    Szemantikus kooperatív játékok: új módszer az ágensek hozzájárulásának mérésére többágenses LLM-rendszerekben

    Kutatók egy új keretrendszert javasolnak, amely LLM-alapú többágenses rendszerekben méri az egyes ágensek hozzájárulását a végső kimenethez. A még nem lektorált tanulmány bevezeti a szemantikus Shapley-értéket (SSV) és a SLIC algoritmust, amely egyetlen futtatásból, az ágensek ismételt újrahívása nélkül építi fel a szemantikus hipergráfot és számítja ki az attribúciós értékeket. A szerzők szerint klasszikus feltételek mellett az SSV visszavezethető a hagyományos Shapley-értékre, a SLIC pedig egy orvosi benchmarkon 93,3%-kal csökkentette a számítási költséget a Monte Carlo Shapley-alapvonalhoz képest, nagyfokú konzisztencia mellett. Összetettebb munkafolyamatokban a módszer feltárhatja, hol tér el a szemantikus hozzájárulás és a hibák hatása.

  2. Modellek 2026. július 16., csütörtök

    Az OpenAI megépítette a GPT-Red-et, egy LLM-alapú szuperhackert a modellek biztonságáért

    Az OpenAI létrehozott egy GPT-Red nevű, támadóképességre kiképzett nagy nyelvi modellt, amellyel automatizáltan teszteli saját rendszerei biztonságát – a MIT Technology Review exkluzív beszámolója szerint. A GPT-Red-et önjáték-ciklusban képezték ki több modell ellen: a támadó egyre hatékonyabb prompt-injekciós módszereket fejlesztett ki, a védekező modellek pedig ellenállóbbá váltak. Az OpenAI kutatói szerint a rendszer már korábban ismeretlen támadási módszereket is felfedezett. A vállalat állítása alapján legújabb modelljük, a GPT-5.6 a GPT-Red-del szembeni edzésnek köszönhetően eddigi legrobusztusabb kiadásukká vált. A cél az, hogy az ágensként működő LLM-ek növekvő támadási felületét a jövőben is hatékonyan lehessen ellenőrizni.

  3. Kutatás 2026. július 15., szerda

    Klinikai LLM-ek nem a tudásukon véreznek el, hanem az aktív információkeresés szisztematikus kudarcán

    Egy nem lektorált kutatás 32 élvonalbeli nagy nyelvi modellt tesztelt hematológiai onkológiai eseteken, ahol a modelleknek három körben kellett aktívan klinikai adatokat kérniük diagnózis előtt. A legjobb modell is csak 68%-os pontosságot ért el. A szerzők szerint a diagnosztikai pontosság legerősebb előrejelzője az információ-felhasználási arány volt (R=0,69), amely az utolsó körre 57%-ról 26%-ra esett, így kezelésválasztáshoz kritikus molekuláris adatok feltáratlanok maradtak. A gondolkodási láncolatok magas klinikai minőséget mutattak (91%), de ez nem korrelált a végső pontossággal. A hibaelemzés a kezdő klinikusokra jellemző kognitív torzításokat – horgonyzást, idő előtti lezárást – azonosította fő hibamódként.

  4. Kutatás 2026. július 11., szombat

    LLM-ügynökök piaci stabilitását vizsgáló szimulációban a mediáció bizonyult a legellenállóbb mechanizmusnak

    Egy még nem lektorált kutatás 18 DeepSeek-V3 alapú, önérdekű LLM-ügynökből álló piaci szimulációban vizsgálta, milyen formális mechanizmusok képesek fenntartani a piaci stabilitást ismételt társadalmi dilemmákban. Nyolc különböző mechanizmust hasonlítottak össze 200 körös kísérletekben, fokozatosan növelve a troll.

  5. Kutatás 2026. július 11., szombat

    Mélytanulás és LLM-alapú döntéstámogatás a májrák diagnosztikájában és kezelésében

    A Nature Communications-ben megjelent többközpontú tanulmány bemutatja a MAPUSE mélytanulási modellt, amely kontrasztanyagos ultrahangvideókból nem invazívan jelzi előre a hepatocelluláris karcinóma mikrovasculáris invázióját (MVI). Az 1716 beteg 5148 videóján validált rendszer 0,835–0,978 AUC-értékeket ért el, és transzkriptomikai elemzéssel a CD8+ T-sejtes immuninfiltrációhoz kötötte predikcióit. Egy még nem lektorált preprint emellett a HCC-STAR nyelvi modellt ismerteti, amely kórlapokból ad kockázati besorolást és kezelési ajánlást; a szerzők szerint 6668 betegen felülmúlta a GPT-5-öt és a Gemini-2.5 Pro-t. Mindkét kutatás kínai intézmények munkája, szélesebb független validáció még szükséges.

  6. Kutatás 2026. július 10., péntek

    ROAM: ipari szakértői modellek LLM-alapú adaptálása újratanítás nélkül

    A ROAM keretrendszer az üzembe helyezett ipari modellek korrekcióját célozza nagy nyelvi modellek következtetési képességével, a modellparaméterek újratanítása nélkül. Az eljárás egy alacsony dimenziós látens térben korrigálja a befagyasztott modell kimenetét – például szenzordrift vagy alapanyag-változás esetén –, miközben kockázatkorlátos mechanizmus gátolja a korrekciót megbízhatatlan bizonyíték mellett. A nem lektorált tanulmány szerzői szerint két ipari adathalmazon a módszer több mint 20%-kal csökkentette a MAE-t jelentős rezsimváltásoknál, mindössze 839 extra paraméterrel és 0,02 ms alatti lépésenkénti többletidővel.

  7. Kutatás 2026. július 10., péntek

    Többágenses LLM-rendszerek biztonsági értékelése: az összesített pipeline-hatás

    Egy nem lektorált kutatás szerint a többágenses nagy nyelvi modell-rendszerek (multi-agent LLM) biztonsági kiértékelésénél félrevezető lehet egyetlen összesített pipeline-hatásról.

  8. Kutatás 2026. július 8., szerda

    Az NVIDIA nemegyenletes tenzorpárhuzamossága csökkenti a GPU-kiesések hatását az LLM-tréningben

    Az NVIDIA műszaki blogján bemutatott Nonuniform Tensor Parallelism (NTP) keretrendszer lehetővé teszi, hogy nagy léptékű LLM-tréningek dinamikusan alkalmazkodjanak az átmenetileg elérhetetlenné váló GPU-khoz. Az NVIDIA állítása szerint az NTP az aktív GPU-k órajelének ideiglenes növelésével (dinamikus teljesítménynöveléssel) kompenzálja a kiesést, miközben a tenzor-újrafelosztás okozta többletterhelés 1% alatt marad. A módszer a Blackwell és Blackwell Ultra rendszerek NVLink összeköttetésein akár 72 GPU-s tartományokra is skálázható. Az NTP kísérleti jellegű megközelítés, amely a meglévő rugalmas skálázási technikákat – mint az adatreplikák eldobása vagy gyors ellenőrzőpont-újraindítás – egészíti ki azzal, hogy az áteresztőképesség-veszteséget minimalizálja a csökkentett rendelkezésre állás időszakában.

← Vissza a fogalomtárhoz