Čo je tokenizácia?

Tokenizácia je proces rozdelenia textu na menšie jednotky nazývané tokeny. Tieto tokeny môžu predstavovať slová, časti slov, znaky alebo iné segmenty textu, ktoré jazykový model následne spracováva. Tokenizácia tvorí základný krok v spracovaní prirodzeného jazyka (NLP) a je nevyhnutná pre fungovanie veľkých jazykových modelov.

Princípy tokenizácie v jazykových modeloch

Jazykové modely nepracujú priamo s textom v ľudsky čitateľnej forme. Text sa najprv musí previesť na numerickú reprezentáciu, ktorú model dokáže spracovať. Tokenizácia vytvára most medzi ľudským jazykom a matematickými operáciami modelu.

Každý token dostane priradené jedinečné číslo z vopred definovaného slovníka. Model potom pracuje s týmito číselnými identifikátormi namiesto pôvodného textu. Veľkosť slovníka tokenov sa líši podľa modelu – bežne obsahuje desiatky tisíc jedinečných tokenov.

Pri spracovaní textu analyzuje tokenizér vstup a rozhoduje, ako ho rozdeliť. Bežné slová často tvoria samostatné tokeny, zatiaľ čo menej časté slová sa rozdeľujú na menšie časti. Napríklad slovo „programovanie“ môže byť rozdelené na „program“ a „ovanie“.

Typy tokenizácie

Existuje niekoľko prístupov k tokenizácii, pričom každý má svoje výhody a obmedzenia:

• Slovná tokenizácia rozdeľuje text na celé slová. Je intuitívna, ale má problém s neznámymi slovami a morfologicky bohatými jazykmi.
• Znaková tokenizácia pracuje s jednotlivými znakmi. Má malý slovník, ale vytvára veľmi dlhé sekvencie tokenov.
• Subword tokenizácia predstavuje kompromis medzi predchádzajúcimi prístupmi. Metódy ako BPE (Byte Pair Encoding), WordPiece alebo SentencePiece rozdeľujú text na podslová na základe frekvencie výskytu.

Vieš, že…

…rôzne modely používajú odlišné tokenizéry, a preto rovnaký text môže mať rôzny počet tokenov? Veta s 10 slovami môže mať 12 tokenov v GPT-4, ale 15 tokenov v inom modeli.

Vplyv tokenizácie na výkon modelu

Spôsob tokenizácie priamo ovplyvňuje kvalitu výstupov aj náklady na používanie modelu. Efektívnejšia tokenizácia znamená, že na vyjadrenie rovnakého obsahu potrebuje menej tokenov, čo znižuje výpočtové nároky a cenu pri API volaniach.

Tokenizácia má aj svoje limitácie. Modely trénované primárne na anglických textoch môžu menej efektívne tokenizovať slovenčinu alebo iné jazyky. Výsledkom je vyšší počet tokenov pre ekvivalentný obsah a potenciálne nižšia kvalita výstupov.

Pri práci s jazykovými modelmi je užitočné poznať počet tokenov vo vstupe, keďže modely majú obmedzenie na maximálny počet tokenov v jednej požiadavke. Väčšina poskytovateľov API ponúka nástroje na výpočet počtu tokenov pred odoslaním požiadavky.

Zdroje a odkazy

Použité zdroje:

• OpenAI Platform Documentation – Tokenizer: https://platform.openai.com/tokenizer
• Hugging Face Documentation – Tokenizers: https://huggingface.co/docs/tokenizers

Odporúčané zdroje:

• Google Research – SentencePiece: A simple and language independent subword tokenizer: https://github.com/google/sentencepiece