LLM – Large Language Model

LLM – Large Language Model

Čo je LLM?

LLM (Large Language Model), v slovenčine známy ako veľký jazykový model, je typ umelej inteligencie, ktorý rozumie prirodzenému jazyku a generuje text. Patrí medzi jazykové modely a radí sa do hlbokého učenia (deep learning).

Na rozdiel od starších prístupov, ako boli n-gramové modely s obmedzeným kontextom, moderné LLM efektívnejšie zachytávajú vzťahy vo väčšom kontexte, trénujú sa na veľkom množstve textu a môžu obsahovať miliardy parametrov. Sú základom AI nástrojov a asistentov ako ChatGPT, Claude či Gemini.

Vieš, že…

…architektúru transformer, na ktorej väčšina veľkých jazykových modelov stojí, predstavili výskumníci z Google v roku 2017? Opísali ju v článku „Attention Is All You Need“ a stala sa základom moderných LLM.

Princípy fungovania LLM

Väčšina dnešných generatívnych LLM funguje pri tvorbe textu na princípe predikcie nasledujúceho tokenu: text rozdelia na menšie jednotky (tokeny) a na základe vzorcov naučených z tréningových dát predpovedajú, ktorý token bude nasledovať. Väčšinou stoja na architektúre transformer s mechanizmom pozornosti (self-attention), ktorý modelu umožňuje vážiť vzťahy medzi slovami v celom kontexte. Rovnaký vstup nemusí viesť vždy k rovnakému výstupu, keďže výber tokenov ovplyvňuje nastavenie dekódovania (napríklad temperature a sampling). Medzi známe obmedzenia patrí halucinácia, teda generovanie presvedčivých, no nepravdivých informácií.

Podrobný výklad fungovania veľkých jazykových modelov – transformer, tokenizácia aj tréning – ponúka článok Large Language Model (LLM): Ako funguje veľký jazykový model a kde sa využíva.

Zdroje k téme:

• IBM – What are large language models (LLMs)?: https://www.ibm.com/think/topics/large-language-models

• arXiv – Attention Is All You Need: https://arxiv.org/abs/1706.03762