Čo je temperature?

Temperature (v slovenskom preklade teplota) je parameter v jazykových modeloch, ktorý ovplyvňuje mieru náhodnosti a kreativity generovaného výstupu. Hodnota temperature určuje, ako pravdepodobnostné rozdelenie ďalších tokenov model použije pri generovaní textu. Nižšie hodnoty vedú k predvídateľnejším a konzistentnejším odpovediam a vyššie hodnoty produkujú rozmanitejší a kreatívnejší obsah.

Ako temperature ovplyvňuje výstup modelu?

Parameter temperature funguje ako škálovací faktor pre pravdepodobnosti tokenov pred ich výberom. Pri hodnote blízkej nule model takmer vždy vyberie token s najvyššou pravdepodobnosťou, čo vedie k deterministickým výstupom. S rastúcou hodnotou temperature sa rozdiely medzi pravdepodobnosťami jednotlivých tokenov vyrovnávajú, čím sa zvyšuje šanca výberu menej pravdepodobných, ale potenciálne zaujímavejších slov.

V praxi sa temperature zvyčajne nastavuje v rozmedzí od 0 do 2, pričom väčšina API používa predvolenú hodnotu okolo 0,7 až 1,0. Hodnoty pod 0,5 sú vhodné pre úlohy vyžadujúce presnosť a konzistentnosť, ako je extrakcia dát alebo generovanie kódu. Hodnoty nad 1,0 sa používajú pri kreatívnom písaní, brainstormingu alebo generovaní rôznorodých nápadov.

Vzťah temperature k ďalším parametrom

Temperature úzko súvisí s parametrom top-p (nucleus sampling), ktorý obmedzuje výber tokenov na tie s kumulatívnou pravdepodobnosťou do určenej hodnoty. Niektoré modely umožňujú nastaviť oba parametre súčasne, čo poskytuje jemnejšiu kontrolu nad výstupom. Odborníci však zvyčajne odporúčajú upravovať iba jeden z nich, pretože ich kombinácia môže viesť k nepredvídateľným výsledkom.

Parameter temperature má tiež vplyv na konzistenciu výstupov pri opakovaných dotazoch. Pri nízkej hodnote temperature model generuje takmer identické odpovede na rovnaký prompt. Pri vyššej hodnote môže každé spustenie priniesť odlišnú odpoveď, čo je žiaduce pri kreatívnych úlohách, ale problematické pri aplikáciách vyžadujúcich reprodukovateľnosť.

Vieš, že…

…názov „temperature“ vychádza z analógie s termodynamikou? V štatistickej fyzike teplota určuje mieru náhodnosti pohybu častíc, podobne ako tento parameter ovplyvňuje náhodnosť výberu slov v jazykovom modeli.

Praktické využitie parametra temperature

Pri vývoji aplikácií využívajúcich LLM je nastavenie temperature kľúčovým rozhodnutím ovplyvňujúcim používateľskú skúsenosť. Chatboti pre zákaznícku podporu typicky používajú nízke hodnoty temperature pre konzistentné a spoľahlivé odpovede. Aplikácie na generovanie marketingového obsahu alebo kreatívne písanie naopak profitujú z vyšších hodnôt, ktoré prinášajú originálnejšie formulácie.

Parameter temperature má svoje obmedzenia – príliš vysoké hodnoty môžu viesť k nekoherentným alebo nezmyselným výstupom. Optimálnu hodnotu je potrebné určiť experimentálne s ohľadom na konkrétnu úlohu a očakávania používateľov.

Zdroje a odkazy

Použité zdroje:

• OpenAI Platform Documentation – API reference pre parameter temperature: https://platform.openai.com/docs

Odporúčané zdroje:

• Hugging Face Documentation – Text Generation Strategies: https://huggingface.co