Vlastná AI vs API: Kedy sa oplatí lokálny model?

Autor: Michal Bystrický

AI umelá inteligencia

Postaviť si vlastný lokálny model alebo radšej siahnuť po hotovom API? Pri tomto rozhodnutí nejde len o technológiu, ale o to, kam pošleš svoje dáta, koľko ťa to bude stáť a koľko kontroly chceš mať. Lokálne AI modely dávajú zmysel pri citlivých dátach a pravidelnom workloade, API pri rýchlom štarte a pre väčšinu tímov hybrid, teda kombinácia oboch.

Vo videu Michal Bystrický vysvetľuje, kedy dáva zmysel vlastná AI, kedy API a prečo býva pre firmy často najpraktickejší hybridný prístup.

Pri API je štart jednoduchý. Vyberieš si poskytovateľa, pripojíš sa cez rozhranie a model môžeš používať takmer okamžite. Pri lokálnom modeli riešiš vlastný hardvér, nasadenie, údržbu a výkon. Získavaš však väčšiu kontrolu nad dátami, verziou modelu aj tým, ako AI zapojíš do interných procesov.

TL;DR: Rýchle rozhodnutie

Lokálny model zvoľ vtedy, keď pracuješ s citlivými dátami, máš pravidelný workload a potrebuješ väčšiu kontrolu nad tým, kde model beží. API sa oplatí pri rýchlom štarte, menšom objeme používania a úlohách, kde potrebuješ špičkový model bez vlastného hardvéru. Pre väčšinu tímov býva najpraktickejší hybridný AI prístup, teda rutinné a citlivé úlohy lokálne a zložitejšie úlohy cez API.

Rozhodovací strom: lokál, API alebo hybrid?

Čo sú lokálne AI modely a čím sa líšia od API

Lokálne AI modely sú open weight modely, ktorých váhy si stiahneš a spustíš vo vlastnom prostredí, zatiaľ čo pri API beží model u poskytovateľa a ty sa naň pripájaš cez rozhranie. Oba prístupy sú len rôzne spôsoby, ako nasadiť umelú inteligenciu – líšia sa v tom, kde model beží a kto ho spravuje.

Pri API kupuješ najmä pohodlie. Nemusíš riešiť grafické karty, ovládače, deployment, monitoring ani škálovanie infraštruktúry. Pošleš prompt, dostaneš odpoveď a platíš podľa používania, často podľa počtu tokenov. Token je zjednodušene kúsok textu, s ktorým model pracuje pri spracovaní vstupu a generovaní odpovede.

Pri lokálnom modeli kupuješ najmä kontrolu. Model beží na tvojej pracovnej stanici, internom serveri alebo inom vlastnom prostredí. Dáta nemusia odchádzať k externému poskytovateľovi a firma vie lepšie kontrolovať, akú verziu modelu používa, ako sa správa a ako je zapojený do procesov.

Open weight modely sú modely, ktorých váhy sú dostupné na stiahnutie, napríklad cez repozitár Hugging Face. Neznamená to automaticky to isté ako open source, pretože licencia, tréningové dáta a možnosti komerčného použitia sa môžu líšiť. Pre firmu je preto dôležité pozerať sa nielen na výkon modelu, ale aj na licenčné podmienky, bezpečnosť, údržbu a reálne náklady.

Sú dnes lokálne modely už dosť dobré?

Dnešné open weight modely zvládajú množstvo praktických úloh na použiteľnej úrovni, hoci v najťažšom reasoningu a multimodalite majú top API modely stále navrch.

Ešte donedávna platilo, že cesta ku kvalitnej AI viedla cez uzatvorené modely ako ChatGPT, Gemini alebo Claude. Lokálne modely pôsobili skôr ako technická hračka pre nadšencov. Dnešné lokálne jazykové modely sú už reálnym pracovným nástrojom pre konkrétne interné úlohy, nielen experimentom.

Odporúčame ti:

Dôležité je nepozerať sa iba na benchmarky. Tie sú užitočné, ale pri reálnom nasadení ťa bude zaujímať hlavne to, čo model zvládne v tvojom procese.

Lokálne modely dnes dávajú zmysel napríklad pri sumarizácii dokumentov, extrakcii kľúčových informácií, práci s internou knowledge base alebo RAG systémom, analýze tiketov či pri programovaní – od návrhov opráv kódu až po opakovaný cyklus písania, spúšťania, testovania a opravy kódu.

Čo lokálne modely dnes reálne zvládnu?

Jedným z benchmarkov na porovnanie kvality modelov je GPQA Diamond. Testuje náročné otázky z oblastí ako biológia, fyzika a chémia a sleduje schopnosť modelov pracovať s hlbším porozumením. Pre rozhodovanie firmy však nie je najdôležitejšie jedno konkrétne číslo. Dôležitejší je trend, že open weight modely sa posunuli z kategórie „zaujímavé na hranie“ do kategórie „použiteľné na vybrané pracovné úlohy“.

Pri praktickom testovaní sa oplatí porovnať rovnakú úlohu na menšom lokálnom modeli, väčšom lokálnom modeli a API modeli. Pomôcť môže aj technika LLM as a Judge, pri ktorej kvalitu odpovedí vyhodnotí silnejší hodnotiaci model podľa rovnakého zadania.

To však neznamená, že lokálny model nahradí API vo všetkom. Ak potrebuješ najlepší dostupný reasoning, komplexnú multimodalitu alebo vysokú spoľahlivosť v náročných analytických úlohách, API model môže byť stále lepšia voľba.

Digitalizácia12 min.

Prečítaj si aj:

Large Language Model (LLM): Ako funguje veľký jazykový model a kde sa využíva

Ako fungujú veľké jazykové modely (LLM)? Aké problémy riešia a kde v praxi majú najväčší prínos? Prečítaj si v novom článku.

Čo potrebuješ na lokálny model: hardvér a VRAM

Pri lokálnych modeloch ťa najčastejšie limituje pamäť na grafickej karte, teda VRAM, nie výkon procesora. Čím väčší model chceš spustiť a čím vyššiu presnosť od neho očakávaš, tým viac pamäte potrebuješ. Pri lokálnych AI modeloch preto nestačí pýtať sa, či máš „dosť výkonný počítač“. Presnejšia otázka znie, koľko VRAM máš k dispozícii a či sa do nej model zmestí s rezervou.

Rezerva je dôležitá. Model, ktorý sa do pamäte ledva natlačí, ešte nemusí byť použiteľný na normálnu prácu. Potrebuješ priestor aj na kontext, teda množstvo textu, s ktorým model pracuje, a na runtime overhead, čiže prevádzkovú réžiu systému.

Práve v takýchto prípadoch pomáha tzv. kvantizácia – technika, pri ktorej sa model uloží v nižšej presnosti. Prakticky to znamená, že zaberie menej pamäte a môže sa zmestiť aj tam, kde by sa v plnej presnosti nespustil. Cenou za to býva určitý pokles kvality, no pri mnohých praktických úlohách nemusí byť výrazný.

VRAM rozpočet

Pri väčších zostavách nestačí pozerať len na súčet pamäte. Ak máš viac grafických kariet, riešiš aj PCIe, teda priepustnosť medzi komponentmi, rozloženie slotov, topológiu systému, chladenie, spotrebu a kabeláž. NVLink môže pri niektorých zostavách pomôcť s rýchlejším prepojením grafických kariet, ale nie je univerzálnou odpoveďou na každý problém.

Príklad so štyrmi RTX 3090 vyzerá na papieri dobre, pretože spolu dávajú 96 GB VRAM. No v praxi rýchlo narazíš na priestor, teplo, hluk a napájanie – a na otázku, či má zostava prevádzkový zmysel. Alternatívou sú kompaktnejšie zariadenia, napríklad NVIDIA DGX Spark s čipom GB10 v triede osobných AI workstation riešení. Tie môžu zjednodušiť deployment, no bývajú menej flexibilné než vlastný GPU build.

Odporúčame ti:

Pri rozhodovaní sa nepýtaj len „zmestí sa model do pamäte?“. Lepšia otázka je „zmestí sa s rezervou, aby sa dal normálne používať?“. Potrebuješ rezervu na kontext aj prevádzku systému.

Lokálna AI vs API: cenové porovnanie

Pri API platíš za tokeny, takže náklad rastie s používaním, pri lokáli platíš vopred za hardvér a potom za elektrinu a údržbu.

API má jednoduchý nákladový model. Nemusíš kupovať hardvér, nemusíš riešiť prevádzku a vieš začať rýchlo. Ak model používaš málo alebo iba testuješ nový use case, API je často najrozumnejší prvý krok. Nevýhoda API je v tom, že náklady rastú s objemom používania. Čím viac vstupov a výstupov generuješ, tým viac tokenov spracúvaš, a tým viac platíš. Pri pravidelnom firemnom workloade môže byť rozdiel po čase výrazný.

Pri API však nemusíš platiť iba cez model pay as you go. Mnohí poskytovatelia ponúkajú aj subscription, teda predplatné alebo balíkové modely, pri ktorých platíš pravidelný poplatok za určitý objem používania, limity alebo prístup ku konkrétnym funkciám. Pay as you go býva flexibilnejší a hodí sa vtedy, keď používanie kolíše alebo ešte len testuješ nový use case. Pri väčšom objeme však môže byť drahší. Subscription môže byť výhodnejší pri stabilnom a predvídateľnom používaní, no zvyčajne prináša limity, napríklad počet requestov, tokenov, používateľov alebo obmedzenia výkonu. Pri porovnávaní API a lokálneho modelu preto nestačí pozerať iba na cenu za token, ale aj na to, aký cenový model poskytovateľ ponúka a či zodpovedá reálnemu firemnému workloadu.

Pri lokálnom modeli je logika opačná. Najprv investuješ do hardvéru, potom platíš elektrinu, údržbu a čas ľudí, ktorí sa o systém starajú. Ak sa pozeráš iba na elektrinu, lokál môže vyzerať veľmi lacno. To však nie je férové porovnanie. Do výpočtu patrí aj cena hardvéru, správa, výpadky, aktualizácie, bezpečnosť a kvalita výstupu.

Náklady: lokál vs API

Dôležité je porovnávať porovnateľné. Menší model so 7 miliardami parametrov nie je rovnaký ako špičkový API model. Rôzne úlohy majú rôzne nároky na vstup, výstup, kontext a kvalitu. Preto môžu byť jednoduché tabuľky nákladov zavádzajúce, ak nerátajú s tým, čo model reálne robí a aký výstup od neho firma očakáva.

Kedy vybrať lokálny model, kedy API a kedy hybrid

Lokál sa oplatí pri citlivých dátach a pravidelnom workloade, API pri rýchlom štarte a špičkových modeloch, a pre väčšinu tímov býva najvhodnejší hybrid.

Lokálny model dáva zmysel vtedy, keď nechceš posielať interné dokumenty, zmluvy, tikety, reporty alebo firemný kontext do externého API. V insurtech prostredí to môže znamenať napríklad citlivé poistné dáta, internú dokumentáciu, zmluvy, škodové prípady alebo obchodné procesy, ktoré firma potrebuje spracúvať pod väčšou kontrolou. Práve pri takýchto dátach môže byť lokál vhodnejší než riešenie, pri ktorom celý kontext odchádza k externému poskytovateľovi.

Lokál je vhodný aj vtedy, keď máš opakovaný workload. Ak model používaš denne na rovnaký typ úloh, napríklad interný knowledge assistant, sumarizáciu dokumentov, analýzu reportov alebo pomoc pri programovaní, vlastné nasadenie môže dávať ekonomický aj prevádzkový zmysel.

API je dobrá voľba, keď chceš začať okamžite, overiť use case a nechceš riešiť hardvér. Hodí sa aj vtedy, keď potrebuješ najlepší dostupný model a nechceš robiť kompromisy v kvalite. Pre jednotlivcov, menšie tímy alebo pilotné projekty je API často najpraktickejší začiatok.

Hybridný AI prístup kombinuje obe logiky. Citlivé a rutinné úlohy riešiš lokálne, zložité alebo menej časté úlohy posielaš cez API. Firma tak získa kontrolu tam, kde ju potrebuje, a zároveň nestratí prístup k silnejším modelom tam, kde dávajú najväčší zmysel.

Práve hybrid býva najrealistickejšia enterprise cesta. Nemusíš si vyberať medzi dvoma extrémami. Nemusíš všetko držať lokálne a zároveň nemusíš všetko posielať von. Môžeš si rozdeliť úlohy podľa citlivosti dát, požadovanej kvality, objemu používania a nákladov.

Zdieľaj článok

Vlastná AI vs API: Kedy sa oplatí lokálny model?

Michal Bystrický