Čo je Word2Vec?

Word2Vec (Word to Vector) je technika strojového učenia, ktorá transformuje slová do vektorových reprezentácií v mnohorozmernom priestore. Tieto vektorové reprezentácie, označované aj ako word embedding, zachytávajú sémantické a syntaktické vzťahy medzi slovami. Model vytvorili výskumníci z Google v roku 2013 a stal sa jedným zo základných prístupov v oblasti spracovania prirodzeného jazyka (NLP).

Princípy fungovania Word2Vec

Word2Vec využíva neurónové siete na učenie vektorových reprezentácií slov z veľkých textových korpusov. Základnou myšlienkou je, že slová vyskytujúce sa v podobných kontextoch majú podobný význam. Model sa učí predpovedať buď cieľové slovo na základe okolitých slov alebo okolité slová na základe cieľového slova.

Výsledkom trénovania sú vektory, kde sa sémanticky podobné slová nachádzajú blízko seba v priestore. Vektory umožňujú vykonávať aritmetické operácie – napríklad výpočet „kráľ – muž + žena“ produkuje vektor blízky slovu „kráľovná“.

Architektúry Word2Vec

Word2Vec implementuje dve základné architektúry neurónovej siete:

• Continuous Bag of Words (CBOW) – predpovedá cieľové slovo na základe kontextových slov v okolí. Táto architektúra je rýchlejšia pri trénovaní a lepšie funguje pre frekventované slová.
• Skip-gram – predpovedá kontextové slová na základe cieľového slova. Dosahuje lepšie výsledky pre menej frekventované slová a menšie datasety.

Obe architektúry používajú plytké neurónové siete s jednou skrytou vrstvou, čo umožňuje efektívne trénovanie aj na rozsiahlych korpusoch.

Vieš, že…

…Word2Vec dokáže zachytiť analogické vzťahy medzi slovami natoľko presne, že vektorová operácia „Paríž – Francúzsko + Taliansko“ vráti vektor najbližší slovu „Rím“?

Využitie Word2Vec v NLP

Word embedding vytvorené pomocou Word2Vec slúžia ako vstup pre rôzne úlohy spracovania prirodzeného jazyka. Medzi typické aplikácie patrí klasifikácia textov, analýza sentimentu, rozpoznávanie pomenovaných entít a strojový preklad. Vektorové reprezentácie umožňujú modelom lepšie zachytiť význam slov v porovnaní s tradičnými metódami ako one-hot encoding.

Napriek príchodu novších techník ako BERT alebo GPT zostáva Word2Vec relevantný pre scenáre, kde je potrebná jednoduchosť implementácie alebo obmedzené výpočtové zdroje. Model má však limitácie – generuje jeden vektor pre každé slovo bez ohľadu na kontext, čo znamená, že nedokáže rozlíšiť rôzne významy polysémických slov.

Zdroje a odkazy

Použité zdroje:

• Mikolov et al. (2013) – Efficient Estimation of Word Representations in Vector Space: https://arxiv.org/abs/1301.3781
• TensorFlow Documentation – Word2Vec: https://www.tensorflow.org/text/tutorials/word2vec

Odporúčané zdroje:

• Stanford NLP – GloVe: Global Vectors for Word Representation: https://nlp.stanford.edu/projects/glove/