Čo je neurón?

Neurón je základná výpočtová jednotka umelých neurónových sietí, inšpirovaná biologickými neurónmi v ľudskom mozgu. Prijíma vstupné signály, spracováva ich pomocou matematických operácií a generuje výstup, ktorý sa prenáša do ďalších neurónov v sieti. Tento koncept tvorí základ moderného strojového učenia a hlbokého učenia.

Štruktúra a princípy fungovania neurónu

Umelý neurón pozostáva z niekoľkých kľúčových komponentov. Vstupy predstavujú signály z predchádzajúcich neurónov alebo priamo zo vstupných dát. Každý vstup má priradenú váhu, ktorá určuje jeho dôležitosť pre výsledný výpočet.

Neurón najprv vypočíta vážený súčet všetkých vstupov a pripočíta bias (posun). Výsledok tejto operácie následne prechádza cez aktivačnú funkciu, ktorá určuje, či a ako silno neurón „vystrelí“ – teda aký signál pošle ďalej. Medzi najpoužívanejšie aktivačné funkcie patria ReLU, sigmoid a tanh.

Historicky prvým formálnym modelom neurónu bol perceptrón, navrhnutý Frankom Rosenblatom v roku 1958. Perceptrón dokázal riešiť len lineárne separovateľné problémy, čo viedlo k vývoju viacvrstvových sietí schopných nahrádzať komplexnejšie funkcie.

Typy neurónov v neurónových sieťach

Neuróny v neurónovej sieti sa líšia podľa toho, akú úlohu v modeli zohrávajú a aké dáta spracúvajú.

Základné typy neurónov

• Vstupné neuróny prijímajú surové dáta a odovzdávajú ich ďalej do siete takmer bez spracovania, napríklad pixely obrázka alebo hodnoty číselných príznakov pri predikcii ceny nehnuteľnosti.
• Skryté neuróny v medzivrstvách robia väčšinu výpočtov, kombinujú vstupy a učia sa z nich vzory, napríklad rozpoznať hrany, tvary alebo typického zákazníka podľa správania.
• Výstupné neuróny generujú finálnu odpoveď modelu, napríklad „mačka vs. pes“ pri klasifikácii obrázka alebo odhad pravdepodobnosti odchodu zákazníka (churn).

Špecializované neuróny podľa architektúry

• V konvolučných sieťach (CNN) sa používajú neuróny v konvolučných vrstvách, ktoré „prechádzajú“ po obrázku filtrom a reagujú napríklad na hrany, textúry alebo konkrétne tvary; taký neurón môže byť napríklad citlivý na horizontálnu čiaru v určitej oblasti obrazu.
• V rekurentných sieťach (RNN, LSTM, GRU) majú neuróny pamäť v čase – berú do úvahy aj predchádzajúce stavy, takže sa hodia na text, časové rady či senzorické dáta; typický príklad je neurón, ktorý si priebežne „pamätá“ kontext vetičky pri predikcii ďalšieho slova.

Vieš, že…

…koncept umelého neurónu bol prvýkrát matematicky formalizovaný už v roku 1943 Warrenom McCullochom a Walterom Pittsom v ich práci o logických operáciách nervového systému?

Učenie a adaptácia neurónov

Váhy a biasy neurónov sa počas trénovania siete postupne upravujú. Najrozšírenejšou metódou je spätná propagácia (backpropagation), pri ktorej sa chyba výstupu šíri sieťou späť a váhy sa aktualizujú tak, aby sa minimalizovala celková chyba. Tento proces sa opakuje cez množstvo iterácií, kým sieť nedosiahne požadovanú presnosť.

V praxi narážame aj na limity, kedy jednotlivý neurón dokáže reprezentovať len relatívne jednoduché vzťahy. Až kombinácia mnohých neurónov vo vrstvách umožňuje modelovať komplexné nelineárne závislosti v dátach.

Zdroje a odkazy

Použité zdroje:

• IBM Think – What is a neural network: https://www.ibm.com/think/topics/neural-networks

Odporúčané zdroje:

• Stanford CS231n – Convolutional Neural Networks for Visual Recognition: https://cs231n.stanford.edu