Čo je gradient boosting?

Gradient boosting (v slovenskom preklade gradientné zosilnenie) je technika strojového učenia patriaca do kategórie ensemble metód, ktorá kombinuje viaceré slabé prediktívne modely, typicky rozhodovacie stromy, do jedného silného modelu. Na rozdiel od iných ensemble prístupov, gradient boosting buduje modely sekvenčne, pričom každý nový model sa snaží opraviť chyby predchádzajúcich modelov pomocou gradientového zostupu.

Princípy gradient boostingu

Gradient boosting funguje na princípe iteratívneho zlepšovania. V prvom kroku sa vytvorí jednoduchý základný model, ktorý spravidla predikuje priemernú hodnotu cieľovej premennej. Následne algoritmus vypočíta rozdiely medzi skutočnými a predikovanými hodnotami, tzv. rezíduá.

V každej ďalšej iterácii sa trénuje nový rozhodovací strom, ktorý sa učí predpovedať tieto rezíduá. Výsledky jednotlivých stromov sa postupne sčítavajú s váhami určenými learning rate parametrom. Tento proces pokračuje, kým sa nedosiahne požadovaný počet iterácií alebo kým sa chyba prestane zmenšovať.

Názov „gradient“ pochádza z použitia gradientového zostupu na minimalizáciu stratovej funkcie. Algoritmus v každom kroku hľadá smer najstrmšieho poklesu chyby a pridáva model, ktorý sa v tomto smere pohybuje.

Implementácie a varianty

V praxi sa gradient boosting používa najčastejšie cez niekoľko populárnych knižníc. XGBoost pridáva regularizáciu a paralelné spracovanie, vďaka čomu výrazne zrýchľuje trénovanie. LightGBM od Microsoftu využíva histogramový prístup, takže dobre škáluje na veľké datasety.

CatBoost od Yandexu je navrhnutý tak, aby vedel priamo pracovať s kategorickými premennými bez manuálneho kódovania. Súhrnne sa tieto nástroje často označujú ako GBM (Gradient Boosting Machines) a patria k najúspešnejším algoritmom v súťažiach strojového učenia, napríklad na Kaggle.

Vieš, že…

…gradient boosting algoritmy dominujú súťažiam na Kaggle a podľa prieskumov tvoria základ víťazných riešení vo viac ako 60 % tabulárnych úloh?

Výhody a obmedzenia gradient boostingu

Gradient boosting je veľmi presný na štruktúrovaných dátach, vie modelovať komplexné nelineárne vzťahy a býva relatívne robustný voči odľahlým hodnotám, najmä pri stromových implementáciách.

Medzi nevýhody patrí náchylnosť na pretrénovanie pri zle nastavených hyperparametroch (learning rate, počet stromov, hĺbka stromu), takže je nutné dôsledné ladenie a validácia. Trénovanie môže byť časovo náročné, pretože stromy sa pridávajú sekvenčne a paralelizovať sa dá len čiastočne, čo je citeľné najmä pri veľkých datasetoch. Na rozdiel od jednoduchých lineárnych modelov je interpretácia výsledkov zložitejšia, ale existujú techniky ako feature importance či SHAP values, ktoré pomáhajú vysvetľovať vplyv jednotlivých premenných na predikciu.​

Príklady použitia gradient boostingu

Gradient boosting nachádza uplatnenie v širokom spektre oblastí. Vo finančnom sektore sa používa na hodnotenie kreditného rizika a detekciu podvodov. Marketingové tímy ho využívajú na predikciu odchodu zákazníkov a personalizáciu odporúčaní.

V zdravotníctve pomáha pri diagnostike na základe štruktúrovaných pacientskych dát. E-commerce platformy pomocou neho optimalizujú cenové stratégie a predpovedajú dopyt. Vďaka schopnosti pracovať s heterogénnymi dátami zostáva gradient boosting jedným z najpoužívanejších algoritmov pre tabulárne dáta.

Zdroje a odkazy

Použité zdroje:

• XGBoost Documentation – XGBoost: Scalable and Flexible Gradient Boosting: https://xgboost.readthedocs.io
• Microsoft LightGBM Documentation – LightGBM: A Highly Efficient Gradient Boosting Decision Tree: https://lightgbm.readthedocs.io

Odporúčané zdroje:

• Scikit-learn Documentation – Gradient Boosting Classifier and Regressor: https://scikit-learn.org