Activation functions u AI: Koju odabrati za tvoj model?

Prestanite slijepo trpati ReLU u svaki sloj svoje neuronske mreže.

To je lijenost koja vas košta preciznosti. Većina ‘stručnjaka’ će vam reći da je ReLU standard, ali ako ga koristite bez razmišljanja, vaši neuroni će ‘umrijeti’ brže nego stari akumulator na mrazu. Osjetit ćete to u kodu – model se vrti, GPU zuji, a gubitak (loss) stoji zakucan na istoj cifri satima. To nije magija, to je loša matematika. Ako želite model koji stvarno uči, morate razumjeti hemiju gradijenata, a ne samo kopirati kod sa GitHuba.

Zašto je ReLU ‘izvikani’ alat koji vam može upropastiti projekat?

ReLU (Rectified Linear Unit) je kao čekić – grub je, efikasan, ali nepopravljiv ako promašite. Kada ulaz padne ispod nule, on ga siječe na nulu. I tu nastaje haos. Gradijent postaje nula. Neuron prestaje da uči. On je mrtav. Nazivamo to ‘Dying ReLU’ problemom. Ako imate prevelik learning rate, možete ‘ubiti’ pola mreže u prve tri epohe. Bacili ste struju i vrijeme. Bolje je da razmotrite Leaky ReLU ili ELU ako vidite da vam se performanse ne pomjeraju s mjesta. Popravi greške u modelu prije nego što postanu trajne.

Sigmoid i Tanh: Stara garda koja još uvijek ‘grize’

Mnogi mladi developeri bježe od Sigmoida kao od kuge. Istina, on usporava trening jer gradijenti ‘ispare’ (vanishing gradient) na krajevima funkcije. Osjećaj je kao da gurate auto kroz duboko blato – ide, ali uz ogroman napor. Ipak, za binarnu klasifikaciju u izlaznom sloju, Sigmoid je zakon. Tanh je nešto bolji jer je centriran oko nule, pa se gradijenti lakše ‘probijaju’ kroz slojeve. Ako radite sa supervizovanim učenjem, nemojte ih otpisivati u finalnom koraku.

UPOZORENJE: Nikada ne koristite Sigmoid u dubokim skrivenim slojevima (hidden layers). Eksplozija gradijenata ili njihovo potpuno nestajanje će vam ‘spržiti’ težine modela, čineći ga neupotrebljivim za bilo kakvu realnu predikciju.

Anatomija promašaja: Šta se desi kada odaberete pogrešnu funkciju?

Zamislite da trenirate model 12 sati, a onda shvatite da je izlaz stalno 0.5 bez obzira na ulaz. To je klasični simptom zasićenja (saturation). Proveo sam sate buljeći u grafike gubitka koji izgledaju kao ravna linija na EKG-u. To je frustrirajuće. To je gubitak novca. Ako ne podesite temperature parametar ili promašite aktivaciju, vaša mreža je samo skup skupih nasumičnih brojeva. Ne budite taj tip.

Zašto ovo radi? (Nauka iza nelinearnosti)

Bez aktivacijske funkcije, vaša neuronska mreža je samo jedna velika linearna regresija. Možete imati milijardu slojeva, ali bez nelinearnosti (onog ‘pregiba’ koji funkcija unosi), vi samo sabirate i množite brojeve. Nelinearnost omogućava mreži da nauči kompleksne oblike – poput prepoznavanja raka na snimku ili predviđanja prodaje. To je kao zglob na robotskoj ruci; bez njega, ruka je samo motka. Random Forest radi drugačije, ali u deep learningu, aktivacija je sve.

Konačna presuda: Šta kupiti (odnosno kodirati)?

Za početak, držite se ReLU-a, ali smanjite learning rate. Ako primijetite da neuroni umiru, pređite na Leaky ReLU. Za izlazni sloj klasifikacije koristite Softmax (za više klasa) ili Sigmoid (za jednu). I uvijek, ali baš uvijek, pratite gradijente u TensorBoard-u. Ako vidite nule, nešto ste gadno zeznuli. DIY u AI svijetu nije samo pisanje koda, to je borba sa matematikom dok ona ne popusti. Ne odustajte kad postane teško. Učite na greškama.