Activation functions u AI: Koju odabrati za tvoj model?
Prestanite slijepo trpati ReLU u svaki sloj svoje neuronske mreže. To je lijenost koja vas košta preciznosti. Većina ‘stručnjaka’ će vam reći da je ReLU standard, ali ako ga koristite bez razmišljanja, vaši neuroni će ‘umrijeti’ brže nego stari akumulator na mrazu. Osjetit ćete to u kodu – model se vrti, GPU zuji, a gubitak…

