ReLU ili Sigmoid? Izaberi pravu activation funkciju za model
Sigmoid je laž koju ti prodaju zastarjeli tutorijali Prestani gurati Sigmoid u svaki skriveni sloj svog modela samo zato što si tako vidio u tutorijalu iz 2015. To je kao da pokušavaš voziti bager s kočnicom pritisnutom do pola. Ako tvoj model ‘uči’ puževim korakom, vjerovatno si zaglavio u zoni zasićenja gdje gradijenti umiru tišom…

