激活函数在神经网络中至关重要，它们引入非线性，使得深层网络能逼近任意函数。本文总结了Identity、Sigmoid、Tanh、ReLU、Leak ReLU、Cos和Sinc等激活函数的优缺点，探讨了梯度消失问题和各种函数的实际应用。ReLU因其简单高效成为常用选择，但存在ReLU坏死现象；Sigmoid和Tanh虽有范围限制，但面临梯度消失挑战。
激活函数的意义（需要激活函数的理由）
激活函数是神经网络的一个重要组成部分。如果不用激活函数（即相当于激活函数为f(x)=x），在这种情况下，网络的每一层的输入都是上一层的线性输出，因此，无论该神经网络有多少层，最终的输出都是输入的线性组合，与没有隐藏层的效果相当，这种情况就是最原始的感知机。
正因为上面的原因，才需要引入非线性函数作为激活函数，这样深层神经网络才有意义，输出不再是输入的线性组合，就可以逼近任意函数。
各类激活函数的优缺点
绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分（或者至少是几乎完全可微分的）。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若干个特定的激活函数。
最低0.47元/天 解锁文章
扫一扫
936
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
