激活函数解析-优快云博客

本文链接：https://blog.youkuaiyun.com/promisejia/article/details/88618917

本文介绍了激活函数的作用及选择标准，详细对比了sigmoid、tanh、ReLU等常见激活函数的优缺点，并探讨了解决非线性饱和区的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述 $\frac{1}{1+exp(-z)}$

sigmoid的优点

sigmoid的缺点

在这里插入图片描述 $\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}$

tanh函数的优点

在这里插入图片描述
$r e l u （ x ） = m a x (x, 0)$

relu的优点

第一，relu速度更快。采用sigmoid等函数，算激活函数时候（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相当大，而采用Relu激活函数，整个过程的计算量节省很多。
第二，对于深层网络，由于sigmoid、tanh函数只在0附近的梯度较大，当趋向两边无穷远时，梯度很小。因此在反向传播时，很容易就出现梯度消失的情况（在sigmoid函数接近非线性饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失），从而无法完成深层网络的训练
第三，Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。

relu的缺点

由于relu函数在负半轴的输出恒为0，这导致relu函数在训练时可能使部分神经元永远不会对数据由激活现象，这个神经元的梯度永远为零，变成一个dead cell。
函数值只能取正值。w的更新方向受到限制，只能往一三象限更新，当最优解在第四象限时，只能更新不能一步到达，只能沿梯子步到达。
也有非线性饱和区问题

注意：如果学习率很大，神经元都”dead”的占比就更多。

在这里插入图片描述

$\left\{\begin{matrix} z& z>=0& \\ \alpha(e^{z}-1) & z<0 & \end{matrix}\right.$

优点：
elu函数堆relu进行了改进，使得在输入为负数的情况下，有一定输出。这样可以消除ReLU部分神经元dead的问题。
缺点：

在这里插入图片描述

$\alpha max ( x, 0 )$
优点：

$=\lambda \left\{\begin{matrix} z& z>=0& \\ \alpha(e^{z}-1) & z<0 & \end{matrix}\right.$

优点：

针对ELU的一个改进型，当选取 $\lambda = 1.0506, \alpha = 1.67326$ 时，那么SELU(z) 的期望为0，方差为1. 文章中证明，如果使用SELU激活函数，并且初始化权重也为均值为0，方差为1，那么模型具有自归一化属性。自归一化可以在不加入BN的情况下，将每层的数据分布都变成均值为0，方差为1。这样可以：
- 防止过拟合，
- 解决了其他激活函数进入非线性饱和区带来的梯度弥散问题
- 加速模型收敛