激活函数在神经网络中扮演关键角色，通过非线性变换增强模型表达能力。Sigmoid和TanH常用于二分类，但易导致梯度消失。ReLU解决了梯度消失，但可能遇到死亡神经元问题。LeakyReLU是对ReLU的改进，允许负区有微小梯度，防止死亡问题。选择激活函数时，通常先尝试ReLU，如有死亡神经元现象，可考虑LeakyReLU。
目录
激活函数：将神经元的工作一般化
我们知道，神经网络是一种模仿生物神经网络感知的数学模型或计算模型。
根据下图（来自《深度学习的数学》），我们先简单回忆下神经元和神经网络单元的联系。
点火：只有输入达到了一定阈值，神经元才会作出反应，对其他神经元发出信号。
神经元： 神经网络中每个节点称为神经元，由两部分组成：
- 加权和：将所有输入加权求和。
- 非线性变换（激活函数）：加权和的结果经过一个非线性函数变换，让神经元计算具备非线性的能力。
让我们把神经元想象为检测某种特定特征的开关，那么激活函数就决定了什么时候打开这个开关。
激活函数在神经网络中的位置如图所示：
为什么激活函数必须是非线性函数？
如果使用线性函数，每一层输出都是上层输入的线性函数，所以无论神经网络有多少层，输出都是输入的线性组合。
而现实是我们想要我们的神经网络是一个universal function approximators（通用函数的合拢器），这意味着它可以计算任何函数。
所以，采用非线性函数的激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用于线性和非线性函数中，更贴合现实模型。
常用激活函数
Sigmoid
数学形式：
<
最低0.47元/天 解锁文章
扫一扫
9224
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
