激活函数详解

1、什么是激活函数？

激活函数将非线性引入到网络中，目的是将一个节点的输入信号转换成输出信号。具体操作是将输入与对应的权值乘积和作为自变量x，利用激活函数公式f(x)把输出转换为下一层的输入。

2、为什么需要激活函数？

当没有激活函数时，输入信号仅为一个线性函数，复杂性有限，学习复杂函数映射的能力很小。在实际中我们希望神经网络可以学习模拟复杂类型的数据，利用激活函数使得网络学习能力更强。另一个作用是方便使用梯度下降等优化权重以减小误差

3、常见的激活函数

4、sigmod问题——梯度消失