【AI知识】激活函数介绍（sigmoid & Tanh & Relu）+ 梯度爆炸 / 消失及解决办法

激活函数：

• 使用激活函数的原因：

  神经网络中每一层的输入输出都是一个线性求和的过程，下一层的输出只是承接了上一层输入函数的线性变换，如果没有激活函数，无论构造的神经网络多么复杂，有多少层，最后的输出都是输入的线性组合，纯粹的线性组合并不能够解决更为复杂的问题。而引入激活函数之后，常见的激活函数都是非线性的，因此也会给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，这样可以使得神经网络应用到更多非线性模型中。

• Sigmoid函数：$f(z)=\frac{1}{1+e^{-z}}$ 导数 f ( z ) ( 1 − f ( z ) ) f(z)(1-f(z))