深度学习之激活函数

1.0 sigmoid激活函数

函数表达式：f(x) = 1 / (1 + exp(-x))
导数表达式：g(x) = f(x)*(1-f(x))
函数图像：

特点：
1）反向传播算法求解梯度时要进行链式求导，即各个偏导数相乘。由sigmoid导数图像可以看出，当偏导数取值在两边接近0时，连乘得结果会导致所得结果无限接近0，即造成梯度消失现象。
2）幂运算复杂，训练时间长
3）输出非0均值，收敛慢

tensorflow语法：
tf.nn.sigmoid(x)

2.0 Tanh函数

函数表达式：f(x) = 1 - exp(-2x) / (1 + exp(-2x))
导数表达式：g(x) = 1 - f(x)*f(x）
函数图像：

特点：
1）输出是0均值
2）易造成梯度消失
3）幂运算复杂，训练时间长

tensorflow语法：
tf.math.tanh(x)