sigmoid、tanh和ReLU

sigmoid的缺点：

1.神经元接近0或1时会饱和，导致梯度消失。

2.sigmoid取值范围[0,1]，不是0中心的。影响反向传播时梯度下降的运作，梯度要么正数要么负数，权重更新Z字型下降，不过算是个小问题。

tanh是一个简单放大的sigmoid神经元，取值范围[-1, 1]

ReLU函数，公式为f(x) = max(0, x)

优点：

1.线性，收敛速度快。

2.不含指数运算等，节约计算资源。

 

层数越深，ReLU相对sigmoid和tanh的优势越明显