ReLU(Rectified Linear Unit)激活函数在现代深度学习中比 Sigmoid 激活函数更为常用,主要原因如下: 1. 解决梯度消失问题 Sigmoid 函数的输出范围为 ( 0 , 1 ) (0, 1) (0,1)