为什么在CNNs中激活函数选用ReLU,而不用sigmoid或tanh函数?

本文探讨了在神经网络中使用非线性激活函数的原因,包括ReLU的优势:减少计算量、避免梯度消失及提高网络稀疏性。通过对比线性函数与非线性函数,揭示了非线性激活函数在构建复杂模型中的关键作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

https://blog.youkuaiyun.com/shijing_0214/article/details/53143393
第一个问题:为什么引入非线性激励函数? 如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层输出都是上层输入的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与没有隐藏层效果相当,这种情况就是最原始的感知机(Perceptron)了。 正因为上面的原因,我们决定引入非线性函数作为激励函数,这样深层神经网络就有意义了(不再是输入的线性组合,可以逼近任意函数)。最早的想法是sigmoid函数或者tanh函数,输出有界,很容易充当下一层输入(以及一些人的生物解释balabala)。
第二个问题:为什么引入ReLU呢? 第一,采用sigmoid等函数,算激活函数时(指数运算),计算量大,反向传播求误差梯度时,求导涉及除法,计算量相对大,而采用ReLU激活函数,整个过程的计算量节省很多。 第二,对于深层网络,sigmoid函数反向传播时,很容易就会出现梯度消失的情况(在sigmoid接近饱和区时,变换太缓慢,导数趋于0,这种情况会造成信息丢失,参见 @Haofeng Li 答案的第三点),从而无法完成深层网络的训练。 第三,ReLU会使一部分神经元的输出为0,这样就造成了网络的稀疏性,并且减少了参数的相互依存关系,缓解了过拟合问题的发生(以及一些人的生物解释balabala)。

### ReLU激活函数的优点 ReLU(Rectified Linear Unit)作为当前深度学习中最常用的激活函数之一,在神经网络中具有显著的优势: 1. **快速收敛** 相较于传统的SigmoidTanh激活函数ReLU的收敛速度更快。这是因为在$x > 0$的情况下,ReLU的导数始终为1,这使得梯度下降过程中的权重更新更为高效[^4]。 2. **计算效率高** ReLU是一个分段线性函数,其定义简单:如果输入大于零,则输出等于输入;否则输出为零。这种特性使其无需复杂的指数对数运算,因此在前向传播和反向传播过程中都能节省大量计算资源[^4]。 3. **减少过拟合风险** 当输入小于零时,ReLU会将这些值映射为零,从而使一部分神经元处于不活跃状态。这样的稀疏化处理有助于降低模型复杂度并提高泛化能力,进而减少过拟合的可能性[^4]。 4. **缓解梯度消失问题** 在传统激活函数Sigmoid中,随着层数增加可能会遇到梯度逐渐趋近于零的情况,即所谓的“梯度消失”。然而,由于ReLU在正半轴上的恒定斜率特性,它能够很好地避免这个问题,尤其适用于深层网络结构[^4]。 ### 应用场景 尽管存在一些局限性,比如可能引发“死亡ReLU”的现象,但ReLU仍然广泛应用于各种类型的神经网络架构之中: 1. **多层感知机(MLPs)** 对于标准的全连接型人工神经网络而言,采用ReLU可以加速训练进程,并改善最终性能表现[^1]。 2. **卷积神经网络(CNNs)** CNN要用于计算机视觉任务,例如图像分类、目标检测等领域。在这里面引入ReLU不仅提升了运行效率还增强了系统的鲁棒性和表达力[^2]。 3. **循环神经网络(RNNs除外)** 虽然理论上RNN也能利用ReLU来代替其他形式的传统门控机制内的非线性变换组件,但实际上这样做往往会造成数值不稳定等问题,所以一般情况下并不推荐这么做[^1]。 ```python import numpy as np def relu(x): return np.maximum(0, x) # Example usage of the ReLU function input_data = np.array([-1, 0, 1]) output_data = relu(input_data) print(output_data) # Output will be [0 0 1] ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值