激活函数

激活函数

激活函数的作用

向网络中加入非线性因素,加强网络的表示能力,解决线性模型无法解决的问题

为什么加入非线性因素能够加强网络的表示能力?——神经网络的万能近似定理
  • 神经网络的万能近似定理:主要神经网络具有至少一个非线性隐藏层,那么只要给予网络足够数量的隐藏单元,它就可以以任意的精度来近似任何从一个有限维空间到另一个有限维空间的函数。

  • 如果不使用非线性激活函数,那么每一层输出都是上层输入的线性组合;此时无论网络有多少层,其整体也将是线性的,这会导致失去万能近似的性质

  • 但仅部分层是纯线性是可以接受的,这有助于减少网络中的参数。

常见的激活函数

Sigmoid(Logistic)

ReLU

ReLU 相比 sigmoid 的优势

  • 避免梯度消失
    • sigmoid函数在输入取绝对值非常大的正值或负值时会出现饱和现象——在图像上表现为变得很平,此时函数会对输入的微小变化不敏感——从而造成梯度消失;
    • ReLU 的导数始终是一个常数——负半区为 0,正半区为 1——所以不会发生梯度消失现象
  • 减缓过拟合
    • ReLU 在负半区的输出为 0。一旦神经元的激活值进入负半区,那么该激活值就不会产生梯度/不会被训练,造成了网络的稀疏性——稀疏激活
    • 这有助于减少参数的相互依赖,缓解过拟合问题的发生
  • 加速计算
    • ReLU 的求导不涉及浮点运算,所以速度更快
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值