论文学习-ResNet理解

ResNet旨在解决深层网络优化难题,通过引入shortcut连接简化优化过程。其核心思想为利用恒等映射,使网络能够更轻松地逼近目标函数。实验证明,这种方式能显著提升深层网络的表现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

ResNet希望解决的问题

一般而言,深层网络性能好,但网络加深之后难以优化。ResNet [1]希望通过引入shortcuts的恒等映射,使网络优化变得简单。

做法

假设期望逼近的函数为H(x), 简单堆叠的方法用多层来逼近H(x),而引入shortcuts后,ResNet期望逼近的函数变为F(x) = H(x) - x。作者假设(并通过实验证明)这种方式更容易优化。
ResNet中基本的building block
注意:
1. 理论上深层网络的性能不应该比浅层网络差。给定一个浅层网络,可以这样构造深层网络,它的前半部分为浅层网络,其余层均为恒等变换,则它的性能应该和此浅层网络相同。
2. ResNet本质上是并行的多个不同深度的网络。虽然整体网络层数深,但大部分路径所通过的层数集中于20~40之间 [2]。
ResNet分解


[1]: Deep Residual Learning for Image Recognition
[2]: Residual Networks Behave Like Ensembles of Relatively Shallow Networks

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值