ResNet：Deep Residual Learning for Image Recognition

最新推荐文章于 2024-11-20 10:11:33 发布

原创

最新推荐文章于 2024-11-20 10:11:33 发布 · 985 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#ResNet #深度残差网络

ResNet通过引入残差学习解决了深度神经网络中训练误差增大的问题。其核心思想是学习残差函数F(x)，使得H(x) = F(x) + x，当F(x)=0时形成恒等映射。恒等变换的使用有助于优化过程，避免梯度消失。实验表明，ResNet在保持较低训练和测试误差的同时，优化效果优于传统深层网络。

背景

There exists a solution by construction to the deeper model: the added layers are constructed as identity mappings, and the other layers are copied from the learned shallower model. The existence of this constructed solution indicates that a deeper model should produce no higher training error than its shallower counterpart.

CNN可以提取到不同层级的特征(low/mid/high level），且网络层数越高，提取到的特征语义信息越丰富。然而研究者发现，当网络不断加深时，网络的training error与test error均增大。这并不是因为过拟合，因为过拟合的话应该是training error减小，test error增大，而且这种现象还会随着深度加深而变差。这并不符合逻辑，因为可以把深层网络看做一个浅层网络+由增加的层组成的恒等变换，深层网络的训练误差至少也能达到与浅层网络一样的训练误差才对。而深层网络显然没有把这种恒等变换学习到。因此出现了ResNet，它的存在本质上就是学习到这个恒等变换。

ResNet

当一个深层网络后面的那些层是恒等变换，那么深层网络就退化为了一个浅层网络。现在要解决的就是学习恒等变换函数了。多层的神经网络理论上可以拟合任意函数，若直接让一些层去拟合一个潜在的恒等变换函数H(x) = x比较困难，这可能就是深层网络难以训练的原因。但是，如果把网络设计为H(x) = F(x) + x,如下图。我们可以转换为学习一个残差函数F(x) = H(x) - x. 只要F(x)=0，就构成了一个恒

最低0.47元/天解锁文章