论文学习-ResNet理解

ResNet希望解决的问题

一般而言，深层网络性能好，但网络加深之后难以优化。ResNet [1]希望通过引入shortcuts的恒等映射，使网络优化变得简单。

做法

假设期望逼近的函数为H(x), 简单堆叠的方法用多层来逼近H(x)，而引入shortcuts后，ResNet期望逼近的函数变为F(x) = H(x) - x。作者假设（并通过实验证明）这种方式更容易优化。

注意：
1. 理论上深层网络的性能不应该比浅层网络差。给定一个浅层网络，可以这样构造深层网络，它的前半部分为浅层网络，其余层均为恒等变换，则它的性能应该和此浅层网络相同。
2. ResNet本质上是并行的多个不同深度的网络。虽然整体网络层数深，但大部分路径所通过的层数集中于20~40之间 [2]。

---

[1]: Deep Residual Learning for Image Recognition
[2]: Residual Networks Behave Like Ensembles of Relatively Shallow Networks