iResNet: Improved Residual Networks for Image and Video Recognition

code pytorch

Abstract

作者对resnet中三个主要的部分做了改进（不需要增加模型的复杂度，就可以训练比resnet更深的网络）：

• 通过网络层的信息流残差块
• 残差块
• projection shortcut

Introduction

原始的resnet中的identity mapping 当层数加深（152 -> 200）的时候，会变得很难优化，从而导致训练错误。我们将网络分为多个阶段（start、middle和 end阶段），并在每个阶段的不同位置使用不同的模块，从而使得改进的resnet能够学习极深的网络，随着深度的增加，没有优化的困难。

在resnet中，当building block的尺寸与下一个building block的尺寸不匹配时，就必须使用projection shortcut。resnet的原始论文指出，projection shortcut并不是必须的，但是，由于它在主传播路径（main infomation propagation）上面,所以很容易干扰信号或者导致信息的丢失。针对这个问题，作者引入了一种改进的projection shortcut（不引入额外的参数，而且性能上也有提升）。

作者的贡献（下面的改进不会增加模型的复杂度）：

1. 提出了一个基于阶段的残差网络，通过 为信息在网络层传播提供更好路径 来促进网络学习过程（3.1）
2. 提出了一种改进的projection shortcut，可以减少信息的丢失并产生比较好的效果（3.2）
3. 提出了一个新的building block（3.3）

3.Improved residual networks