WRN详解

WRN

《Wide Residual Network》

1 提出问题

​ 随着卷积神经网络模型的发展，网络的深度问题也一直被关注。到底是选择浅层网络好还是深层网络好？这个问题也一直没有被解答。

​ ResNet中提出的bottleneck块（如下图）进一步增加了网络的深度。bottleneck块中加入了1*1的conv，主要用于embedding和减少参数。但bottleneck进一步使得网络变得更深更窄（deeper，thiner）。ResNet最大深度已经达到了1001层。

​ ResNet深度的增加也带了一定的问题：首先，随着深度增加，模型中的参数数量也大量增加，给模型训练带来了一定困难，需要使用各种正则化方法解决过拟合问题；其次，深度过大，使得残差结构中F(x)的激活值很小，对模型最终结果的贡献也减少了，模型的特征重用减弱。

​ 实验表明，Residual Netwrok的优秀效果主要来自于残差结构，而不是网络的深度。针对这一结果，文中尝试增加网络宽度来改进模型。

2 解决方法

2.1 相关定义

​ 为了更好的理解文中提出的Wide Residual Network（WRN），有如下描述定义：

<