WideResidualNetworks：深度与宽度的权衡-优快云博客

WRN

《Wide Residual Network》

1 提出问题

随着卷积神经网络模型的发展，网络的深度问题也一直被关注。到底是选择浅层网络好还是深层网络好？这个问题也一直没有被解答。

ResNet中提出的bottleneck块（如下图）进一步增加了网络的深度。bottleneck块中加入了1*1的conv，主要用于embedding和减少参数。但bottleneck进一步使得网络变得更深更窄（deeper，thiner）。ResNet最大深度已经达到了1001层。

在这里插入图片描述

ResNet深度的增加也带了一定的问题：首先，随着深度增加，模型中的参数数量也大量增加，给模型训练带来了一定困难，需要使用各种正则化方法解决过拟合问题；其次，深度过大，使得残差结构中F(x)的激活值很小，对模型最终结果的贡献也减少了，模型的特征重用减弱。

实验表明，Residual Netwrok的优秀效果主要来自于残差结构，而不是网络的深度。针对这一结果，文中尝试增加网络宽度来改进模型。

2 解决方法

2.1 相关定义

为了更好的理解文中提出的Wide Residual Network（WRN），有如下描述定义：

l：深度因素（deepening factor），表示单个残差块中卷积层的数量；

k：宽度因素（widening factor），表示卷积层中filter的数量倍数，此时filter数量为k*N，N=16/32/64；

d：Residual Network中残差块的数量；

B(M)：残差块的结构，eg：B(3, 3)表示块中包含2个3*3卷积层；

WRN-n-k-B(M)：模型结构，eg：WRN-40-2-B(3, 3)，表示层数为40，宽度为2，残差块结构为B(3,3)的WRN。

2.2 主要方法

正如上一节所提到的，ResNet中残差块的结构对与模型最终的性能其这决定性作用，那么如果可以提高残差快的特征提取能力的话，模型最终的效果也一定会有所提升。常用的方法有如下几种：

增加残差块中conv的数量，即提高深度因素l；
增加残差块中conv的宽度（增加filter数量），即提高宽度因素k；
增加残差块中conv的filter大小。

对于3，很多文章都表明，3*3conv是非常有效的，所以文中不在考虑更改fitler大小。

除了更改模型中残差快的结构以外，文中还对Dropout的使用进行了讨论。

3 实验结果

3.1 最优的B(M)

文中对不同的B(M)进行了测试，B(M)主要包括B(1, 3, 1)、B(3, 1)、B(1, 3)、B(3, 1, 1)、B(3, 3)和B(3, 1, 3)。

其中B(1, 3, 1)、B(3, 1)、B(1, 3)和B(3, 1, 1)中只包括一个3*3卷积层，参数数量相对较少，而B(3, 3)和B(3, 1, 3)中包括两个3*3卷积层，参数数量相对较多。为了保证实验中模型的总体参数数量大致相同，基于前四种B(M)构建WRN-40-2-B(M)，对于B(3, 3)和B(3, 1, 3)，分别构建WRN-22-2-B(3, 1, 3)和WRN-28-2-B(3, 3)。

在这里插入图片描述