damonlearning的博客

网络深度对模型的准确性是至关重要的，更深的层可以学习到更加丰富和抽象的特征信息，Resnet论文也通过大量的实验证明可以通过增加网络深度的方式来提高准确率。但是如果只是简单堆叠更多层，会出现一个退化问题：随着网络的加深，准确率会先达到饱和而后快速下降，而且这种退化不是由过拟合引起的。并且通过实验发现更深的网络有着更高的训练误差和测试误差。在Resnet论文中通过34层简单深层网络的优化难度不是梯度消失引起的，它的误差既不是前向信号消失也不是反向信号消失，推测深度简单网络可能有指数级低收敛特性，影响了训练误差

《Very Deep Convolutional Networks for Large-Scale Image Recognition》 论文：https://arxiv.org/pdf/1409.1556.pdf VGG作为一个经典的backbone，已经被大家讲烂了，很多文章里的模型图都被大家拷贝到模糊了。在看一些项目源码比如faster rcnn、ctpn时，VGG都是它们的基础网络模型来获取特征图。这里注意记录下pytorch官方的vgg实现源码。 VGG通过3x3的卷积核和2x2的最大池化层