蓬莱道人的博客

1、ResNet v1（CVPR2016最佳论文）：（1）网络结构    ResNet的提出主要为了解决这个问题：当网络的层数增加时，网络训练时会出现梯度消散或者梯度爆炸的问题，导致网络无法收敛，这个问题已经被归一化的初始化和中间层的BN极大解决了。然而，虽然深层网络开始收敛了，又出现了另外一个问题，那就是网络性能衰退，即随着网络深度增加，准确率先饱和然后下降，而这个问题也不是由于过拟合而...

1、MobileNet v1（2017.4 arXiv）（1）网络结构    MobileNet v1的网络结构非常简单，它是一个类似于VGG那样的直通网络，没有跳跃连接。MobileNet v1的主要贡献就是提出用深度可分离卷积代替普通卷积，它的整个网络大部分是基于深度可分离卷积的，只有网络前面几层使用普通卷积，整个网络参数比GoogLeNet小2.5倍，但是准确率比GoogLeNet高...

1、网络结构（CVPR2017）  如果说ResNeXt是ResNet的增强版，那毫无疑问，Xception就是Inception家族的增强版，为什么？因为牛X呀。这篇文章深入分析了Inception的卷积，在Inception模块中，从跨通道的关系看，先是由一系列1*1的卷积把输入映射为3到4个分离的比原始空间小的特征图，然后从跨空间的角度看，再用3*3或者5*5的卷积对这些小的特征图进行映...

1、网络结构（CVPR2017）    这个网络结构是基于ResNet的，是ResNet的增强版。该网络的提出主要吸收了VGG/ResNet和Inception家族网络的优点。VGG/ResNet的优点是网络结构是通多堆叠相同拓扑结构的模块而成，这样的话可以减少超参数的自由选择，网络深度称为最根本的超参数。而Inception家族的网络的Inception模块都是精心设计的，但是都遵循一个特性...

1、网络结构（CVPR2017最佳论文）    与Inception系列和ResNet网络不通，Inception网络主要是从网络的宽度方面改进网络的结构从而提高网络的表达能力，而ResNet主要是从网络的深度方面改进网络的结构来提高表达能力，而DenseNet则是通过特征图重用的方式来探索网络的潜能。DenseNet让网络的每一层的输入变成所有前面层的叠加（concat），然后把它的特征图传...

    Inception v4、Inception-ResNet v1、Inception-ResNet v2这三种结构都是在同一篇文章中提出来的，其核心思想是吧ResNet中的跳跃连接融合到Inception网络中，从而进一步改善网络的性能。1、Incention v4（ICLR2016）：     Inception v4是Inception v3的扩展，比Inception v3更...

1、AlexNet网络结构（NIPS2012）：        AlexNet由5个卷积层+3个全连接层组成（不包括LRN层和最大池化层），输入图像大小为224*224*3，第一个卷积层为96个11*11*3的卷积核，步长为4。第二个卷积层为256个5*5*48的卷积核，步长为1。第三个卷积层为384个3*3*256的卷积核，步长为1。第四个卷积层为384个3*3*192个卷积核，步长为1...

1、VGGNet网络结构（ICLR2015）：                                       VGGNet探索了网络层的深度对网络层的影响。VGGNet参考AlexNet的结构，采用5段卷积+3个全连接层的结构，每段卷积内有1~4个卷积层，每个卷积层后面都一个激活函数。从A到E不断增加每段卷积中的卷积层数量，越往后的卷积段中卷积层的通道数越大：64-&gt...

1、Incention V1（CVPR2015）： （1）网络结构         GooLeNet的提出主要为为了解决这个问题，即通过增加网络层数量或者增加每层网络的宽度来提高准确率时有很多缺点，第一个是容易引起过拟合，第二个是造成计算资源极大增加。而解决这个问题的方法通常是让全连接层甚至卷积层变得稀疏化，这种方法不仅有仿生系统基础，而且这也有更坚实的理论基础的优势，即如果数据集的概...