CNN笔记

CNN发展：Lenet、Alexnet、Network in Network（NiN）、VGG（16、19）、GoogleNet（Inception v1、v2、v3、v4）、ResNet（v1、v2；18、34、50、101和152）
（此外还有DenseNet、SqueezeNet、MobileNet、NASNet、SENet等；）
（tensorflow/tensorflow/contrib/slim/python/slim/nets有多种现成的网络；）
（tensorflow/models/tree/master/research/slim/nets有更多现成的网络；）

ImageNet论文：
ImageNet: A Large-Scale Hierarchical Image Database

网络演化：
https://www.cnblogs.com/52machinelearning/p/5821591.html
https://www.cnblogs.com/skyfsm/p/8451834.html
https://blog.youkuaiyun.com/dqcfkyqdxym3f8rb0/article/details/79314648

LeNet是用于手写体字符识别的非常高效的卷积神经网络；
（卷积层-池化层-卷积层-池化层-全连接层-全连接层-全连接层；）

LeNet相关论文：
Gradient-Based Learning Applied to Document Recognition

https://cuijiahua.com/blog/2018/01/dl_3.html
https://www.cnblogs.com/duanhx/articles/9655228.html
https://blog.youkuaiyun.com/lilong117194/article/details/79370831

AlexNet首次在CNN中成功应用了ReLU、Dropout、重叠最大池化（Overlapping maxPooling）、LRN（Local Response Normalization）、Data Augmentation（如PCA）、以及利用两台GPU（分组卷积）训练等Trick；
AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中；（5个卷积+3个全连接；输入图像大小224*224；）

AlexNet相关论文：
Imagenet classification with deep convolutional neural networks

https://www.cnblogs.com/alexanderkun/p/6917985.html
https://baike.baidu.com/item/AlexNet/22689612?fr=aladdin
https://www.cnblogs.com/alexanderkun/p/6918045.html
https://blog.youkuaiyun.com/luoluonuoyasuolong/article/details/81750190
https://www.jianshu.com/p/182073af7d95
https://blog.youkuaiyun.com/qq_24695385/article/details/80368618

VGG获得了2014年ILSVRC分类第二，定位第一；（当年分类第一是GoogLeNet）
VGG使用small filters（3*3conv），原因：
1. 3个3*3conv和1个7*7conv有效感受野一样，但是层数更深，非线性也越强
2. 参数更少，3*（3*3）< 7*7

VGG也使用了1*1卷积；
（1*1卷积本质是不同feature channel的线性叠加，不用考虑像素间的关系；可以实现通道数量的升维和降维；是性价比很高的聚合操作；最早出现在NiN论文）
VGG有19层的 Net-E 和16层的 Net-D ；前者比后者好
（实验表明LRN没有任何用处）

VGG相关论文：
Very deep convolutional networks for large-scale image recognition（vgg16、19）

https://www.sohu.com/a/241338315_787107
https://www.jianshu.com/p/68ac04943f9e  ！！！
https://www.cnblogs.com/bonelee/p/8921364.html
https://www.jianshu.com/p/e96b7a9b4229

GoogleNet没有全连接层，参数比Alexnet还少12倍，只有5百万个；总共22层，最大特色是Inception；Inception是全卷积的；
GoogleNet的Inception是基于Network in Network（NiN）改进的！
GoogleNet（v1）有多个loss（或softmax、输出）；为啥这么设计？
（多个softmax，即辅助分类器，求平均来得到最后的结果；是一种正则化？）
（在实际测试的时候，这两个额外的softmax会被去掉？）
GoogleNet也能做目标检测？（只能作为例如Faster R-CNN的一部分？）

Inception v2将Inception v1的5*5卷积变为2个3*3卷积；（这个trick在vgg就出现过了吧！）
Inception v2将Inception v1对称的conv分解为非对称的conv计算；（n*n卷积用一组1*n卷积和n*1卷积代替；）
Inception v2结合了两种下采样，pooling和Inception；
Inception v3和Inception v2区别只有一点，即v3在Aug loss中使用了BN进行regularization；
Inception v4研究了Inception模块与残差连接的结合；（得到Inception-ResNet-v1、Inception-ResNet-v2、Inception-v4三种网络；）
作者认为残差连接并不是深度网络所必须的（PS：ResNet的作者说残差连接是深度网络的标配）；

GoogleNet相关论文：
Going deeper with convolutions（Inception v1）
Rethinking the Inception Architecture for Computer Vision（Inception v2和Inception v3）
Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning （Inception v4）

https://my.oschina.net/u/876354/blog/1637819 
https://blog.youkuaiyun.com/sunbaigui/article/details/50807362
https://www.imooc.com/article/69524
https://blog.youkuaiyun.com/weixin_39953502/article/details/80966046  
https://github.com/BVLC/caffe/blob/master/models/bvlc_googlenet/train_val.prototxt
https://blog.youkuaiyun.com/shuzfan/article/details/50738394
https://blog.youkuaiyun.com/loveliuzz/article/details/79135583
https://blog.youkuaiyun.com/stdcoutzyx/article/details/51052847

ResNet就是为了解决网络深度变深以后的性能退化和梯度消失问题； 
ResNet核心思想是引入一个所谓的「恒等快捷连接」（identity shortcut connection），直接跳过一个或多个层；
（ResNet不是第一个利用快捷连接的模型，Highway Networks就引入了门控快捷连接；）
Resnet提供了两种选择方式，即identity mapping和residual mapping；
ResNet-152深度是VGG19的8倍，但是计算复杂度比后者低；
ResNet除了classification还能做detection、localization、segmentation？（只能作为例如Faster R-CNN的一部分）
ResNet V2和ResNet V1主要区别在于，作者通过研究ResNet残差学习单元的传播公式，发现前馈和反馈信号可以直接传输；
（捷径连接（shortcut connection）的非线性激活函数（如ReLU）替换为 Identity Mapping；）
（此外，ResNet V2在每一层都使用了Batch Normalization；）

ResNet相关论文：
Deep Residual Learning for Image Recognition（ResNet v1）
Identity Mappings in Deep Residual Networks（ResNet v2）

https://my.oschina.net/u/876354/blog/1622896
https://blog.youkuaiyun.com/lanran2/article/details/79057994  ！！！
https://blog.youkuaiyun.com/u013181595/article/details/80990930
http://baijiahao.baidu.com/s?id=1598536455758606033&wfr=spider&for=pc

DenseNet将每一层与其他的层都链接起来；
（对于每一层网络，前面所有网络的特征图都被作为输入，同时其特征图也都被其他网络层作为输入所利用；）
（缓解梯度消失问题，加强特征传播，鼓励特征复用，极大的减少了参数量；同时内存占用非常高；）
（注意：dense connectivity仅仅是在一个dense block里的，不同dense block之间是没有dense connectivity的；）

DenseNet相关论文：
Densely Connected Convolutional Networks

https://www.imooc.com/article/36508
https://blog.youkuaiyun.com/sigai_csdn/article/details/82115254
https://blog.youkuaiyun.com/u012938704/article/details/53468483

SqueezeNet相关论文：
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size

https://blog.youkuaiyun.com/csdnldp/article/details/78648543
https://blog.youkuaiyun.com/u011995719/article/details/78908755
http://www.imooc.com/article/264019

MobileNet相关论文：
Mobilenets: Efficient convolutional neural networks for mobile vision applications

https://blog.youkuaiyun.com/hongbin_xu/article/details/82957426
https://blog.youkuaiyun.com/u011974639/article/details/79199306
https://www.jianshu.com/p/854cb5857070
https://blog.youkuaiyun.com/c20081052/article/details/80703896

---------------------------------------------------------------

搭讪一下作者：