CNN发展历程（AlexNet-MobileNet V3）

2012 AlexNet

（1）与最早的卷积神经网络LeNet相比，AlexNet的层数更深，共有7层，并且使用ReLU作为非线性激活函数
（2）使用dropout对抗过拟合
（3）使用max-pooling下采样

2014 VGG

（1）与AlexNet相比，VGG的层数更深，最高达到19层，可以增强网络的非线性表达能力
（2）与AlexNet相比，VGG使用更小的卷积核。VGG大量使用3×3的卷积，将多个3×3卷积排列起来形成一个卷积序列，该卷积序列与大卷积核具有相同的感受野，并具有更少的参数

2014 GoogLeNet

GoogLeNet有很多版本，包括Inception v1，v2，v3等，后者大多是对v1的改进

Inception v1

（1）Inception v1采用模块化的结构，每一模块以上一模块的输出作为输入。对输入分别进行1×1、3×3、5×5的卷积以及 3×3的max pooling后，将四路分支通过并联（Concat）融合起来。并且在3×3和5×5的卷积之前，先进行1×1的卷积进行降维，以减少计算复杂度，去除特征冗余，并且3×3max pooling后也进行1×1卷积，以提升网络非线性表达能力。
（2）Inception v1使用多种大小的卷积核，意味着多种不同大小的感受野，最后的拼接意味着多尺度特征的融合，从而提高网络表达能力。
（3）未来防止梯度消失，Inception v1除了在网络最后使用softmax之外，还在中间层使用额外的两个辅助softmax反传梯度
（4）网络的最后使用全局平均池化代替全连接，减少了参数数量

原始版本

改进版本

Inception v2：

（1）在v1的基础上增加了Batch Normalization
（2）使用两个3×3卷积代替5×5卷积

Inception v3：

（1）把n×n卷积分解为一个1×n卷积核一个n×1卷积，进一步缩减参数量
（2）输入图像大小由224×224放大至299×299

Inception v4

(1)研究了 Inception Module 结合 Residual Connection，结合 ResNet 可以极大地加速