CNN经典模型回顾
1. AlexNet
AlexNet可以算是第一个“深度”神经网络,主要创新在于网络深度的加深和防止过拟合的dropout以及防止梯度消失/爆炸的激活函数: ReLU.
2. VGG
相比于AlexNet,VGG更深了。同时,VGG采用了许多小卷积核,并引入了1×1卷积核,专门用来做特征降维。

3. Inception系列
Inception-v1的主要改进有二:一是将多个尺度的卷积核concatenate起来,形成了一个multi-scale的效果;二是采用了两个较浅层的辅助输出,防止因网络太深而带来的梯度消失问题。