AlexNet, VGGNet, InceptionNet, ResNet介绍

AlexNet 和 VGGNet

VGGNet可以看成是AlexNet的加深加强版, 网络结构如图所示:

与AlexNet的不同之处在于更小的filter, 更深的网络. 只有3 * 3的卷积层和2 * 2 的池化层, 简洁优美. 卷积核专注于扩大通道数、池化专注于缩小宽和高，使得模型架构上更深更宽的同时，计算量的增加放缓.

用连续的3 * 3 filter 堆叠, 效果要比一个大卷积filter好, 原因是:
1. 保证了相同大小的感受野(三个3 * 3 的与一个7 * 7的filter感受野一样大)
2. 更少的参数, 减小了计算量.
3. 更多的隐藏层带来更多的非线性. 

InceptionNet(GoogleNet)

VGG中, 卷积层的通道数过大, 并不高效. 因为不同层之间的相关性很高, 很多激活值是冗余的.

InceptionNet提出了Inception模块, 优点有: 
1. 减少每次卷积的通道数, 减小了冗余信息
2. 采用不同尺度的感受野
3. 提出了1 * 1卷积, 大大减少了参数量 , 同时还能控制通道数

InceptionNet架构还有一个特殊设计, 在最后的卷积层后使用全局均值池化层替换了全连接层. 
1. 更大更深的网络和Incepion模块使得这并不会影响准确度, 速度还快
2. 这大大减少了模型的总参数量
3. 因为移除了全