深度学习----经典卷积网络总结（1）

卷积网络总结（1）

---

在进行详细介绍之前先上个图：

（下面图片参照：http://blog.youkuaiyun.com/cyh_24/article/details/51440344）

这张图很好的说明了卷积网络的大致发展脉络，接下来我们对这些网络进行介绍，除此之外我们还将对DenseNet和EfficientNet进行介绍（其中一些缓解过拟合的操作，如Dropout、LRN等我们会再写一篇博客中进行总结介绍）

 

1、1998年LeNet-5

LeNet-5网络广泛用于手写字体识别（MNIST），它的结构比较简单，如下：

该网络内部的一些操作与当前使用的大部分网络存在不小的差别。第一点，由于该结构的卷积层没有padding操作，所以卷积层也会导致其分辨率的下降；第二点，池化操作稍微复杂一点，该池化在计算完输入的平均值之后，还会再乘以一个可学习的系数另外再加上一个可学习的偏置项；第三点，C3卷积层中的大部分神经元并不是与S2层的6张图都相连，而是只与其中的三张或四张特征图相连；第四点，一般的输出层都是计算输入和权重的相乘，而该网络的输出却是输入和权重之间欧式距离的平方，每一个输出衡量了图像属于某一类具体数字的程度。

2、2012年AlexNet（参数量大大增加）

        跟LeNet-5网络有些相似，但是更大更深一些。该网络的一大特色就是直接的将卷积层堆叠到一起，而不是卷积层之后跟着池化层。结构如下：