卷积神经网络发展历史及各种卷积神经网络模型简介

1.前言

我的毕设做的是基于opencv和卷积神经网络的人脸识别项目。在做完这个项目之后，我一直想好好总结一下所学到的关于卷积神经网络的知识。现在趁着有点空闲，随手记录一点以前学过的，或者正在学习的知识点，相当于一个备忘录。

**

2.卷积神经网络模型概览

**

从一开始的LeNet到后来的VGGNet，再到google的Inception系列，再到ResNet系列，每一种神经网络模型都有其创新的点，下面我们就来按照历史脉络好好讲解一下各种模型的特点。（里面涉及到的各种卷积神经网络的基础知识要点可以参见我的另一篇基础博客）

2.1LeNet模型结构

LeNet网络结构是再1998年由lecun提出的。它被创造出来的目的是解决手写数字识别的问题。即它是一个10分类任务的解决办法。下图是它的一个基本的网络结构。

网络结构图中显示的很清楚。它包括了两个卷积层，两个下采样层，两个全连接层和一个激活层，最后有一个sotfmax分类层。可以说，LeNet麻雀虽小，五脏俱全。包括了基本的卷积神经网络的所有单元。

2.2 AlexNet

话不多说，我们直接上来看AlexNet的网络结构：

我们可以看到，它的网络结构被分成了两支，这是因为当时的GPU计算能力不够，显存容量不够大。为了完成模型的训练，作者使用了两块显卡来进行分布式的训练。我们现在想要训练这样一个模型，只需要实现其中一条就好了。
emmmm我其实个人是想知道怎么进行分布式训练的，但是我没有两块显卡（贫穷限制了我的发展） 找不到相关技术资料，这里就不赘述了。
对比刚刚的LeNet，我们可以发现从结构上来看，它并没有很大的改变。我们看它的网络结构：输入层是224* 224的数据，然后进行了多轮卷积（提取特征），其中包括11* 11的卷积核，5* 5的卷积核，3* 3的卷积核。虽然在图片上我们只画了卷积层，但我们应该知道，每一个卷积层之后都会跟上一个激活层（用来增加模型的非线性表达能力），一个降采样pooling层（减小数据量，提取主要特征），以及一个局部归一化处理（对数据进行一定的约束，使我们的数据约束在一定的范围内，使网络更好的收敛）。经过多个卷积层之后，就会有三个fc层（全连接层）。同样的，在每一个fc层之后，也会有有一个relu激活层，以及一个dropout层（减小参数量，防止过拟合，增加i网络结构变化）。最后呢，通过一个fc层