Keras 深度学习攻略两篇（1）：十种卷积神经网络（CNN）框架——总结与可视化分析

十种卷积神经网络框架

1. 概述

• 论文发表时间：
  

• Keras 中的部分模型

  

现在已经不止6种：Keras Documentation

“[m]ost of this progress is not just the result of more powerful hardware, larger datasets and bigger models, but mainly a consequence of new ideas, algorithms and improved network architectures.” (Szegedy et al, 2014)

2 .可视化解读十种CNN框架

2.1 LeNet-5(1998)

LeNet-5 是最简单的框架之一，由2个卷积层和三个全连接层组成（因此叫做”5“——这种使用据卷积层和全连接层的数量来命名是一种很常普遍的做法）

创新点：
这个模型成为了一个标准”模板“：堆叠卷积层和池化层，最后以一层或者多层的全连接层结尾。

发表：

• Paper: Gradient-Based Learning Applied to Document Recognition
• Authors: Yann LeCun, Léon Bottou, Yoshua Bengio, and Patrick Haffner
• Published in: Proceedings of the IEEE (1998)

2.2 AlexNet(2012)

参数量60M的AlexNet有八层网络——5层卷积核3层全连接层。
相比LeNet-5来说，AlexNet也不过是多了几层网络。作者在论文中提到，他们“在ImageNet子集上训练了到目前为止最大的神经网络之一”。

创新点：

• 第一次使用Rectified Linear Units (ReLUs) 作为激活函数

发表：

• Paper: ImageNet Classification with Deep Convolutional Neural Networks
• Authors: Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton. University of Toronto, Canada.
• Published in: NeurIPS 2012

2.3 VGG16(2014)

相信你也注意到了CNNs网络的层数变得越来越深。这是因为提升提升深度神经网络模型
性能最直接的方式就是提升它的大小（Szegedy et. al）。
VGG16由 Visual Geometry Group (VGG) 的人提出，它包含13个卷积层和3个全连接层，激活函数沿用的AlexNet的ReLU。
相比AlexNet，VGG16堆叠了更多地层，同时使用了更小的卷积核（2×2 and 3×3)）。VGG16模型参数的大小是138M，同时需要500M的储存空间！他们也训练了另外一个网络：VGG19。

创新点：

• 正如上面提到的，使用了更深的网络（几乎是AlexNet的两倍）
  发表：
• Paper: Very Deep Convolutional Networks for Large-Scale Image Recognition
• Authors: Karen Simonyan, Andrew Zisserman. University of Oxford, UK.
• arXiv preprint, 2014

2.4 Inception-v1(2014)

注：这个模型的名称（Stem and Inception）并没有在这个版本使用，而是在其后续版本，Inception-v4 和 Inception-ResNets出来之后才这么叫。