神经网络一 | ImageNet Classification with Deep Convolutional Neural Networks

一 大量数据集与大规模网络训练

1.1 个人简单理解

该文章设计目的是能够学习大规模，高分辨率的图像数据集且具备足够学习能力的网络。

如此一来就免不了对网络的宽度和深度有较高的要求，与此同时网络参数的数量和计算量也是庞大的。

作者首先确定使用CNNs的架构，这样做减少了神经层之间的连接以及参数量，便于训练，且性能相比标准的具有相似尺寸大小的网络层的前馈神经网络只是轻微的下降。之后作者在框架中引入了几个设计，如ReLU的使用，数据集的扩增等等，提高了CNN网络的性能，还有就是GPU的使用硬性保证了大规模网络能够train起来。

二 框架学习

先展示神经网络框架：五个卷积层和三个全连接层

【网络分析】

        输入为224×224×3的图像

        卷积层1的卷积核为11×11×3，strde=4，每个GPU内（2.2讲解）输出55×55×48，响应规范化（2.3节内容），池化（2.4节内容）

        卷积层2：256个卷积核，大小为5×5×48；响应规范化，池化

        卷积层3，4：384个卷积核，大小为3×3×256；无池化

        卷积层5：256个卷积核，大小为3×3×192

        全连接层6，7：每个GPU内有2048个神经元，共4096个

        全连接层8：输出与1000个softmax相连

        输出：关于1000个类的分布

具体网络各详细参数的分析可以参考另一篇博文，讲的很详细：

https://blog.youkuaiyun.com/zziahgf/article/details/79619059

本文主要讲了设计的框架的四个新颖的特点，并按重要性顺序展开讲述

2.1 激活函数 —— 使用ReLU

        作者用非饱和非线性函数（non-saturating nonlinearity）:

                

替代了饱和非线性函数（saturating nonlinearities）,如,