AlexNet 论文阅读总结

        神经网络在历史上经过几起几落，自上世纪90年代以来，由于传统机器学习方法（SVM等）的崛起，神经网络方法由于过大的计算量一直被人们忽视，直到2010年前后，随着计算机硬件资源性能的提高和数据量的增加，神经网络迎来了又一次兴起。而促使全世界科研人员开始重点关注以神经网络为基础的深度学习方法的，正是在2012年ILSVRC竞赛中 AlexNet 的惊人表现。本文主要总结一下该基础网络的结构，以及其中的一些细节信息和技巧。

论文名称：《ImageNet Classifcation with Deep Convolutional Neural Networks》

                     By Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton

一、数据集情况

采用 ImageNet 数据集，其中包含120万张训练图片、5万张验证图片、15万测试图片。

输入图像尺寸固定为256X256。通过将原始图像较短的边采样变换到256的长度，然后进行裁剪（裁剪图像中心的正方形）得到256X256大小的输入图像。

之后作者进行了数据预处理操作，让所有图片减去在训练集上计算得到的像素均值（pixel mean）。主要作用是减去数据对应维度的统计平均值，来消除公共的部分，以凸显个体之间的特征和差异。一般来说，有两种去均值的方法，详请参见：https://blog.youkuaiyun.com/weixin_3