Alex论文笔记

ImageNet Classification with Deep Convolutional Neural Networks-基于深度卷积神经网络的图像分类

论文原文：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

1.论文总览

• 摘要
  介绍背景及提出Alex模型获得ILSVRC-2012冠军；
• The Dataset
  ILSVRC数据集简介，图片预处理细节；
• The Architecture
  Alex网络结构及其内部细节Relu,GPU,LRN,Overlapping pooling
• Reducing Overfitting
  防止过拟合技术，数据增强和Dropout;
• Detail of learning
  实验参数设置，超参数调整，权重初始化；
• Result
  Alex比赛指标、成绩以及详细设置；
• Qualitative Evalutions
  实验探究，分析卷积核模式，模型输出合理性，高级特征的相似性；
• Discussion
  强调网络结构之间的强关联性，提出进一步研究方向；

2.摘要

（1）该网络（AlexNet）由5个卷积层和3个全连接层构成，共计6000万参数，65个神经元；
（2）为了加快训练，采用非饱和激活函数-Relu，采用GPU训练
（3）为减轻过拟合，采用Dropout；

3.论文结构

（1）ReLU Nonlinearity --R