imagenet classification with deep convolutional neural networks(alexnet)阅读总结

1.数据集

ImageNet：1500万张图片，2.2万类别
ILSVRC比赛数据集：ImageNet的一个子集，1000个类别，每个类别大概1000张图。120万张训练图片，5万张验证集图片，15万张测试集图片。

2.创新点

👉2.1 ReLU非线性

1.使网络训练更快
2.防止梯度消失
2.使网络具有稀疏性（负半轴都是0）

👉2.2 多GPU训练

用两个GPU进行训练，只在第三层和全连接层进行通信
解决了计算机资源问题，也是alexnet获得成功的关键点。

2.3 局部响应归一化

提升大型网络的泛化能力，现在已经不用了。

2.4重叠池化

防止过拟合提升指标

👉2.5 数据增强

1.产生新图
训练阶段：
①图片统一缩放至256×256
②随即裁剪出224×224区域
③随机进行水平翻转
32×32×2=2048
测试阶段：
①图片统一缩放至256×256
②随即裁剪出224×224区域
③全部进行水平翻转
网络抽取5个224×224区块：5×2=10
2. 针对颜色（RGB）频谱密度进行改变
PCA

👉2.6 DropOut

每个输入进来的时候，网络以50%的概率将每个隐藏层神经元置零
会使迭代次数增加

3 网络结构

五个卷积层，三个全连接层
MAX Pooling跟在1，2，5卷积层后面
LRN跟在1，2卷积层后面

4 结果分析

4.1 top-1和top-5错误

训练不同的网络进行评估略

4.2 定量分析

1.GPU1学到的使频率和方向，GPU2学到的是颜色。分析的第一层
2.最后一个4096层，两张相似图片的向量欧氏距离很小。