AlexNet

最新推荐文章于 2019-03-29 13:35:52 发布

原创最新推荐文章于 2019-03-29 13:35:52 发布 · 751 阅读

2 ·

CC 4.0 BY-SA版权

深度学习同时被 3 个专栏收录

6 篇文章

订阅专栏

人工智能

4 篇文章

订阅专栏

论文笔记

4 篇文章

订阅专栏

AlexNet是深度学习在图像识别领域的里程碑，通过5层卷积和3层全连接网络，结合ReLU激活函数和局部响应标准化，显著提升了ImageNet挑战赛的性能。数据扩增、Dropout等技术有效减少了过拟合，该模型在ILSVRC2010和2012上取得优异成绩。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Imagenet classification with deep convolutional neural networks

AlexNet

Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.

总结

网络结构是5层卷积和3层全连接，使用不饱和激活函数ReLU加快训练速度，局部响应标准化LRU可以加快训练速度增加模型泛化能力，因为用了不饱和激活函数ReLU，所以不能再加快速度了。重叠池化，不容易过拟合，提升少许性能。本文的减少过拟合是一个重点，使用了随机裁剪和翻转，以及PCA改变图片像素值来作为数据扩增手段，另外还用了Dropout来减少过拟合。在预测方面，一张256图片，4角中心取5张，翻转后变成10张，取模型结果的平均作为最后的结果。结果在LSVRC-2010和2012上测评，单模型，集成5个模型和预训练模型。

摘要

ImageNet是一个数据集，有1500万标记过的高分辨率图片，22000个类别。

ImageNet Large-Scale Visual Recognition Challenge（ILSVRC）是用ImageNet部分数据集（1000个类别）举办的比赛，训练集120万张，验证机5000张，测试集15万张。有两个评价指标，top-1，top-5指预测出来概率前5的结果中包括了正确标签。

ImageNet图片大小不一，中心裁剪到256大小，使用训练集的均值对图片去均值。

引言

现有的方法是用机器学习做目标识别。因为数据集少，机器学习足够了，但是现实中的图片就不一样了。出现了大规模标注的数据集，LabelMe、ImageNet。

需要有足够学习能力的模型来学习这么多图片的目标。然而现实中那么多图片，不都包含在ImageNet中，所以需要学习先验知识。CNN可以通过改变深度和宽度来增加学习能力，和普通的机器学习神经网络相比可以学习到图片的本质，也就是统计的平稳性和像素相关性的局部性，而且参数更少，更容易训练。

CNN效果好，效率也比较高，但是还是不能用在高分辨率的图片上。使用高度优化的二维卷积，现在的GPU可以放两张像ImageNet的图片。有足够的图片可以防止严重的过拟合。

在ImageNet子集ILSVRC2010和2012的数据集上训练模型，在GPU上实现卷积和其他训练操作。在第3节介绍了一些方法来提高模型性能，减少训练时间。第4节介绍了一些有效的防止过拟合的方法。

模型受限于GPU，可以通过提高GPU和数据集来获得更好的效果。

数据集

ImageNet是一个数据集，有1500万标记过的高分辨率图片，22000个类别。

ImageNet图片大小不一，中心裁剪到256大小，使用训练集的均值对图片去均值。

网络结构

先介绍一些除了卷积以外的其他特殊的操作。ReLU激活函数，饱和激活函数比不饱和训练的慢。

饱和激活函数和不饱和激活函数的训练时间比较

因为本文主要是减少过拟合，所以没有展开讨论传统变体激活函数和ReLU的好坏。ReLU激活函数不需要对输入进行标准化来防止它到饱和区域，因为只要有正的输入就可以训练神经元。但是局部归一化LRU可以增加泛化能力。

b i x, y = a i x, y / (k + α \sum j = max 0, i - n / 2 min N - 1, i + n / 2 (a j x, y) 2)

$b^i_{x,y} = a^i_{x,y} / {(k + \alpha \sum^{\min{N-1, i+n/2}}_{j=\max{0, i-n/2}}(a^j_{x,y})^2) }$

参数解释： $a^i_{x,y}$ ，x,y是位置，i是卷积核编号，a是激活函数的输出。相当于在同一个位置(x, y)，不同的map上的激活进行了平滑。n是计算前后多少个卷积的，N是卷积核总数。LRN降低了top-1和top-5，在CIFAR-10上也降低了测试误差。

LRU原理图

重叠池化Overlapping Pooling，池化步长为2，池化面积为3x3，效果有少许提升，更不容易过拟合。。自己实现的深度学习操作，在2块GPU上跑程序。

整体结构图，5层卷积3层全连接，最后一层全连接是1000softmax用于一千分类。损失是最小化多项式逻辑回归（交叉熵？），和最大化预测的对数概率等价。

网络结构

LRU和重叠池化的位置，先通过LRU，再通过重叠池化：

LRU和重叠池化的位置

减小过拟合

1. 数据扩增

水平垂直翻转，255图片中随机裁剪出224，预测的时候在255图片中4个角和中间取5张，加上水平翻转的5张，平均10张的概率作为最后的结果。

[p 1, p 2, p 3] [α 1 λ 1, α 2 λ 2, α 3 λ 3]

$[p_1, p_2, p_3][\alpha_1 \lambda_1, \alpha_2 \lambda_2, \alpha_3 \lambda_3]$

PCA，RGB是图片的3个特征，p是协方差矩阵的特征向量，λ是特征值，把计算出来的上式的值加到原像素值上面去。

2. Dropout

通过概率关闭神经元，形成不同的网络结构（参数共享），有模型集成的作用；因为不能依靠所有的神经元特征，减小了模型复杂度，迫使神经元学习更稳定的特征。测试的时候乘上保留概率。在全连接层的第一、二层使用了dropout。

学习细节

batch大小为128，使用动量法，动量因子为0.9，L2正则化方法，权重衰减为0.0005。

v i + 1 : = 0.9 \cdot v i - 0.0005 \cdot ϵ \cdot w i - ϵ \cdot (\partial L \partial w | w i) D i

$v_{i+1} := 0.9 \cdot v_i - 0.0005 \cdot \epsilon \cdot w_i - \epsilon \cdot (\frac{\partial L}{\partial w}|_{w_i})_{D_i}$

w i + 1 : = w i + v i + 1

$w_{i+1} := w_i + v_{i+1}$

初始化：用(0,1)的高斯分布来初始化每一层的权重，第2、4、5卷积层的偏置和全连接层隐藏层的参数初始化为1，其他的初始化为0。学习率：初始学习率为0.01，训练过程中手动调整学习率，在验证集错误率不再提升的时候乘上0.1，减小过3次，在1.2百万的训练集上训练了90个cycles。

结果

ILSVRC-2010的结果：

ILSVRC-2010结果

ILSVRC-2012的结果：

ILSVRC-2012的结果

1 CNN是base-line模型，5 CNN是单独训练了5个base-line，然后平均测试结果的概率得到的结果。* 是在ImageNet 2011的数据集（15M图片，22K类别）上训练一个6层卷积的CNN，然后finetune到ILSVRC-2012，最后一个是平均2个CNN*和5个CNN得到的结果。