深度学习总结五:AlexNet

论文链接
代码

成就

2012年ImageNet项目的大规模视觉识别挑战(ILSVRC)冠军。

特点

1. 使用ReLU函数代替sigmoid作为激活函数，避免梯度消失。因为sigmoid函数趋近0或者1时，梯度趋近0，反向传播时多个梯度相乘导致梯度消失。ReLU函数的导数为常数。
2. 使用dropout防止过拟合。
3. 提出LRN(较少使用)。来自神经网络的侧抑制现象，对局部神经元中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元。
4. 重叠池化层轻微改善过拟合现象。

结构

alexNet共有八层网络
卷积层1：输入2242243 卷积核1111396 步长为4 然后是ReLU、局部归一化、33步长为2的最大值池化
卷积层2：输入为282896 卷积核5596256 然后是ReLU、局部归一化、33步长为2的最大值池化
卷积层3：输入1414256 卷积核33256384 然后是ReLU
卷积层4：输入1414384 卷积核33384384 然后是ReLU
卷积层5：输入1414384 卷积核33384256 然后是ReLU、33步长为2的最大值池化
全连接层1：输入66256 输出4096 然后是ReLU、DropOut
全连接层2：输入4096 输出4096 然后是ReLU、DropOut
全连接层3：输入4096 输出1000

参考