经典论文研读：ImageNet Classification with Deep Convolutional Neural Networks

一、阅读笔记

Alex 的这篇经典论文提出了一下几点重要创新：

ReLU 激活函数

Relu可以加速训练过程，性能损失很小。深卷积神经网络与ReLUs训练的速度比与$tanh$单位相当的神经网络快几倍。所以，AlexNet中所有的层都采用ReLU作为激活函数。

局部响应归一化

每层的输出，做归一化处理。原文用下面的公式实现归一化：

这个有些不好理解，我举个简单例子，假设通道数$N=10，n=3，k=0，\alpha =1,\beta =0.5$，则有，
$$b_{x,y}^i=a_{x,y}^i/\sqrt{(a_{x,y}^{i-1}{)}^2+(a_{x,y}^i}$$