基础网络研究 AlexNet

2012年被Krizhevsky等人提出的一个深层卷积神经网络，AlexNet拥有6千万个参数，650万个神经元。
为了训练效率，使用了不饱和的神经元和一种非常有效的卷积运算GPU实现。
为了降低全连接层的过拟合，使用了dropout的正则化策略
该网络：
1.使用ReLU函数
2.使用多GPU训练
3.局部响应归一化（Local Response Normalization，LRN）
4.Max-pooling
5.网络建构：五个卷积层和三个全连接层
6.数据增强：随机裁剪和镜像，PCA颜色增强
7.Dropout策略
8.使用了权重衰减

网络创新点（相对当时而言）：
1.使用ReLu非线性函数 f(x) = max(0, x)：
只要?是正值的情况下，导数恒等于 1，当?是负值的时候，导数恒等于 0。从实际上来说，当使用?的导数时，?=0 的导数是没有定义的。该函数在训练中，比使用sigmoid函数和tanh函数训练要更快更有效率。好处是不需要输入标准化来避免饱和

2.使用多GPU训练
层数参数经过两个GPU并行训练。该并行化方案基本上将一半内核（或神经元）分别放在每个GPU上，还有一个额外的技巧：GPU仅在某些层中进行通信。这意味着，例如，第3层的内核从第2层中的所有内核映射获取输入。但是&#x