经典论文阅读笔记——AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet

  近期读了一些经典论文，本博客主要是基于CNN方面经典的网络做一下总结，基于自己对论文的理解和向他人博客的学习总结。

AlexNet

  AlexNet是2012年由深度学习之父Hinton的学生Alex提出的，其在图像处理方面优异的表现开创了一个新时代。这篇文章个人感觉偏重于工程性应用，尽管说许多idea放在今天已经不太实用了（现在有更好的方法和模型），但是在十年前能做出这样的成果确实是难能可贵的了。

  上图是AlexNet的网络结构，总共有8层，其中卷积层有5层，剩下的是3个全连接层。可以看出它的第一层、第二层用到的卷积核是比较大的（11×11和5×5的大小），其实现在已经不需要这么大了。AlexNet网络为什么效果好呢？

1. 做了大量的数据增强（例如做图片颜色变换、随机截取区域、水平翻转等等）
2. 采用了dropout防止过拟合
3. 使用了非线性激活函数ReLU，代替了传统的Tanh或者Logistic。（第一，ReLU函数计算方便简单；第二，ReLU关闭了左侧，从而会使得很多的隐层输出为0，即网络变得稀疏，起到了类似正则化作用，缓解过拟合）
4. 使用LRN，Local Response Normalization，局部响应归一化（对局部神经元的活动创建竞争机制，使其中响应比较大对值变得相对更大，并抑制其他反馈较小的神经元ÿ