Deep Convolutional Neural Networks for Image Classification: A Comprehensive Review(论文解读)

这是一篇关于图像处理(分类方向)的卷积神经网络发展的一个综述，聚焦于CNN在图像分类方向的应用，文章分析了：（1）他们早期的成功，（2）他们在深度学习复兴中的角色，（3）选择了象征性的工作成果，以及（4）通过回顾300多种出版物的贡献和挑战所带来的改进。 我们还介绍了他们目前的一些趋势和仍存在的挑战。

本综述面向那些想要了解CNN技术和体系结构发展的人，从他们的前辈到现代最先进的深度学习系统，特别是对于图像分类。 它还对其未来提出了简要的见解，并提供了一些有趣的即将发生的方向，使其适合该领域的研究人员。

论文对于相关技术细节、原理、优缺点等总结论述非常详尽、完整，非常适合学习并不断回顾；尤其是对于相关技术方向的未来发展，提了非常具有指引性的价值，值得慢慢品味。

1介绍

图像分类是计算机视觉任务的基础，如定位、检测、分割等等；

传统方法：双阶段方法，手工制作的特征使用特征描述符从图像中提取出来的，并且这些特征描述符用作可训练分类器的输入。

最近发展：深度学习模型利用多层非线性信息处理，GPUs，
大规模数据集，更好的算法，max pooling，ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012
DCNN：1)网络结构2）非线性激活函数3）监督组件4）规则化机制5）优化技术

总共分为7个部分：第一个部分就是本部分的简单介绍；第二部分简单介绍CNN及其架构的各个关键部件；第三个部分介绍CNN的发展，包括反向传播、最大池化、MNIST数据集等；第四部分介绍DCNN在深度学习复兴中扮演的角色集发展中取得的显著工作成果；第五部分对于DCNN各个方面改进的尝试，包括网络结构、非线激活函数、监督部件、规则化机制、优化技术、计算复杂度等；第六部分总结仍然存在的挑战及未来趋势。

2 CNN架构

前向传播：卷积、池化、全连接
2.1 卷积层
特征提取，输入图像x，卷积滤波器Wk，及激活函数f：sigmoid、双曲正切、ReLus；

2.2 池化层
减少特征图的空间分辨率，从而实现输入失真和平移的空间不变性。
平均、最大池化

2.3 全连接层
解释特征表示并执行高级推理的功能。Softmax、SVM、
计算量较大，比较不同分类器的性能仍需要进一步的研究。

2.4训练
反向传播，过拟合，通过正则化来缓解。

3 CNN发展

3.1 启发于神经科学
人工神经网络，进化算法和细胞自动机到CNN。
视觉上包含了具有局部接受领域的简单细胞，以及对移位或扭曲输入不变的复杂细胞，以分层方式排列。

3.2 反向传播应用于CNNs
关键的区别在于他们使用反向传播以完全监督的方式进行训练，这与他们的前任所使用的无监督强化方案形成对比。 这使得他们更加依赖于自动学习而不是手工设计的特征提取预处理。

3.3 MNIST数据集