这是一篇关于图像处理(分类方向)的卷积神经网络发展的一个综述,聚焦于CNN在图像分类方向的应用,文章分析了:(1)他们早期的成功,(2)他们在深度学习复兴中的角色,(3)选择了象征性的工作成果,以及(4)通过回顾300多种出版物的贡献和挑战所带来的改进。 我们还介绍了他们目前的一些趋势和仍存在的挑战。
本综述面向那些想要了解CNN技术和体系结构发展的人,从他们的前辈到现代最先进的深度学习系统,特别是对于图像分类。 它还对其未来提出了简要的见解,并提供了一些有趣的即将发生的方向,使其适合该领域的研究人员。
论文对于相关技术细节、原理、优缺点等总结论述非常详尽、完整,非常适合学习并不断回顾;尤其是对于相关技术方向的未来发展,提了非常具有指引性的价值,值得慢慢品味。
1介绍
图像分类是计算机视觉任务的基础,如定位、检测、分割等等;
传统方法:双阶段方法,手工制作的特征使用特征描述符从图像中提取出来的,并且这些特征描述符用作可训练分类器的输入。
最近发展:深度学习模型利用多层非线性信息处理,GPUs,
大规模数据集,更好的算法,max pooling,ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012
DCNN:1)网络结构2)非线性激活函数3)监督组件4)规则化机制5)优化技术
总共分为7个部分:第一个部分就是本部分的简单介绍;第二部分简单介绍CNN及其架构的各个关键部件;第三个部分介绍CNN的发展,包括反向传播、最大池化、MNIST数据集等;第四部分介绍DCNN在深度学习复兴中扮演的角色集发展中取得的显著工作成果;第五部分对于DCNN各个方面改进的尝试,包括网络结构、非线激活函数、监督部件、规则化机制、优化技术、计算复杂度等;第六部分总结仍然存在的挑战及未来趋势。
2 CNN架构
前向传播:卷积、池化、全连接
2.1 卷积层
特征提取,输入图像x,卷积滤波器Wk,及激活函数f:sigmoid、双曲正切、ReLus;
2.2 池化层
减少特征图的空间分辨率,从而实现输入失真和平移的空间不变性。
平均、最大池化
2.3 全连接层
解释特征表示并执行高级推理的功能。Softmax、SVM、
计算量较大,比较不同分类器的性能仍需要进一步的研究。
2.4训练
反向传播,过拟合,通过正则化来缓解。
3 CNN发展
3.1 启发于神经科学
人工神经网络,进化算法和细胞自动机到CNN。
视觉上包含了具有局部接受领域的简单细胞,以及对移位或扭曲输入不变的复杂细胞,以分层方式排列。
3.2 反向传播应用于CNNs
关键的区别在于他们使用反向传播以完全监督的方式进行训练,这与他们的前任所使用的无监督强化方案形成对比。 这使得他们更加依赖于自动学习而不是手工设计的特征提取预处理。
3.3 MNIST数据集