图像识别 ImageNet 比赛 历届冠军评析：看看哪个深度学习模型最适合你？AlexNet / BN CNN / Google LeNet / RestNet / VGG / Inception

原文链接： https://mp.weixin.qq.com/s/I5XgYrPCCGyfV2qTI0sJhQ

深度神经网络自出现以来，已经成为计算机视觉领域一项举足轻重的技术。其中，ImageNet 图像分类竞赛极大地推动着这项新技术的发展。精确计算水平取得了稳步的增长，但颇具吸引力的模型应用尚未得到合理的利用。

本文将综合分析实际应用中的几项重要指标：准确度、内存占用、参数、操作时间、操作次数、推理时间、功耗，并得出了以下几项主要研究结论：

1. 功耗与批量大小、体系结构无关；

2. 准确度与推理时间呈双曲线关系；

3. 能量限制是最大可达准确度和模式复杂度的上限；

4. 操作次数可以有效评估推理时间。

ImageNet 历届冠军架构评析指标

自从2012年的 ImageNet 竞赛上，Alexnet取得突破发展，成为第一个应用深度神经网络的应用，其他关于DNN的更复杂的应用也陆续出现。

图像处理软件分类挑战赛的终极目标是，在考虑实际推理时间的情况下，提高多层分类框架的准确度。为了达到这个目标，就要解决以下三方面的问题。第一，一般情况下，我们会在每个验证图像的多个类似实例中运行一个给定模型的多个训练实例。这种方法叫做模型平均或DNN集成，可以极大提高推理所需的计算量，以获得published准确度。第二，不同研究报告中对验证图像做的预估模型（集合）的操作次数不一样，模型选择会受到影响，因此不同的抽样方法（以及取样集合的大小不同）得出的报告准确度结果就会有所偏差。第三，加速推理过程是模型实际应用的关键，影响着资源利用、功耗以及推理延迟等因素，而目前尚无方法使推理时间缩短。

本文旨在对过去4年图像处理软件分类挑战赛上出现的不同种类的先进的DNN架构做对比，从计算需要和准确度两个角度做分析，主要比较这些架构与资源利用实际部署相关的多个指标，即准确度、内存占用、参数、操作时间、操作次数、推理时间、功耗。

文章主要目的是通过分析，强调这些指标的重要性，因为这些指标是优化神经网络实际部署与应用的基本硬性限制条件。

评析方法

为了比较不同模型的质量，我们收集了文献中的一些数据，分析发现不同的抽样方法得出的结论也不一样。比如，VGG-16和GoogleNet 的central-crop误差分别是8.7%和10.07%，表明VGG-16性能优于googleNet，而用10-crop抽样，则误差分别是9.33%和9.15%，VGG-16又比GoogleNet差了。于是，我们决定基于