ImageNet主要网络benchmark对比

深度神经网络繁多，各自的性能指标怎样？
实际应用中，在速度、内存、准确率等各种约束下，应该尝试哪些模型作为backbone？

有paper对各个网络模型进行了对比分析，形成了一个看待所有主要模型的完整视角，其分析结果可以在实践中提供指导和帮助。

这篇博客主要整合了其中3篇文章的结论，分别是

1. 201605-An Analysis of Deep Neural Network Models for Practical Applications
2. 201809-Analysis of deep neural networks
3. 201810-Benchmark Analysis of Representative Deep Neural Network Architectures

文章1和3是paper，2是篇博客（对1的更新）。这3篇文章对图像识别任务（ImageNet-1k）主要的state of the art网络进行了对比分析，采用的指标有：

• accuracy，准确率，只使用cental crop，评估Top1、Top5在ImageNet-1k上的准确率
• model complexity，模型复杂度，通过模型的可学习参数量衡量（近似为模型文件大小），反映了自由度
• computational complexity，计算复杂度，操作次数，通过floating-point operations (FLOPs)