EfficientNet算法笔记

论文：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
论文链接：https://arxiv.org/abs/1905.11946
代码链接：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
第三方实现的PyTorch代码：https://github.com/lukemelas/EfficientNet-PyTorch

这篇ICML2019的论文对目前分类网络的优化提出更加泛化的思想，认为目前常用的加宽网络、加深网络和增加分辨率这3种常用的提升网络指标的方式之间不应该是相互独立的。因此提出了compound model scaling算法，通过综合优化网络宽度、网络深度和分辨率达到指标提升的目的，能够达到准确率指标和现有分类网络相似的情况下，大大减少模型参数量和计算量。

首先通过Figure2了解下model scaleing的含义。作者将目前分类网络的model scaling大致分为：加宽网络、加深网络和增大分辨率，也就是分别对应Figure2中的（b）、（c）、（d），这3个分别从不同的维度来做model scaling，举个例子，对ResNet网络做深度方面的model scaling可以得到ResNet50、ResNet101等不同深度的网络结构。而这篇论文要做的是将这3者结合起来一起优化，也就是（e）。