EfficientNet文章分析的重点提取

目录

传统增加模型精度的方法：

传统的模型缩放实践是

缺点：

方法:

用一系列 固定尺度 缩放系数来统一缩放网络维度。

步骤：

·注意：

模型扩展的有效性在很大程度上依赖于baseline网络。

参考：

EfficientNet-可能是迄今为止最好的CNN网络 - 知乎

【一看就懂】EfficientNet详解。凭什么EfficientNet号称当今最强？ - 知乎

细品EfficientNet - 知乎

https://arxiv.org/abs/1512.03385

---

传统增加模型精度的方法：

1. ResNet[1]可以通过增加层数将 ResNet-18扩展到 ResNet-200
2. GPipe[2] 通过将 CNN baseline扩展4倍，在 ImageNet[3]上实现了84.3% 的准确率。 

传统的模型缩放实践是

1. 任意增加 CNN 的深度
2. 任意增加 CNN 的宽度
3. 使用更大的输入图像分辨率

缺点：

需要长时间的手动调优，并且仍然会经常产生次优的性能。

 

一篇ICML文章[4]提出了一个更有原则性的方法来扩大 CNN 的规模,从而可以获得更好的准确性和效率。

该论文提出了一种新的模型缩放方法，它使用一个简单而高效的复合系数来以更结构化的方式放大 CNNs。

方法:

用一系列 固定尺度 缩放系数来统一缩放网络维度。

和传统的区别：不像传统的方法那样 任意缩放网络维度，如宽度，深度和分辨率。

 通过使用这种新颖的缩放方法和 AutoML[5] 技术，作者将这种模型称为 EfficientNets ，它具有最高达10倍的效率(更小、更快)。

作者发现：

根据可用资源平衡网络的所有维度ーー宽度、深度和图像分辨率ーー可以最大限度地提高整体性能。

步骤：

第一步：

 网格搜索，找到