EfficientNet: 优化资源约束下的模型准确性-优快云博客

本文链接：https://blog.youkuaiyun.com/lxy_erp/article/details/103769739

EfficientNet是一种新的基线网络，通过复合放缩方法平衡网络的深度、宽度和分辨率，以在给定资源约束下最大化模型准确性。研究发现，更深的网络可以捕捉更复杂的特征，但训练困难；更宽的网络易于训练，能捕捉更精细的特征，但可能难以捕获高层特征；更高的分辨率有助于识别细微模式，但会降低速度。通过调整复合系数，可以优化这三个因素的组合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Effecient Net

develop a new baseline network, obtain a family of models, called EfﬁcientNets

Critical to balance all dimensions of network width/depth/resolution
以一个固定的系数来整合网络的宽度 深度 图片解析度

探究模型影响因素

study model scaling and identify that carefully balancing newwork

depth: layers
- 好处 deeper ConvNet can capture richer and more complex features
- 坏处 difﬁcult to train due to the vanishing gradient
  尽管有
  - skip connections
  - batch normalization
width: channel
Scaling network width is commonly used for small size models
- 好处 wider networks tend to be able to capture more ﬁne-grained features and are easier to train
- 坏处 extremely wide but shallow networks tend to have difﬁculties in capturing higher level features
image resolution
- 好处：capture more ﬁne-grained patterns
- 坏处：速度慢

思路

Our target is to maximize the model accuracy for any given resource constraints, which can be formulated as an optimization problem

Max(d,w,r):Accuracy

Memory(N) < traget_memory
FLOPS(N) < target_flops

方法

复合放缩法（compound scaling method）
用一个复合系数去统一的放缩网络的width depth resolution
φ 是一个用户特定的系数来指定资源的总数量
α, β, γ 代表分别分配给width( $w^2$ ) depth(d) resolution( $r^2$ )的数量
例如限制 $α * β^2 * γ^2 ≈ 2$ ，求解 α, β, γ