EfficientNet 概念与数学原理深度解析

EfficientNet 概念与数学原理深度解析

1. 核心概念

1.1 复合缩放（Compound Scaling）

• 核心思想：同时调整网络的深度、宽度和分辨率
• 数学表达：
  $$\begin{gathered} \text{depth}:d={\alpha }^{\varphi } \\ \text{width}:w={\beta }^{\varphi } \\ \text{resolution}:r={\gamma }^{\varphi } \\ \text{约束条件}:\alpha \cdot {\beta }^2\cdot {\gamma }^2\approx 2 \\ \alpha \ge 1,\beta \ge 1,\gamma \ge 1 \end{gathered}$$
  其中 $\varphi$ 是用户定义的缩放系数

想象你在设计一栋房子：

• 深度：楼层数（网络层数）
• 宽度：每层房间数（通道数）
• 分辨率：房间大小（输入图像尺寸）

EfficientNet的秘诀就是：

• 不是单纯增加楼层（深度）
• 也不是单纯扩大房间（宽度）
• 而是同时调整这三个方面，按最佳比例来

1.2 MBConv 模块

• 结构组成：

  1. 1x1 扩展卷积（Expand）
  2. 深度可分离卷积（Depthwise）
  3. SE（Squeeze-and-Excitation）模块
  4. 1x1 投影卷积（Project）

• 数学表达：
  对于输入 $X$，MBConv 模块的输出为：
  $$Y=\text{Proj}(\text{SE}(\text{DW}(\text{Expand}(X))))$$

为什么这样设计？

深度（楼层）的作用

• 提取更抽象的特征
• 但太深会导致梯度消失

宽度（房间）的作用

• 捕捉更多细节特征
• 但太宽会增加计算量

4.3 分辨率的作用

• 看到更清晰的细节
• 但太大会显著增加计算

2. 数学原理

2.1 深度可分离卷积

• 标准卷积计算量：
  $$C_{std}=K^2\cdot C_{in}\cdot C_{out}\cdot H\cdot W$$

• 深度可分离卷积计算量：
  $$C_{depthwise}=K^2\cdot C_{in}\cdot H\cdot W+C_{in}\cdot C_{out}\cdot H\cdot W$$

• 计算量减少比例：
  $$\frac{C_{depthwise}}{C_{std}}=\frac{1}{C_{out}}+\frac{1}{K^2}$$

2.2 Squeeze-and-Excitation 模块

• Squeeze 操作：
  $$z_c=\frac{1}{H\times W}\sum _{i=1}^H\sum _{j=1}^W{u}_c(i,j)$$

• Excitation 操作：
  $$s=\sigma (W_2\delta (W_{1}z))$$
  其中 $\delta$ 是 ReLU 激活函数，$\sigma$ 是 Sigmoid 函数

• 特征重标定：
  $${\tilde{x}}_c=s_c\cdot u_c$$

3. 网络架构

3.1 整体结构

• 阶段划分：

  Stage	Operator	Resolution	Channels	Layers
  1	Conv3x3	224x224	32	1
  2	MBConv1, k3x3	112x112	16	1
  3	MBConv6, k3x3	112x112	24	2
  4	MBConv6, k5x5	56x56	40	2
  5	MBConv6, k3x3	28x28	80	3
  6	MBConv6, k5x5	14x14	112	3
  7	MBConv6, k5x5	14x14	192	4
  8	MBConv6, k3x3	7x7	320	1
  9	Conv1x1 & Pooling	7x7	1280	1

3.2 缩放策略

• 基线模型（B0）参数：
  $$\varphi =1,\alpha =1.2,\beta =1.1,\gamma =1.15$$

• 缩放公式：
  $$\begin{gathered} \text{Depth}:D={\alpha }^{\varphi } \\ \text{Width}:W={\beta }^{\varphi } \\ \text{Resolution}:R={\gamma }^{\varphi } \end{gathered}$$

4. 性能分析

4.1 计算复杂度

• FLOPs 计算：
  $$\text{FLOPs}\propto d\cdot w^2\cdot r^2$$

• 参数量计算：
  $$\text{Params}\propto d\cdot w^2$$

4.2 精度与效率平衡

• 精度公式：
  $$\text{Accuracy}=f(d,w,r)$$
  其中 $f$ 是复杂的非线性函数

• 效率公式：
  $$\text{Efficiency}=\frac{\text{Accuracy}}{\text{FLOPs}}$$

5. 优化理论

5.1 帕累托最优

• 目标：
  $$\begin{gathered} \underset{d,w,r}{\max }\text{Accuracy}(d,w,r) \\ \text{s.t.}\text{FLOPs}(d,w,r)\le \text{Budget} \end{gathered}$$

• 约束条件：
  $$\alpha \cdot {\beta }^2\cdot {\gamma }^2\approx 2$$

5.2 神经架构搜索

• 搜索空间：
  $$\mathcal{S}=\{(\alpha ,\beta ,\gamma )|\alpha \cdot {\beta }^2\cdot {\gamma }^2\approx 2\}$$

• 优化目标：
  $$\underset{(\alpha ,\beta ,\gamma )\in \mathcal{S}}{\max }\text{Accuracy}(d(\alpha ),w(\beta ),r(\gamma ))$$

6. 数学证明

6.1 复合缩放最优性

定理：在计算量约束下，复合缩放策略可以达到帕累托最优

证明：

1. 定义目标函数：
   $$\begin{gathered} \underset{d,w,r}{\max }f(d,w,r) \\ \text{s.t.}d\cdot w^2\cdot r^2\le C \end{gathered}$$

2. 使用拉格朗日乘数法：
   $$\mathcal{L}(d,w,r,\lambda )=f(d,w,r)-\lambda (d\cdot w^2\cdot r^2-C)$$

3. 求导并令导数为零：
   $$\begin{gathered} \frac{\partial f}{\partial d}=\lambda w^2{r}^2 \\ \frac{\partial f}{\partial w}=2\lambda dw{r}^2 \\ \frac{\partial f}{\partial r}=2\lambda d{w}^{2}r \end{gathered}$$

4. 解得最优条件：
   $$\frac{1}{d}\frac{\partial f}{\partial d}=\frac{2}{w}\frac{\partial f}{\partial w}=\frac{2}{r}\frac{\partial f}{\partial r}$$

5. 由此可得复合缩放关系：
   $$d\propto {\alpha }^{\varphi },w\propto {\beta }^{\varphi },r\propto {\gamma }^{\varphi }$$

7. 实际应用

7.1 模型缩放

• 缩放步骤：

  1. 固定 $\varphi =1$，搜索最优 $\alpha ,\beta ,\gamma$
  2. 按比例缩放得到 B0-B7 模型

• 示例计算：
  对于 B4 模型：
  $$\begin{gathered} \varphi =4 \\ d=1.2^4\approx 2.07 \\ w=1.1^4\approx 1.46 \\ r=1.15^4\approx 1.75 \end{gathered}$$

7.2 性能预测

• 精度预测模型：
  $$\text{Accuracy}=a\cdot \log (\text{FLOPs})+b$$

• 效率预测：
  $$\text{Efficiency}=\frac{a\cdot \log (\text{FLOPs})+b}{\text{FLOPs}}$$

8. 理论贡献

1. 提出了统一的缩放方法
2. 证明了复合缩放的最优性
3. 建立了精度-效率的定量关系
4. 为后续模型设计提供了理论指导