卷积操作复杂度公式推导

卷积操作复杂度公式推导

1. 输入特征图

假设输入特征图的形状为：
$$\text{输入特征图}=H_{\text{in}}\times W_{\text{in}}\times C_{\text{in}}$$

• $H_{\text{in}}$：输入特征图的高度。
• $W_{\text{in}}$：输入特征图的宽度。
• $C_{\text{in}}$：输入特征图的通道数。

---

2. 卷积核

假设卷积核的形状为：
$$\text{卷积核}=k\times k\times C_{\text{in}}\times C_{\text{out}}$$

• $k\times k$：卷积核的空间大小（例如 $3\times 3$）。
• $C_{\text{in}}$：输入通道数（卷积核对每个输入通道单独操作）。
• $C_{\text{out}}$：输出通道数，每个卷积核生成一个输出通道。

---

3. 输出特征图

假设输出特征图的形状为：
$$\text{输出特征图}=H_{\text{out}}\times W_{\text{out}}\times C_{\text{out}}$$

• $H_{\text{out}}$ 和 $W_{\text{out}}$：输出特征图的高度和宽度，取决于卷积操作的填充和步幅。
• $C_{\text{out}}$：输出特征图的通道数。

---

4. 每个输出像素的计算量

对于输出特征图中的 一个像素，卷积操作会在输入特征图的一个局部窗口上执行操作：

1. 局部窗口的大小为 $k\times k$。
2. 每个输入通道的局部窗口有 $k\times k$ 个像素。
3. 总的输入通道有 $C_{\text{in}}$ 个通道。

因此，每个输出像素的计算量为：
$${\text{计算量}}_{\text{单像素}}=k\times k\times C_{\text{in}}$$

• $k\times k$ 是窗口大小。
• $C_{\text{in}}$ 是输入通道数。

---

5. 整个输出特征图的计算量

整个输出特征图共有 $H_{\text{out}}\times W_{\text{out}}\times C_{\text{out}}$ 个像素，每个像素需要进行 $k\times k\times C_{\text{in}}$ 次乘加运算。

因此，整个卷积操作的计算量为：
$$\text{复杂度}=H_{\text{out}}\cdot W_{\text{out}}\cdot C_{\text{out}}\cdot C_{\text{in}}\cdot k^2$$

---

6. 公式各项的意义

• $H_{\text{out}}\cdot W_{\text{out}}$：输出特征图的空间尺寸，即需要计算多少个输出像素。
• $C_{\text{out}}$：输出通道数，每个通道对应一个卷积核。
• $C_{\text{in}}$：输入通道数，每个卷积核需要处理所有输入通道的局部特征。
• $k^2$：卷积核的空间大小（例如 $3\times 3=9$）。

---

7. 举例说明

假设输入特征图为 $32\times 32\times 3$，卷积核为 $3\times 3$，输出特征图为 $30\times 30\times 64$：

1. 输出特征图共有：
   $$H_{\text{out}}\cdot W_{\text{out}}\cdot C_{\text{out}}=30\cdot 30\cdot 64=57,600\text{ 个像素}$$

2. 每个输出像素需要的计算量为：
   $$k^2\cdot C_{\text{in}}=3\cdot 3\cdot 3=27$$

3. 总计算量为：
   $$\text{复杂度}=H_{\text{out}}\cdot W_{\text{out}}\cdot C_{\text{out}}\cdot C_{\text{in}}\cdot k^2$$

   $$=30\cdot 30\cdot 64\cdot 27=1,555,200$$

---

8. 总结

卷积操作的计算复杂度公式为：
$$\text{复杂度}=H_{\text{out}}\cdot W_{\text{out}}\cdot C_{\text{out}}\cdot C_{\text{in}}\cdot k^2$$
该公式反映了卷积核作用于每个像素时的局部操作和跨通道的计算需求。

卷积计算复杂度与输入尺寸 线性相关，因此在高分辨率图像任务中，CNN 的计算效率较高。