卷积实现—im2col+gemm

最新推荐文章于 2025-10-16 05:26:04 发布

原创

最新推荐文章于 2025-10-16 05:26:04 发布 · 2.6k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#c++ #卷积计算 #onnxruntime

文章详细介绍了卷积神经网络中卷积的计算方式，包括普通卷积的滑窗计算、分组卷积的原理、空洞卷积的作用，以及padding在保持特征图尺寸中的作用。此外，还讨论了im2col和gemm在实现卷积计算中的应用，以及如何通过im2col+gemm优化卷积运算。文章最后提到了优化过程中遇到的瓶颈和解决方案。

普通卷积

看卷积的实现，先看其普通的计算方式：滑窗计算和其计算shape大小的公式，以及各个卷积特性对其计算的影响，比如：stride，group，dilation，pad等。 $H_{out}=(H_{in}-k_{h}+p_t+p_b)/stride_{h}+1$ $W_{out}=(W_{in}-k_{w}+p_l+p_r)/stride_{w}+1$ 上面公式以2D卷积为例，输出特征图的形状计算公式。

Group

    假如group不是1，则是分组卷积，分组卷积与普通卷积的区别就是利用分组，将卷积计算的范围更小化，从而降低计算量。分组卷积将一个正常卷积划分为多个更小范围的卷积的拼接。
在这里插入图片描述
    如图这是一个组数为2的分组卷积示意图，其中对输入的特征图通道与滤波器的通道都进行了分组，设置原输入特征图大小为 $NC_{in}HW$ ,滤波器大小为 $C_{out}C_{in}K_{h}K_{w}$ ,输出特征图的输出大小为 $NC_{out}H_{out}W_{out}$ ,假如加入分组卷积系数g后，每个计算卷积参数就会变成 $\frac{C_{out}}{g}\frac{C_{in}}{g}K_{h}K_{w}$ ,得到输出
    矩阵大小为 $N\frac{C_{out}}{g} H_{out}W_{out}$ 。然后由g组的卷积计算结果concat 成为一个正常的卷积输出大小。这样计算量会小很多，但是具体的计算量的降低我们这里就不再多说，这里只是对分组卷积的一个简单描述。