卷积神经网络中十大拍案叫绝的操作(转载)

最新推荐文章于 2024-07-19 14:43:16 发布

转载最新推荐文章于 2024-07-19 14:43:16 发布 · 251 阅读

CC 4.0 BY-SA版权

原文链接：https://zhuanlan.zhihu.com/p/28749411

本文探讨了尽管Depth-Wise卷积的FLOPs较少，但由于其高IO读取需求，导致在实际运行中速度反而较慢的现象。文中解释了在相同FLOPs条件下，Depth-Wise卷积的IO读取次数远高于常规卷积，使得即使能够放置更大的batch，GPU的运算能力也无法得到充分利用。

为什么depth-wise卷积FLOPs更少但是推理速度慢？
简单来说，depth-wise卷积的FLOPs更少没错，但是在相同的FLOPs条件下，depth-wise卷积需要的IO读取次数是普通卷积的100倍，因此，由于depth-wise卷积的小尺寸，相同的显存下，我们能放更大的batch来让GPU跑满，但是此时速度的瓶颈已经从计算变成了IO。自然desired小尺寸卷积应该有的快速的特性，也无法实现。