1. Ghostnetv2介绍
1.1 摘要:轻量级卷积神经网络(CNN)专为移动设备上的应用而设计,具有更快的推理速度。 卷积运算只能捕获窗口区域的局部信息,阻碍了性能的进一步提升。 在卷积中引入self-attention可以很好地捕捉全局信息,但会很大程度上拖累实际速度。 在本文中,我们提出了一种硬件友好的注意力机制(称为 DFC 注意力),然后为移动应用程序提出了一种新的 GhostNetV2 架构。 所提出的DFC注意力是基于全连接层构建的,它不仅可以在通用硬件上快速执行,而且可以捕获远程像素之间的依赖性。 我们进一步回顾了之前 GhostNet 中的表达能力瓶颈,并建议通过 DFC 注意力增强廉价操作产生的扩展特征,以便 GhostNetV2 块可以同时聚合本地和远程信息。 大量实验证明了 GhostNetV2 相对于现有架构的优越性。 例如,它在 ImageNet 上以 167M FLOP 实现了 75.3% 的 top-1 准确率,在类似的计算成本下显着抑制了 GhostNetV1 (74.5%)。
官方论文地址: