ECA-Net：深度卷积神经网络的高效通道注意力机制

爱吃山竹的开心小迟

已于 2023-10-18 09:22:19 修改

阅读量8.8k

点赞数 30

分类专栏：专心致志读论文文章标签： cnn 人工智能神经网络

于 2023-10-12 15:03:08 首次发布

本文链接：https://blog.youkuaiyun.com/delaune/article/details/133788745

版权

1、什么是注意力机制？

简要来说，注意力机制就是要让网络关注到它更需要关注的地方。

在卷积神经网络去处理图片的时候，我们会更希望卷积神经网络能从大量的信息中筛选出更重要的信息，而不是什么都关注，我们不可能手动去调节需要注意的地方，这个时候，如何让卷积神经网络去自适应的注意重要的物体变得极为重要。而注意力机制就是实现网络自适应注意的一个方式。

在神经网络中引入注意力机制的方法有很多种，以卷积神经网络为例，既可以在空间维度引入注意力机制，也可以在通道维度增加注意力机制（SENet），当然也有混合维度（CBAM），即在空间维度和通道维度都增加注意力机制。

总的来说，注意力机制可以分为通道注意力机制，空间注意力机制，以及二者的结合。

2、摘要

近年来，通道注意力机制被证明在提高深度卷积神经网络(cnn)性能方面具有巨大潜力。然而，大多数现有方法致力于开发更复杂的注意力模块以实现更好的性能，这不可避免地增加了模型的复杂性。为了克服性能和复杂性权衡的矛盾，提出了一种高效的通道注意力(ECA)模块，该模块仅涉及少量参数，同时带来明显的性能增益。通过剖析SENet中的通道注意力模块，经验表明，避免降维对学习通道注意力很重要，适当的跨通道交互可以在显著降低模型复杂度的同时性能。因此，本文提出了一种无需降维的局部跨通道交互策略，可以通过一维卷积高效实现。此外，提出了一种自适应选择一维卷积核大小的方法，确定局部跨通道交互的覆盖率。