SimAM A Simple, Parameter-Free Attention Module for Convolutional Neural Networks【即插即用】

SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks(一个简单的，无参数的卷积神经网络注意模块)

代码地址: https://github.com/ZjjConan/SimAM

2021年发布在PMLR

摘要

在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。

具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。

我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。

该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。对各种视觉任务的定量评估表明，该模型灵活有效地提高了许多卷积神经网络的表示能力。

贡献

主要贡献有:

• 受人脑注意机制的启发，我们提出了一个全三维权值的注意模块，并设计了一个计算权值的能量函数。

• 我们推导了能量函数的封闭解，加速了权重计算，并允许整个模块的轻量化形式。</