SimAM：轻量级注意力机制，解锁卷积神经网络新潜力【原理讲解及代码！！！】

SimAM：轻量级、无参数的卷积神经网络注意力机制

一、摘要

注意力机制在卷积神经网络 (CNN) 中扮演着越来越重要的角色，它能够帮助模型聚焦于图像的关键区域，提升模型性能。然而，现有的注意力机制通常需要引入额外的参数，增加模型复杂度和计算成本。

SimAM 是一种轻量级、无参数的卷积神经网络注意力机制，它通过计算特征图的局部自相似性来生成注意力权重。SimAM 不需要引入任何额外参数，并且可以有效地提升 CNN 的性能。
表 1：多种注意力机制的比较

二、原理介绍

SimAM 的核心思想是基于图像的局部自相似性。在图像中，相邻像素之间通常具有较强的相似性，而远距离像素之间的相似性则较弱。SimAM 利用这一特性，通过计算特征图中每个像素与其相邻像素之间的相似性来生成注意力权重。

图 1：SimAM——每个神经元被分配一个唯一的权重

SimAM 的计算公式如下：

w_i = \frac{1}{k} \sum_{j \in N_i} s(f_i, f_j)

其中：

• $w_i$ 是第 $i$ 个像素的注意力权重
• $k$ 是归一化常数
• N i N_i