W1995S的博客

SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks论文链接（已收录于ICML 2021）：http://proceedings.mlr.press/v139/yang21o.htmlcode: https://github.com/ZjjConan/SimAM本文是中山大学在注意力机制方面的尝试，从神经科学理论出发，构建了一种能量函数挖掘神经元重要性，并对此推导出了解析解以加速计算。通.

导读注意力机制是一个被广泛应用在各种CV任务中的方法。注意力机制根据施加的维度大致可以分为两类：通道注意力和空间注意力。对于通道注意力机制，代表性的工作有SENet[2]、ECANet[3]；对于空间注意力机制，代表性的工作有Self-Attention[4]。空间和通道两个维度的双重注意力机制也被提出，代表工作有CBAM[1]，DANet[5]。基于双重注意力机制，本文针对Pixel-wise regression的任务，提出了一种更加精细的双重注意力机制——极化自注意力。作为一个即插即用的

导读本文是通道注意力机制的又一重大改进，主要是在通道注意力的基础上，引入多尺度思想，本文主要提出了金字塔分割注意力模块，即PSA module。进一步，基于PSA ，我们将PSA注意力模块替换ResNet网络Bottleneck中的3x3卷积得到了新的EPSA block。EPSA block可以作为一种“即插即用”模块用于现有骨干网络并显著提升性能。因此，我们将构建的骨干网络称之为EPSANet。相比其他注意力机制(比如SENet、ECANet、FcaNet等)，EPSANet在图像分类、目标检测以及实

https://github.com/jacobgil/pytorch-grad-campip install grad-cam⭐在许多常见的CNN网络和视觉变压器上进行了测试。⭐包括使CAM看起来不错的平滑方法。⭐全面支持所有方法中的图像批处理。More Visual Examples选择目标层您需要选择要为其计算CAM的目标层。 一些常见的选择是：Resnet18 and 50: model.layer4[-1]VGG and densenet161: model.

Squeeze-and-Excitation Networks对通道重新加权,模块首先对输入( H×W ×C 1 )使用压缩操作,输出大小为( 1×1×C 1 )的特征图;接着使用提取操作,另参数 ω 学习 C 1 个通道间的相关性,生成( 1×1× C 2 )的特征图;最后输出堆叠后的特征图( H× W× C 2 ), C 2 即为加权后通道值.BAM: Bottleneck Attention Module依据人看东西时不可能把注意力放在所有的图像上，会把焦点目光聚集在图像的重要物体上。因此，作