weixin_42096202的博客

论文地址：https://arxiv.org/pdf/2102.00240.pdfGithub地址：https://github.com/wofmanaf/SA-Net/blob/main/models/sa_resnet.pyAbstract:注意力机制使神经网络能够准确地专注于输入的所有相关元素，它已成为改善深度神经网络性能的重要组成部分。在计算机视觉研究中广泛使用的注意力机制主要有两种，即空间注意力和通道注意力，它们分别用于捕获像素级成对关系和通道依赖性。尽管将它们融合在一起可能会比其单独.

https://arxiv.org/pdf/2011.14058.pdfAbstract：最近，许多即插即用的自注意力模块被提出，以通过利用深度卷积神经网络（CNN）的内部信息来增强模型通用性。先前的工作着重于针对特定功能的注意力模块的设计，例如轻量级或面向任务的注意力。但是，他们忽略了在哪里插入注意力模块的重要性，因为它们将模块与整个CNN骨干网的每个模块分别连接，这是理所当然的，随着网络深度的增加，导致计算成本和参数数量的增加。因此，我们提出了一个称为高效注意力网络（EAN）的框架，以提高现有.

很早之前就出来的文章，简单mark一下论文地址：https://arxiv.org/pdf/2003.10027.pdfAbstract：Rectified linear units (ReLU)通常在深度神经网络中使用。 到目前为止，ReLU及其衍生版本（非参数或参数）都是静态的，对所有输入样本无差别。 在本文中，我们提出了动态ReLU（DY-ReLU），这是一种动态修正器，其参数由超函数在所有输入元素上生成。 关键见解是DY-ReLU将全局上下文编码为超函数，并相应地调整了分段线性激活函数。.

论文地址：https://arxiv.org/pdf/2010.03019.pdfABSTRACT：近来，计算机视觉领域的一系列工作已经显示出在各种图像和视频理解任务上利用self-attention的卓越成果。但是，由于self-attention的二次计算和存储复杂性，这些工作要么仅将注意力应用于深层网络后期的低分辨率特征图，要么将每层的注意力感受野限制在较小的局部区域。为了克服这些限制，这项工作引入了一个新的全局自注意模块，称为GSA模块，该模块足够高效，可以用作深度网络的骨干组件。该模块由.

https://arxiv.org/pdf/2010.03045.pdf

在Non-Local的基础上还能提高这么多，问题分析的也很透彻，就是文章有点难读，有解读错误的地方，请不要见怪！论文地址：https://arxiv.org/pdf/2006.06668.pdfAbstract：Non-Local块是一种流行的模块，用于增强常规卷积神经网络的上下文建模能力。本文首先深入研究了Non-Local块，我们发现它的注意力计算可以分为两项，一个经过白化的成对项解释了两个像素之间的关系，一个一元项代表了每个像素的显著性。我们还观察到，单独训练的两项往往会为不同的视觉线索建.

近期论文针对SE注意力机制改进的论文逐渐出现，在此记录一下。具体有没有效果，建议各位自己尝试一下。也希望同学们能推荐一下轻量好用的注意力机制给我…1.ECA-Net : Efficient Channel Attention for Deep Convolutional Neural Networks-CVPR2020论文地址：https://arxiv.org/pdf/1910.03151.pdfGithub地址：https://github.com/BangguWu/ECANet创新点：将.