weixin_59422604的博客

我们提出了邻域注意力（NA），这是首个用于视觉领域的高效且可扩展的滑动窗口注意力机制。NA是一种逐像素操作，它将自注意力（SA）定位到每个像素的最近邻像素上，因此与SA的二次复杂度相比，它具有线性的时间和空间复杂度。滑动窗口模式使NA的感受野能够在无需额外像素移位的情况下增长，并且与Swin变换器的窗口自注意力（WSA）不同，它保持了平移等变性。

任务是在息肉分割领域，解决前景背景分割难的问题。使用多尺度边缘引导网络实现更好的分割效果。多尺度捕捉不同分辨率特征边缘细化特征提取于恢复，注意力机制聚焦关键区域。适用于伪装目标、阴影去除等任务。

动机:增大感受野来提升性能、多尺度信息聚合方式解决的问题：自适应调整感受野大小创新性:提出选择性内核（SK）卷积softmax来进行自适应选择。

目的：提成网络性能，探索轻量化的注意力机制解决的问题：避免维度缩减带来的信息损失，捕捉跨维度交互创新性：独特的三分支结构设计、几乎无参数的的注意力机制，跨维度交互通过旋转操作，捕获通道、空间信息，实现了跨纬度交互，还避免了通道缩减带来的信息损失，并且还是无参数的注意力机制设计。

由于SEAttention只考虑了通道之间的相关性，而忽略了空间位置的重要性，通常空间结构是最重要的。因此，本文将通道注意力与空间注意力进行了串联，并在squeeze过程中使用了最大池化和平均池化。

卷积神经网络（CNNs）的核心构建模块是，它使网络能够通过在。此前大量研究聚焦于这种关系中的空间成分，试图通过在层级中提升空间编码质量来增强 CNN 的表征能力。在这项工作中，我们将重点放在通道关系上，并提出一种新颖的架构单元，称为 “挤压与激励”（Squeeze-and-Excitation，简称 SE）模块。该模块。我们证明，这些模块可以堆叠在一起形成 SENet 架构，在不同数据集上都具有极高的泛化能力。我们进一步展示了，SE 模块在仅增加少量计算成本的情况下，就能显著提升现有最先进 CNN 的性能。