邻域注意力Transformer

邻域注意力（NA），这是第一个高效且可扩展的视觉滑动窗口注意力机制，NA是一种逐像素操作，将自注意力（SA）定位到最近的相邻像素，因此与SA的二次复杂度相比，具有线性时间和空间复杂度。与Swin Transformer的窗口自注意力不同，滑动窗口模式允许NA的感受野增长，而无需额外的像素移位，并保留平移等变性。

Neighborhood Attention Transformer可以自适应地将接收域定位到每个token周围的一个邻域，在不需要额外操作的情况下引入局部归纳偏差；而Swin Transformer则通过Window Self Attention和Shifted Window Self Attention两种自注意力，通过像素移位实现两种划分并降低计算复杂度。

---

NAT（Neighborhood Attention Transformer）是基于NA的新型分层Transformer设计，提高图像分类性能。在视觉范围内，token的数量通常与图像分辨率呈线性相关。因此，较高的图像分辨率会导致严格使用SA的模型的复杂性和内存使用量呈二次方增加。二次复杂度使得此类模型无法轻松应用于下游视觉任务，例如对象检测和分割，其中图像分辨率通常比分类大得多。

---

独立自注意力

独立自注意力（SASA）是基于局部窗口的视觉注意力的最早应用之一，其中每个像素关注其周围的一个窗口，其显式滑动窗口模式与相同卷积的模式相同，周围有零填充和简单的二维光栅扫描，因此保持平移等变性。

在计算机图形学中，二维光栅扫描算法主要用于将二维图像转换成三维模型，以便在三维空间中进行处理和分析。

平移等变性是指模型对输入数据的平移不敏感，即无论输入数据如何平移，模型的输出都保持不变。这是卷积神经网络（CNNs）的一个关键属性，而SASA通过其局部注意力机制也保持了这一属性。

随着邻域大小的增加，NA 也接近 SA，并且在最大邻域时相当于 SA。

方法描述

邻域注意力（NA）：一种简单而灵活的显式滑动窗口注意力机制，将每个像素的注意力范围定位到其最近邻域，随着其范围的增长而接近自注意力，并保持平移等变性。

单个像素的邻域注意力 (NA) 与自注意力 (SA) 的查询键值结构图如下所示

相关工作

自注意力

将缩放点积注意力定义为对查询和一组键值对的操作；

        其中d是嵌入维度（输入向量维度）。

自注意力将点积注意力应用于与查询和键值对相同的输入的线性投影。多头注意力在不同的嵌入上多次应用点积注意力，从而形成注意力头。

给定输入