Swin Transformer论文解读

原创

已于 2023-11-20 21:41:56 修改 · 1.4k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #深度学习 #人工智能

于 2023-11-20 21:41:13 首次发布

SwinTransformer是一种新型的视觉架构，通过结合CNN的效率与Transformer的长距离依赖处理，解决了视觉任务中的尺度变化和高分辨率挑战。它采用了移位窗口技术和相对位置偏移，实现了对高分辨率图像的有效处理并达到最先进的性能。

Swin Transformer简介

背景

Swin Transformer是一种新型的神经网络架构，专为处理视觉任务设计。它的出现标志着从传统的卷积神经网络（CNN）到基于Transformer的模型在计算机视觉领域的重要转变。这种转变源于Transformer模型在自然语言处理（NLP）领域取得的巨大成功，尤其是在序列建模和长范围依赖捕获方面的优势。

从CNN到Transformer

CNN的局限性： 虽然CNN在图像识别任务中取得了巨大成功，但它们通常局限于局部感受野，这限制了它们捕获长距离依赖的能力。此外，CNN在处理高分辨率图像时面临着效率和性能的挑战。
Transformer的优势： Transformer结构，最初用于NLP任务，以其自注意力机制著称，可以有效处理长距离的依赖关系。这一特性使得Transformer在理解复杂的、全局性的数据结构方面表现出色。

Swin Transformer的动机

将Transformer从语言领域适配到视觉领域时面临的挑战源于这两个领域之间的差异，例如视觉实体的尺度变化大，以及图像中像素的高分辨率与文本中词语相比。

转变动机

尺度变化和分辨率问题： 在计算机视觉领域，尤其是处理高分辨率图像时，面临的主要挑战之一是视觉实体尺度的大变化和像素的高分辨率。这些特点与语言处理中的情况截然不同，因为在文本中，词汇的“分辨率”（即明确性和区分度）相对较低。
传统Transformer结构的局限： 由于这些差异，传统的Transformer结构（如在自然语言处理中使用的那样）直接应用于视觉任务时会遇到效率和性能的挑战。尤其是在处理需要细致像素级预测的高分辨率图像时，传统Transformer的全局自注意力机制导致计算复杂度过高，不适合直接应用于视觉任务。

Swin Transformer的创新

结合CNN与Transformer的优点： Swin Transformer设计旨在结合CNN的高效性与Transformer的长范围依赖处理能力。它通过层级结构和滑动窗口技术，有效地将Transformer应用于图像处理任务。
解决视觉任务的挑战： 通过其独特的设计，Swin Transformer能够更有效地处理高分辨率图像，并在各种视觉任务中展现出优异的性能，包括图像分类、目标检测和语义分割。

Swin Transformer的方法部分

图1.这是完整的 Swin Transformer
其中演示了小型版本(SwinT)。它首先通过像ViT一样的patch分割模块将输入的RGB图像分割成不重叠的patch。每个patch被视为一个“标记”，其特征被设置为原始像素RGB值的串联(即flatten操作)。在我们的实现中，我们使用4 × 4的patch大小，因此每个patch的特征维数为4 × 4 × 3 = 48。在此原始值特征上应用线性embedding layer，将其投影到任意维度(记为C)。

在这些patch token上应用了几个具有改进的自注意力Transformer块(Swin Transformer块)。Transformer块维护token的数量(H/4 ×W/4)，并与线性embedding一起被称为“第1阶段”。
为了产生分层表示，随着网络的深入，通过patch merging layer来减少token的数量。第一个patch merging layer将每组2 × 2相邻patch的特征进行拼接(见下图2)，并在拼接后的4c维特征上应用线性层。这将token的数量减少了2× 2 = 4的倍数(分辨率降低了2倍)，输出维度设置为2C。之后应用Swin Transformer块进行特征变换，分辨率保持在H/8 ×W/8。这第一个块的patch merging 和特征转换被称为“第二阶段”。
这些阶段共同产生一个分层表示，具有与典型卷积网络相同的特征映射分辨率，例如VGG和ResNet。因此，该结构可以方便地取代现有方法中的骨干网络，用于各种视觉任务。
图2，展示了Swin transformer中如何产生层级表示

Swin Transformer block

Swin Transformer是通过将Transformer块中的标准多头自注意力(MSA)模块替换为基于移位窗口的模块而构建的，其他层保持不变。如图1（b）所示，Swin Transformer模块由一个基于移位窗口的MSA模块组成，其次是一个2层MLP，中间是GELU非线性。在每个MSA模块和每个MLP模块之前应用一个LN (LayerNorm)层，在每个模块之后应用一个残差连接。

基于窗口滑动的自注意力机制（Shifted Window based Self-Attention）

标准Transformer体系结构及其对图像分类的适应都进行全局自注意力，其中计算一个token与所有其他token之间的关系。全局计算导致token数量的二次复杂度，使得它不适合许多需要大量token进行密集预测或表示高分辨率图像的视觉问题。

非重叠窗口中的自注意力机制（Self-attention in non-overlapped windows）

为了提高建模效率，我们建议在局部窗口内计算Self-attention。所述窗口被布置成以非重叠方式均匀地分割图像。假设每个窗口包含M × M块，则全局MSA模块和基于h × w块图像的窗口的计算复杂度为：
$\Omega(MSA) = 4hwC^$

最低0.47元/天解锁文章

6 条评论

没礼貌吗？ 2024.10.25
您好，我想请问一下swin transformer中，是不是每个窗口都有自己的QKV参数矩阵，还是他们是共享一个参数矩阵?
- 没礼貌吗？回复懒惰才能让科技进步 2024.10.25
  谢谢，我懂了[face]emoji:072.png[/face]
- 懒惰才能让科技进步回复没礼貌吗？ 2024.10.25
  在Swin Transformer中，qkv = self.qkv(x).reshape(B_, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) 这一行代码涉及到窗口的数量，是因为输入特征图在计算注意力之前已经被划分为多个窗口，每个窗口分别计算自注意力操作。这里的 B_ 其实是批次大小乘以窗口的数量，这样的处理方法是为了能够有效地对每个窗口进行独立的注意力计算。具体来说，Swin Transformer首先将输入特征图划分为多个小窗口（通常是 $M \times M$ 大小），然后对这些小窗口进行批处理来计算注意力。为了更好地理解代码中涉及的操作，让我们分析各个维度的含义： x 是输入特征图，经过线性变换得到 qkv。这个操作是为每个元素生成 Q（查询）、K（键）、V（值），对应的形状是 [B_, N, 3 * embed_dim]，这里的 3 * embed_dim 是因为 qkv 包含了三组参数。 self.qkv(x).reshape(B_, N, 3, self.num_heads, C // self.num_heads) 这一步将 qkv 的形状进行调整为 [B_, N, 3, num_heads, C // num_heads]，其中： B_ 是批次大小乘以窗口的数量，表示每个批次下所有窗口的数量。 N 是窗口内的元素数量，即每个窗口中的像素数量。 3 表示 Q、K 和 V。 num_heads 表示多头注意力的头数。 C // num_heads 表示每个注意力头的嵌入维度。 .permute(2, 0, 3, 1, 4) 用于改变张量的维度顺序，将形状变为 [3, B_, num_heads, N, C // num_heads]。这一步是为了方便后续将 qkv 分割成 Q、K 和 V，即： 3 表示分别取出 Q、K 和 V。 B_ 是批次大小乘以窗口数量。 num_heads 是多头注意力的数量。 N 是窗口内的元素数。 C // num_heads 是每个头的嵌入维度。因此，窗口数量的引入是因为 Swin Transformer 中注意力计算是基于多个小窗口进行的。每个窗口共享相同的 Q、K、V 参数矩阵，但计算时是对各个窗口独立进行
- 没礼貌吗？回复懒惰才能让科技进步 2024.10.25
  qkv = self.qkv(x).reshape(B_, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) # [batch_size*nuqkv = self.qkv(x).reshape(B_, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) # [batch_size*num_windows, num_heads, Mh*Mw, embed_dim_per_head]m_windows, num_heads, Mh*Mw, embed_dim_per_head]那为啥获取QKV的时候前面有一个窗口的数量?
- 懒惰才能让科技进步回复没礼貌吗？ 2024.10.25
  在Swin Transformer中，每个窗口的QKV参数矩阵是共享的，而不是为每个窗口单独设置的。具体来说，Swin Transformer使用一种称为“窗口注意力”的机制，将输入划分为多个不重叠的小窗口，并在每个窗口内计算自注意力。这些小窗口在计算自注意力时，共享相同的查询（Q）、键（K）和值（V）的投影参数矩阵，这样可以减少参数数量，提高模型的效率。

优快云-Ada助手 2023.11.22
恭喜您开始了博客创作！标题中的“Swin Transformer论文解读”让我很期待阅读您的博文。这是一个非常有趣和热门的话题，Swin Transformer作为最新的研究成果，它在图像分类任务上表现出色，我希望您能够以自己的方式解读和理解这篇论文。在下一步的创作中，我建议您可以从论文的背景和动机入手，为读者提供更全面的了解。您可以逐步介绍Transformer模型的基本原理，然后深入到Swin Transformer的创新之处，结合实验结果进行分析和讨论。此外，您还可以从自己的实践经验出发，提供一些对该模型的改进或应用的思考，这将使您的博客更加丰富和有深度。期待您的博文能够给读者带来新的启发和思考，同时也希望您能够持续分享更多有价值的内容。加油！推荐【每天值得看】：https://bbs.youkuaiyun.com/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1