48、医学图像分割新进展：SwinUNETR-V2与医学边界扩散模型

医学图像分割新进展：SwinUNETR-V2与医学边界扩散模型

1. SwinUNETR-V2：强大的Swin骨干网络

1.1 方法概述

SwinUNETR-V2基于原始的SwinUNETR，重点改进了Transformer编码器。其整体框架包含Swin-Transformer、阶段式卷积和解码器三个主要部分。
- Swin-Transformer ：使用3D卷积的补丁嵌入层（步长为2,2,2，内核大小为2,2,2）将补丁嵌入为令牌。接着通过四个阶段的Swin Transformer块和补丁合并来编码输入补丁。在每个Swin块中，输入张量会被分割成窗口，并执行一系列操作，具体公式如下：
- (z_i = W - MSA(LN(z_{i - 1})) + z_{i - 1})
- (z_i = MLP(LN(z_i)) + z_i)
- (z_{i + 1} = SW - MSA(LN(z_i)) + z_i)
- (z_{i + 1} = MLP(LN(z_{i + 1})) + z_{i + 1})
其中，W-MSA和SW-MSA分别表示常规窗口和移位窗口多头自注意力，MLP和LN分别表示多层感知器和层归一化。每个Swin Transformer块后会应用一个补丁合并层，将每个空间维度减半。
- 阶段式卷积 ：虽然Swin-transformer使用局部窗口注意力引入了类似卷积的归纳偏置，但自注意力仍可能破坏局部细节。实验发现，交错的阶段式卷积对Swin最有效，即在每个分辨率级别（阶段）开始时，将输入令牌重塑回原始3D体积，使用具有两组3 × 3x3