57、DBTrans：用于多模态医学图像分割的端到端模型

DBTrans：用于多模态医学图像分割的端到端模型

1. 背景与贡献

在多模态医学图像分割领域，现有的方法存在一些局限性。一方面，它们在有效编码局部信息的同时，难以捕捉全局交互信息；另一方面，当前方法只是简单地堆叠模态并通过网络处理，对各模态在通道维度上一视同仁，可能会忽略不同模态的贡献。

为解决这些问题，研究人员提出了一种名为 DBTrans 的端到端模型，其主要贡献如下：
1. 基于 Transformer 构建了双分支的编码器和解码器层，集成了 Shifted-W-MSA、Shuffle-W-MCA 和 Shifted-W-MCA 机制，能够在不增加额外计算成本的情况下，对近窗口和远窗口的依赖关系进行建模。
2. 在解码器中，建立了一个连接解码器查询和编码器键/值的桥梁，在解码过程中为分割目标保留全局上下文信息。
3. 针对多模态叠加数据，改进了 SE-Net 中的通道注意力机制，关注不同模态和分支对特征图有效信息的贡献，从全局角度加强了多模态信息的融合效果。

2. 方法介绍

2.1 整体架构

DBTrans 是一个具有 3D 补丁嵌入的 U 形端到端框架，包含编码器和解码器。模型输入为沿通道维度堆叠的四种模态的 MRI 数据（D×H×W×C），3D 补丁嵌入将输入数据转换为特征嵌入 e1 ∈ RD1×H1×W1×C1，由编码器层进一步处理。在解码器尾部，分割头根据最后一层的输出生成最终的分割结果（D×H×W×K）。

2.2 编码器中的双分支结构

编码器由四个双分支编码器层（包括一个瓶颈层）组成。每个编码器层包含两个连续的编码器块和一个 3D 补丁合并操