论文笔记Enhancing Medical Image Segmentation with TransCeption: A Multi-Scale Feature Fusion Approach

使用TransCeption增强医学图像分割：一种多尺度特征融合方法

本工作中提出的设计基于三个核心原则:

(1)重新设计了编码器中的补丁合并模块，采用了ResInception Patch Merging（RIPM）算法。多分支变压器（MB变压器）采用与RIPM输出相同的分支数。结合这两个模块使模型能够在单个阶段内捕获多尺度表示。

(2)我们构建了一个阶段内特征融合（IFF）模块MB变换器，以增强聚合的特征图从所有的分支，特别是专注于所有尺度的不同通道之间的相互作用。

(3)与只包含令牌式自我注意力的桥相比，我们提出了一个双变压器桥，它还包括通道式自我注意力，以从双重角度利用不同阶段尺度之间的相关性。

1) ResInception Patch Merging (RIPM): 

        RIPM模块：在基于常规变换器的U-Net模型中，使用P ×P的卷积运算在解码器的每个阶段执行补丁合并过程，然后将所得令牌序列馈送到稍后阶段的变换器块中。然而，在每个阶段具有固定块大小的块合并只能捕获单尺度特征。因此，为了增强补丁合并模块捕获的信息的表示，我们遵循Inception模块的思想，在原有的3 × 3卷积补丁嵌入模块之外，进一步添加了5×5和7×7两个补丁嵌入分支。因此，嵌入的特征图从多个路径（在我们的设计中为三个）生成，以在每个补丁合并阶段对多尺度表示进行建模。此外，以并行方式引入附加卷积层显著增加了模型复杂度，这导致硬件的更高计算成本和存储器需求。

        我们使用RIPM模块来取代Inception模块。特别是，两个堆叠的3×3卷积层相当于一个5 × 5卷积层（类似地，三个堆叠