医图顶会 MICCAI‘23 | H-DenseFormer：多模态融合分割的高效混合密集连接Transformer

最新推荐文章于 2025-12-04 14:13:28 发布

原创最新推荐文章于 2025-12-04 14:13:28 发布 · 1.8k 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #深度学习 #人工智能 #llama #语言模型 #ocr #microsoft

论文信息

题目：H-DenseFormer: An Efficient Hybrid Densely Connected Transformer for Multimodal Tumor Segmentation

H-DenseFormer：一种高效的混合密集连接Transformer用于多模态肿瘤分割

源码：https://github.com/shijun18/H-DenseFormer

论文创新点

混合密集连接网络（H-DenseFormer）：作者提出了一种结合卷积神经网络（CNN）和Transformer结构的混合密集连接网络，用于多模态肿瘤分割。该网络通过集成Transformer的多路径并行嵌入（MPE）模块，能够处理任意数量的模态输入，从不同模态中提取融合特征。
轻量级密集连接Transformer（DCT）模块：作者设计了一个轻量级的DCT模块，以替代标准的Transformer模块，从而显著降低计算复杂度。DCT模块通过密集连接不同的Transformer层，在保持表示能力的同时减少了计算和内存需求。
多路径并行嵌入（MPE）模块：MPE模块为每个模态分配独立的编码路径，然后合并所有路径的语义特征并将其传递给分割网络的编码器。这种设计解耦了不同模态的特征表示，同时放宽了对特定模态数量的输入限制。
深度监督（DS）损失：作者在分割网络中引入了深度监督损失机制，通过多尺度输出参与最终损失计算，提高了网络的收敛速度和性能。该方法结合了Focal损失和Dice损失，以缓解像素不平衡问题。

摘要

近年来，深度学习方法在多模态医学图像的肿瘤分割中取得了显著成果。然而，大多数现有方法受限于表示能力不足、特定模态数量和高计算复杂度。本文提出了一种用于肿瘤分割的混合密集连接网络，称为H-DenseFormer，它结合了卷积神经网络（CNN）和Transformer结构的表示能力。具体来说，H-DenseFormer集成了一个基于Transformer的多路径并行嵌入（MPE）模块，可以接受任意数量的模态作为输入，从不同模态中提取融合特征。然后，将多模态融合特征传递到编码器的不同层次，以增强多模态学习表示。此外，我们设计了一个轻量级的密集连接Transformer（DCT）模块，以替代标准的Transformer模块，从而显著降低计算复杂度。我们在两个公共多模态数据集HECKTOR21和PI-CAI22上进行了广泛的实验。实验结果表明，我们提出的方法在具有较低计算复杂度的同时，优于现有的最先进方法。

关键字

肿瘤分割 · 多模态医学图像 · Transformer · 深度学习

2. 方法

2.1 H-DenseFormer的整体架构

图1展示了我们方法的整体架构。H-DenseFormer包括一个多路径并行嵌入（MPE）模块和一个U型分割骨干网络，采用输入级融合形式。前者作为多模态融合特征的辅助提取器，后者用于生成预测。具体来说，给定一个多模态图像输入或，具有的空间分辨率，深度维度（切片数量）和通道（模态数量），我们首先利用MPE提取和融合多模态图像特征。然后，将获得的特征逐步上采样并传递给分割网络的编码器，以增强语义表示。最后，分割网络生成多尺度输出，用于计算深度监督损失作为优化目标。

2.2 多路径并行嵌入

许多方法已经证明，解耦不同模态的特征表示有助于提取高质量的多模态特征。受此启发，我们设计了一个多路径并行嵌入（MPE）模块，以增强网络的表示能力。如图1所示，每个模态都有一个独立的编码路径，由一个补丁嵌入模块、堆叠的密集连接Transformer（DCT）模块和一个重塑操作组成。不同路径的独立性使得MPE能够处理任意数量的输入模态。此外，Transformer的引入提供了建模全局上下文信息的能力。给定输入，经过卷积嵌入和标记化后，获得的第路径特征为，其中，和分别表示路径大小和嵌入特征长度。首先，我们连接所有模态的特征，并使用卷积操作将其纠缠在一起。然后，进行插值上采样以获得多模态融合特征，其中表示通道维度。最后，逐步上采样到多个尺度，并传递给不同的编码器阶段，以增强学习表示。

2.3 密集连接Transformer

标准Transformer结构通常由与特征维度成正比的密集线性层组成。因此，集成Transformer可能会导致大量额外的计算和内存需求。缩短特征长度可以有效减少计算，但同时也削弱了表示能力。为了解决这个问题，我们提出了受DenseNet启发的密集连接Transformer（DCT）模块，以平衡计算成本和表示能力。图1详细展示了DCT模块，它由四个Transformer层和一个前馈层组成。每个Transformer层有一个线性投影层，将输入特征维度减少到以节省计算。不同的Transformer层密集连接，以较低的特征维度保持表示能力。最后的前馈层生成不同层的融合特征。

2.4 分割骨干网络

H-DenseFormer采用U型编码器-解码器结构作为其骨干网络。如图1所示，编码器逐步提取特征并降低其分辨率。为了保留更多细节，我们将最大下采样因子设置为8。来自MPE的多级多模态特征以逐位加法的方式融合，以丰富语义信息。解码器用于恢复特征的分辨率，由反卷积和卷积层组成，并与编码器进行跳跃连接。特别地，我们采用深度监督（DS）损失来提高收敛性，这意味着解码器的多尺度输出参与最终损失计算。

深度监督损失

在训练过程中，解码器有四个输出；例如，2D H-DenseFormer的第个输出为，其中，（肿瘤和背景）表示分割类别的数量。为了缓解像素不平衡问题，我们使用Focal损失和Dice损失的组合作为优化目标，定义如下：

其中，表示像素总数，和分别表示第个像素的预测概率和真实值，是调制因子。因此，DS损失可以计算如下：

其中，表示调整大小后的真实值，与具有相同的大小。是一个加权因子，用于控制不同尺度输出对应的损失比例。这种方法可以提高网络的收敛速度和性能。

3. 实验

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述