ICCV 2025｜HarmonySeg：多尺度融合与拓扑感知损失实现SOTA管状结构分割

转载于 2025-09-30 12:02:41 发布 · 160 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=MzIzOTAxOTk3Nw==&mid=2247535651&idx=1&sn=43169c4288d4408231000846a7721f9e&chksm=e8e66887f0f10ef6a7c76a13459763a668b505d0761c7474556862f040fb9834ef2d66e52661&scene=126&sessionid=0

文章标签：

#人工智能

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

引言

一种用于医学图像中管状物结构分割的新框架 HarmonySeg，通过深浅特征融合与生长-抑制平衡损失，在复杂影像环境下实现了对血管、气道等细长结构的高精度、高连通性分割。该方案突破了“标注缺失、小血管漏检、结构断裂”三大瓶颈，让模型在不依赖完美标注的前提下，也能像医生一样“该连的连上，该去的去掉”，实现解剖逻辑层面的合理补全。HarmonySeg 在肝脏血管、视网膜血管、气道树、冠状动脉等多个任务上展现出优秀性能，尤其在拓扑连通性与微小结构保留方面表现出色。

论文题目：《HarmonySeg: Tubular Structure Segmentation with \\Deep-Shallow Feature Fusion and Growth-Suppression Balanced Loss》

Arxiv链接：https://arxiv.org/abs/2504.07827

作者｜阿里巴巴达摩院工程师黄艺

图1：我们利用Vesselness特征来提升召回率，并基于图像特征过滤异常值以保持精度，同时采用生长抑制平衡损失函数，在标注缺失的情况下，以合理噪声水平促进管状物拓扑生长。

引言

医学影像中的管状物结构——如肝内血管、支气管树、视网膜微血管、冠状动脉——是疾病诊断、手术规划和放疗设计的关键。然而这些管状物结构往往尺度多变、拓扑复杂、分布稀疏。这使得人工标注成本极高，公开数据集的标签往往“草图式”甚至大面积缺失，导致传统分割模型在训练时“学不全”，推理时“断得多”。

经典的血管度（vesselness）滤波系列方法能够有效突出影像中管状物结构，但易受噪声和背景干扰，且常需复杂后处理，泛化能力有限。深度学习虽能端到端建模，但在标注缺失下仍难避免“误连噪声”或“过度断裂”的问题。如何让AI在不完整监督下依然输出完整、合理的拓扑结构，成为医学分割领域的一大挑战。

方法

图2. HarmonySeg 框架。模型以图像及其vesselness滤波结果作为输入，通过两者间多级特征融合来提升recall，并应用生长-抑制平衡损失提升precision。

以CT图像中的肝血管分割为例进行说明，HarmonySeg整体框架如图2所示。

2.1浅深融合（Shallow and Deep Fusion, SADF）

已有研究证明vesselness滤波能够有效增强血管区域。我们没有简单拼接原始图像与vesselness滤波结果，而是将其视为独立辅助模态，通过浅层定位 + 深层交互的融合机制，让vesselness真正“参与决策”，不只是“贴图增强”，真正发挥vesselness的“导航”作用。深浅融合模块SADF通过两个核心组件，深层互查询（Deep Mutual Query, DMQ）和浅层查询（Shallow Query, SQ），在浅层和深层特征阶段实现两者间充分交互。DMQ 作用于CT图像与vesselness滤波的深层特征（记为和），实现两种模态之间的全局依赖建模，为后续解码提供基础。如图2(b)所示：

通过交叉注意力，vesselness可引导CT特征聚焦于高血管密度区域，同时通过自注意力保留CT自身全局信息，避免被vesselness中的噪声干扰。同时，通过对间类似的融合，得到，从而利用CT中的信息来抑制vesselness图中的（如肝脏边缘的）异常响应。相较于深层特征富含语义信息，浅层特征则包含更精确的空间位置信息。因此，我们在SQ模块中进一步利用vesselness帮助定位CT图像中的潜在血管区域，如图2(c)：

最后，与和结合，整合全部血管信息。

2.2 深浅解码（Deep-to-Shallow Decoding, D2SD）

已有方法难以抓住尺度多样的管状物结构，即模型感受野固定，难以适应从主干到毛细的尺度变化。我们采用多感受野灵活卷积+深浅解码策略，兼顾主干结构与微小分支，细节更完整。在通过SADF完成CT与vesselness特征融合后，D2SD策略从深层到浅层逐步进行多尺度解码。各浅层单独进行“预解码”，充分利用浅层特征的局部不变性和精确空间信息，实现对适应当前尺度血管的精准定位。

此外，上采样后的和也参与各尺度的“预解码”，进一步促进两种模态特征在浅层的对齐，使vesselness在解码阶段始终发挥引导作用，突出潜在血管区域。最终，融合对不同尺度血管具有不同敏感性的各浅层输出与深层输出，得到最终结果。

图3. 生长-抑制平衡（growth-suppression balance, GSB）的示意图。

2.3 生长-抑制平衡（Growth-Suppression Balance, GSB）损失

在通过损失函数施加拓扑结构约束时过于依赖完备标注，当面临标注缺失的情况时，拓扑结构极易断裂或误连。HarmonySeg则提出GSB损失，在标注缺失的情况下通过自适应生长补全拓扑结构，并抑制过度生长带来的噪声：

松弛监督损失利用形状先验驱动血管区域的扩展，以应对标注缺失问题；连通性损失鼓励预测骨架与补全骨架对齐；两者共同促进血管生长。空间先验损失通过浅层特征相似性控制生长区域的一致性；混合等价损失则进一步施加混合不变性约束帮助抑制过度生长带来的噪声；两者在权重控制下在促进血管合理生长补全的同时，有效抑制噪声，实现边界精确与拓扑完整的平衡。

实验结果

我们在肝脏血管分割（hepatic vessel segmentation, HVS）、视网膜血管分割（retinal vessel segmentation, RVS）、气管树分割（airway tree segmentation, ATS）和冠状动脉分割（coronary artery segmentation, CAS）等多个代表性医学影像管状物分割任务上对HarmonySeg进行了测试，并与近年来提出的杰出方法进行了比较。具体结果如下：

表1. HVS任务定量指标比较。最佳和次佳分别以粗体和下划线突出。

图4. 肝脏血管分割结果示例。红色表示分割结果，绿色表示对应标签。黄色箭头突出改进之处。

表2. RVS任务定量指标比较。最佳和次佳分别以粗体和下划线突出。

图5. 视网膜血管分割结果示例。

表3. ATS任务定量指标比较。最佳和次佳分别以粗体和下划线突出。

图6. 气管树分割结果示例。

表4. CAS任务定量指标比较。最佳和次佳分别以粗体和下划线突出。

图7. 冠状动脉分割结果示例。

在HVS任务中，HarmonySeg在衡量分割整体性能的Dice和血管树连通性的clDice上都实现了最优的性能，F1-score的优化也表明HarmonySeg在recall和precision之间实现了有效的平衡。其他任务中HarmonySeg也表现良好。整体来看，HarmonySeg在上述任务中均表现出了具有竞争力的性能，在多项指标上领先于已有模型。

结论

HarmonySeg用一套攻克了医学影像中的管状物分割难题。以肝脏血管为例，一是将vesselness从预处理步骤变成管状物的“智能导航仪”。相比只是将vesselness和原始图像简单拼接，“有了地图但不看”，HarmonySeg将其作为独立辅助模态，通过深浅融合模块（SADF），在浅层定位潜在血管区域，在深层通过交叉注意力机制，让网络“边看vesselness、边对照CT”，显著提升微小血管召回率，同时过滤噪声伪影。

二是由深到浅解码（D2SD），兼顾全局语义与局部细节。管状物结构有粗有细、有主干有分支。传统U-Net类结构在深层丢失空间细节，容易断枝。HarmonySeg 设计深到浅解码策略，结合多感受野灵活卷积块，在不同尺度上并行恢复结构信息。无论是毫米级肝内小血管，还是复杂的支气管树，都能精准捕捉。

三是生长-抑制平衡损失，让模型学会“合理补全”。面对标注缺失，不少模型束手无策。HarmonySeg 提出拓扑感知的GSB损失，实现先“生长”：利用形状先验，合理延伸缺失路径，补全断裂结构；再“抑制”：通过上下文一致性与混合等价性约束，防止噪声过度扩张，就像医生补画血管一样，既连得上，又不乱连。

往期精彩文章推荐