入选AAAI 2025！解决医学图像分割软边界与共现难题，中国地质大学等提出图像分割模型ConDSeg

医学图像分割是医学影像处理领域中关键而复杂的一步，主要是通过将医学图像中具有特殊含义的部分分割提取出来，从而可为临床诊断、康复治疗、疾病跟踪提供支持。近年来，在计算机和人工智能的加持下，基于深度学习的分割方式已经逐渐成为医学图像分割的主流方法，其相关成果也百花齐放。

在国际人工智能顶会「第 39 届人工智能年会」(The 39th Annual AAAI Conference on Artificial Intelligence, AAAI 2025) 公布的入选成果中，部分论文就再次高调展示了医学图像自动化分割丰硕的进展，其中一篇由中国地质大学团队联合百度共同发布的成果——「ConDSeg: A General Medical Image Segmentation Framework via Contrast-Driven Feature Enhancement」引起了广泛关注。

研究人员针对医学图像分割领域中存在的「软边界」和共现现象两大难题，提出了一种称为对比度驱动医学图像分割的通用框架 ConDSeg。该框架创新性地引入了一致性强化 (Consistency Reinforcement, CR) 训练策略、语义信息解耦 (Semantic Information Decoupling, SID) 模块、对比度驱动特征聚合 (Contrast-Driven Feature Aggregation, CDFA) 模块以及尺寸感知解码器 (Size-Aware Decoder, SA-Decoder) 等，实现了医学图像分割模型精度的进一步提升。

论文地址：
https://arxiv.org/abs/2412.08345

开源项目「awesome-ai4s」汇集了 200 余篇 AI4S 论文解读，并提供海量数据集与工具：

https://github.com/hyperai/awesome-ai4s

医学图像分割精确性面临两大挑战

在过去的十年里，人工智能的兴起助力医学图像自动化分割快速发展，使得医生和科研人员得以从繁琐的任务中解脱出来。然而，鉴于医学图像的复杂性、专业性，若要实现完全的自动化图像分割仍道阻且长，其中精确性问题便是不可忽视的挑战，因为一旦精确度缺失，自动化也就无从谈起。

从目前来看，医学图像中的「软边界」和共现现象，正是阻碍医学图像分割精度提升的关键难题。

医学图像分割的主要挑战

首先，与前景和背景界限清晰的自然图像相比，医学图像的前景（如息肉、腺体、病变等）和背景往往存在一种模糊的「软边界」，其形成原因主要是病理组织和周围正常组织之间存在过渡区，从而使得边界难以界定。除此之外，在多数情况下，医学图像所表现出较差的光线效果和低对比度，会进一步模糊病理组织和正常组织之间的界限，这更增加了区分边界的难度。

其次，与自然场景中随机出现的物体不同，医学图像中的器官和组织具有高度的固定性和规律性，因此还广泛存在着共现现象，即不同图像特征、组织或病变等同时在医学图像中出现。例如在内镜息肉图像中，小息肉往往与大小相近的息肉同时出现，这样会使得模型极容易学习某些与息肉无关的共现特征，但当病理组织单独出现时，模型往往就无法进行准确预测。

为了解决以上挑战，近年来越来越多的研究方法将注意力聚焦于此。例如深圳大学医学部生物医学工程学院岳广辉副教授团队发布了一种可用于精确的息肉分割的边界约束网络 BCNet，其中提到一种双边边界提取模块，能够结合浅层上下文特征、高层位置特征和附加的息肉边界监督来捕获边界。该成果以「Boundary constraint network with cross layer fea ture integration for polyp segmentation」为题发布于 IEEE Journal of Biomedical and Health Informatics。

论文地址：

https://ieeexplore.ieee.org/document/9772424

又如上海科技大学生物医学工程学院创始院长沈定刚教授团队等提出了一种跨级特征聚合网络 CFA-Net，可用于息肉分割，其通过设计了一个边界预测网络来生成边界感知特征，并使用分层策略将这些特征合并到分割网络中。该成果以「Cross-level Feature Aggregation Network for Polyp Segmentation」为题，发布于 Pattern Recognition。
论文地址：
https://www.sciencedirect.com/science/article/abs/pii/S0031320323002558

不过，尽管这些方法都通过明确引入与边界相关的监督来提高模型对边界的关注，但它们都没能从根本上增强模型自发降低模糊区域不确定性的能力。因此，在恶劣的环境下，这些方法的鲁棒性仍然较弱，对模型的性能提升仍有局限性。同时，无法准确区分前景和背景，以及图像中不同实体之间的区别，仍然是大多数模型面临的问题。

不同于此前的方法，在中国地质大学团队联合百度展开的研究中，研究人员提出了一种称为对比度驱动医学图像分割的通用框架 ConDSeg。 具体创新如下：

• 针对恶劣环境下的鲁棒性考验，研究人员提出一致性强化 (Consistency Reinforcement, CR) 预训练策略来增强编码器的鲁棒性，以此提取出高质量的特征。同时，语义信息解耦 (Semantic Information Decoupling, SID) 模块可以将特征映射解耦到前景、背景和不确定区域，并通过特殊设计的损失函数在训练过程中学习减少不确定性。

• 所提的对比度驱动特征聚合 (Contrast-Driven Feature Aggregation, CDFA) 模块通过 SID 提取的对比特征指导多层特征的融合和增强。尺寸感知解码器 (Size-Aware Decoder, SA-Decoder) 旨在更好地区分图像中不同的实体，并对不同大小的实体进行单独预测，克服共同特征的干扰。

ConDSeg 的四大创新赋能医学图像分割精度提升

总体来说，本次研究所提的 ConDSeg 是一个两阶段体系结构的通用医学图像分割框架， 如下图所示：

ConDSeg 的总体框架示意图

在第一阶段， 研究的目标是最大限度地提高编码器在弱光照和低对比度场景下的特征提取能力与鲁棒性。

研究人员引入了 CR 预训练策略对编码器进行初步的训练，将编码器从整个网络中分离了出来，同时设计了一个结构简单的预测头 (Predict Mask)。通过输入原始图像 (Original) 和增强图像 (Strong Aug.) 到编码器，最大化预测掩码之间的一致性，增强了编码器在不同光照、对比度挑战下的鲁棒性，并提升了其在恶劣环境下提取高质量特征的能力。其中增强方法包括了随机改变亮度、对比度、饱和度、色调，以及随机转换为灰度图像和添加高斯模糊。

另外值得一提的是，研究团队所提一致性损失 Lcons 是基于像素级分类精度设计，使用简单的二值化操作和二进制交叉熵 (Binary Cross-Entropy，BCE) 损失计算，直接比较预测掩码之间的像素级差异。该方法计算更简单，同时避免了数值不稳定，使其更适合大规模数据。

在第二阶段， 对整个网络进行微调，编码器的学习率被设置在一个较低水平，具体分为 4 个步骤：

• 特征提取，ResNet-50 编码器在不同层次上提取具有不同语义信息的特征图 f₁ 至 f₄。

• 语义信息解耦，将承载深层语义信息的特征图 f₄ 输入到 SID 中，解耦为包含前景、背景和不确定区域信息的特征图。SID 以 3 个并行分支开始，每个分支由多个 CBR 模块组成，将特征图 f₄ 输入到 3 个分支后得到 3 个不同语义信息的特征图，分别用前景、背景和不确定区域特征进行丰富，然后由一个辅助头对 3 个特征图进行预测，为前景、背景和不确定区域生成遮罩。通过损失函数的约束，SID 学习减少不确定性，提高了前景和背景之间的掩码精度。如下图所示：

SID 辅助磁头的结构

• 特征聚合，将特征图 f₁ 至 f₄ 送入 CDFA 模块，并以解耦后的特征图为导向逐步融合多层次特征图，增强前景和背景特征的表示。其中 CDFA 不仅起到了利用 SID 解耦的前景和背景的对比特征来指导多层次特征融合，还有助于模型更好地区分待分割实体和复杂的背景环境。如下图所示：

CDFA 的结构

• 多尺度预测，研究人员通过建立小、中、大 3 种尺寸的解码器——解码器ₛ、解码器ₘ 和解码器ₗ 分别在特定级别接收来自 CDFA 的输出，然后根据大小定位图像中的多个实体。每个解码器的输出被融合以产生最终的掩码，因此该模型既可以精确分割大实体，也能准确定位小实体，既防止了共现现象被错误学习，也解决了解码器的尺度奇异性问题。如下图所示：

SA-Decoder 结构图

为了验证 ConDSeg 在医学图像分割领域的性能， 研究人员选择了 5 个公共数据集 (Kvasir-SEG、Kvasir-Sessile、GlaS、ISIC-2016、ISIC-2017，如下图所示) 进行 3 种医学图像任务（内窥镜、全切片图像和皮肤镜）的测试。研究人员将图像大小调整为 256 × 256 像素，batch size 设置为 4。使用了 Adam 优化器进行优化。

五个数据集的详细信息

主要比对对象包括 U-Net、U-Net++、Attn U-Net、CENet、CPFNet、PraNet、FATNet、TGANet、DCSAUNet、XBoundFormer、CASF-Net、EIU-Net 以及 DTAN 等当前最先进方法，结果证明，本研究所提方法在 5 个数据集上都实现了最好的分割性能。 如下图所示：

在 Kvasir-Sessile、Kvasir-SEG 和 GlaS 数据集上与其他模型的比较

在 ISIC-2016、ISIC-2017 数据集上和其他模型的比较

此外，研究人员还在 Kvasir-SEG 数据集上训练收敛曲线与其他方法的比较，结果显示， ConDSeg 即使只有一个阶段的训练也可以达到先进水平，而使用完整的 ConDSeg 框架时，该方法实现了最快的收敛速度和最佳性能。如下图所示。

在 Kvasir-SEG 数据集上训练收敛曲线与其他方法的比较

医学图像分割领域成为资本和技术的青睐

医学图像分割无论在临床医学还是医学研究领域都发挥着重要作用，而经过专门训练的的 AI 系统凭借高效、智能化等特征对传统医学图像分割手段进行改造，使其早已经成为医护人员、科研人员离不开的辅助工具。而医学图像分割之所以有此发展和成果，就不得不提资本和技术的双轮驱动了。

在资本方面，AI 与生物医学的交叉学科在近些年成为投资界的「香饽饽」，而在今年，AI 驱动的医学影像更是率先迎来了开门红。1 月 28 日，西班牙医学影像公司 Quibim 公司就宣布其完成了 5 千万美元（约合 3.6 亿人民币）的 A 轮融资。值得一提的是，Quibim 的核心技术便是基于医学影像数据的人工智能分析，其旗下的 QP-Liver 就是用于 MR 诊断弥漫性肝病的自动化分割工具。

在技术方面，AI 与医学图像分割的结合早已是各大实验室的研究重点之一。比如美国麻省理工学院计算机科学与人工智能实验室 (MIT CSAIL) 团队，联合麻省总医院 (Massachusetts General Hospital) 和哈佛医学院 (Harvard Medical School) 的研究人员，提出了一种用于交互式生物医学图像分割的通用模型 ScribblePrompt，支持注释人员使用涂鸦、点击和边界框等不同的注释方式，灵活地进行生物医学图像的分割任务，甚至是对于未经训练的标签和图像类型。

相关成果以「ScribblePrompt: Fast and Flexible Interactive Segmentation for Any Biomedical Image」为题，被国际顶级学术会议 ECCV 2024 接收。
论文地址：
https://arxiv.org/pdf/2312.07381

除此外，基于 Meta 公司发布的 SAM 2，牛津大学团队开发了名为 Medical SAM 2 (MedSAM-2) 的医学图像分割模型，该模型将医学图像视作视频，不仅在 3D 医学图像分割任务上表现卓越，同时还解锁了一种新的单次提示分割的能力。用户只需为一种新的特定对象提供一个提示，后续图像中同类对象的分割就可以由模型自动完成，而无需进一步输入。

*点击查看详细报道：SAM 2 最新应用落地！牛津大学团队发布 Medical SAM 2，刷新医学图像分割 SOTA 榜

总而言之，AI 早已不再是束之高阁的技术，医学图像自动化分割的发展证实了 AI 在生物医学领域的潜力，同时也通过一例又一例资本的故事验证了它的商业可行性。未来，作为医学影像领域最重要环节，医学图像分割必将受惠于 AI 而跑上发展的高速路，而资本也将因医学图像分割领域的成功引入到更广大的生物医学市场，实现技术、资本、商业的完美闭环。