65、多镜头原型对比学习与语义推理在医学图像分割中的应用

多镜头原型对比学习与语义推理在医学图像分割中的应用

1. 引言

深度卷积神经网络（CNNs）在图像任务中取得了显著成就，但在医学图像分割领域，其严重依赖高精度和大量标注样本的局限性十分明显。获取这些标注图像不仅耗时、费力，而且成本高昂，同时由于训练类别的特异性，这些分割模型的泛化能力较低。

为应对这些挑战，少样本学习（FSL）应运而生。它通过从少量标注的支持样本中学习语义类别的广义表示，为未标注的查询样本的分割提供指导。FSL的发展衍生出了许多有效的医学图像分割方法，其中原型网络应用最为广泛。然而，基于原型网络的少样本分割方法存在原型判别能力不足的问题，尤其是在处理图像差异和目标复杂性时。此外，现有的多镜头策略通常将多个支持原型的平均值作为最终原型，这削弱了多个支持图像的独立贡献，破坏了支持原型的语义信息。

为解决上述问题，我们提出了基于多镜头策略的原型对比学习和语义推理网络（MPSNet），主要贡献如下：
1. 首次提出基于多镜头原型策略的新型少样本分割方法，取代常用的平均原型方法，提高支持图像对查询图像分割的指导能力。
2. 在支持集内构建多镜头原型对比学习网络，通过监督训练生成先验语义特征和先验分割模型，并将其迁移到查询图像以推断其分割掩码。
3. 该方法在三个公共数据集上取得了优于现有技术（SOTA）的最新性能。

2. 方法

2.1 问题设定

在少样本分割问题中，首先在训练集 $D_{train}$ 上训练分割模型，然后在测试集 $D_{test}$ 上评估该模型。假设 $D_{train}$ 中的语义类为 $C_{train}$，$D_{test}$ 中的语义类为 $C_{