ASLSEG: ADAPTING SAM IN THE LOOP FOR SEMI-SUPERVISED LIVER TUMOR SEGMENTATION

1 面临问题

应用场景：
        医学成像任务，如心脏磁共振成像(cMRI)的短轴视图分割，可能需要模型对特定结构有更精细的识别和分割能力。
SAM模型：
        尽管SAM在一般图像分割任务上表现出色，但在医学成像领域，特别是需要精细结构分割或精确边界划分的任务上，SAM可能面临挑战。

2 应用技术

（1）半监督学习（SSL）：为了解决上述挑战，论文采用了半监督学习方法，这是一种常见的技术，可以利用未标注的数据来增强模型的泛化能力。
（2）数据增强策略：开发了一系列数据增强策略，用于模拟分割网络的预测不准确性，并用它们来训练适应网络，以在管道中细化伪标签。
（3）适应网络：使用合成数据来模拟各种网络分割不准确性，并训练一个采用U-Net架构的适应网络，以细化伪标签。

3 模型结构

第一阶段：使用标注数据训练分割模型——半监督分割网络SS，利用训练好的SS网络对未标注数据进行预测，生成伪标签。这些伪标签是模型对未标注数据的分割预测，虽然可能有误差，但它们可以作为额外的训练信息，用于后续的SAM微调和预测。
第二阶段：使用标注数据对医学SAM模型进行微调，并将第一阶段生成的伪标签与标注数据结合，进一步对未标注数据进行预测。

• 使用标注数据集（包含肿瘤的图像及其标注）对医学SAM模型进行微调。
• 微调过程中，可能采用随机和迭代点击采样策略，以确保模型能够充分学习肿瘤区域的特征。
• 使用微调后的医学SAM模型对未标注数据进行预测，生成分割建议。
• 从第一阶段的分割模型预测中随机选择前景点作为正提示点（positive prompt points），并将其作为额外的输入信息。
• 将标注数据与第一阶段生成的伪标签结合，用于进一步训练和优化医学SAM模型。
• 将医学SAM模型的预测结果与第一阶段生成的伪标签结合起来，以生成更准确的分割建议

第三阶段：引入了一个适应网络（Adaptation Network），用于细化医学SAM生成的伪标签。这个网络使用合成数据来模拟分割模型的不准确预测，从而训练出一个能够改善伪标签质量的模型。使用预训练的适应网络对医学SAM生成的伪标签进行细化，并通过Dice系数（DSC）等指标评估预测与伪标签的一致性，选择可靠的伪标签重新加入训练集，进行迭代训练。
多阶段迭代：整个框架是一个多阶段的迭代过程，通过不断细化伪标签并将其加入训练集，逐步提高分割模型的性能。