【2024|CVPR】语义分割之医学分割，论文推荐！

【2024|CVPR】Bi-level Learning of Task-Specific Decoders for Joint Registration and One-Shot Medical Image Segmentation论文推荐！

【2024|CVPR】Bi-level Learning of Task-Specific Decoders for Joint Registration and One-Shot Medical Image Segmentation论文推荐！

---

---

前言

Bi-level Learning of Task-Specific Decoders for Joint Registration and One-Shot Medical Image Segmentation 这篇论文提出了一种用于联合图像配准（registration）和单样本医学图像分割（one-shot medical image segmentation）的双层学习（bi-level learning）框架。该方法旨在通过设计任务特定的解码器，在解决图像配准问题的同时进行高效的单样本医学图像分割。

论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10656811
代码地址： https://github.com/Coradlut/Bi-JROS.

---

1.研究背景

医学图像分割是分析医学图像（如CT、MRI）的重要任务之一，广泛应用于病变检测、手术规划和疾病诊断。传统的医学图像分割方法通常需要大量标注数据，而获取高质量的医学图像标注十分昂贵和耗时。因此，单样本分割（one-shot segmentation）成为一个有趣的研究方向，即利用少量标注（通常只有一个标注样本）来训练模型完成分割任务。

另一方面，医学图像配准（image registration）是将多幅图像对齐的重要步骤，尤其是在不同的图像模态、个体差异或时间序列中。配准的质量对于下游分割任务有重要影响，因为只有精确对齐后，才能在不同扫描图像之间进行可靠的解剖结构比较。

该论文关注如何将配准和单样本分割任务联合起来。传统方法往往将配准和分割分开处理，而这可能会导致误差累积，降低分割的准确性。该论文提出了联合学习框架，将图像配准和单样本分割结合在一起，并通过双层学习策略优化任务特定的解码器。

2.主要贡献

这篇论文的主要贡献如下：

• 提出了一个联合配准和分割的双层学习框架，通过共同学习这两个任务来提高分割精度。
• 引入了任务特定的解码器，分别针对配准和分割任务进行优化，避免任务冲突。
• 双层优化策略：该方法采用双层优化策略，在内层优化配准任务，在外层优化分割任务，以实现更好的全局效果。
• 有效处理单样本分割问题：在单样本分割的极端情况下，该方法仍能够实现较高的分割精度。

3.技术方法

论文提出的核心方法是双层学习框架，该框架将配准和分割任务整合到同一个端到端的神经网络中，通过任务特定的解码器和双层优化策略提高分割效果。

3.1 问题定义

• 图像配准：给定一对图像（如参考图像和目标图像），图像配准的目标是学习一个变换，使得目标图像与参考图像对齐。
• 单样本分割：给定一个已经标注的参考图像，模型要学习如何使用这一单一标注来分割其他未标注的目标图像。

3.2 双层学习框架

论文中的双层学习框架主要分为两个阶段：内层配准优化 和 外层分割优化。

• 内层：配准优化
  内层优化目标是通过学习配准变换，将目标图像与参考图像对齐。在这一阶段，网络首先通过一个编码器提取图像的特征表示，然后使用任务特定的解码器生成变换场（transformation field），从而对图像进行变换。
• 外层：分割优化
  外层优化的目标是利用配准好的图像进行分割。通过第二个任务特定的解码器，模型从已对齐的图像中学习分割结果。分割优化不仅依赖于内层的配准结果，还通过反向传播来调整内层的配准过程，以确保整体框架的分割效果最佳。

3.3 任务特定解码器

为了避免配准和分割任务之间的冲突，该方法为两个任务设计了任务特定的解码器：

• 配准解码器：专注于学习图像变换场，通过特征提取对输入图像进行空间对齐。
• 分割解码器：专注于生成分割掩码（segmentation mask），从而高效地分割对齐后的目标图像。

这种解码器的分离设计保证了两个任务的独立性，同时通过双层优化策略使它们能够相互配合，共同提升最终的分割效果。

3.4 双层优化策略

• 内层优化：针对配准任务，使用基于配准损失的优化方法，确保目标图像能够与参考图像准确对齐。损失函数包括变形场的平滑性和图像的相似性度量（如基于像素强度或特征空间的相似性）。
• 外层优化：针对分割任务，使用分割损失来优化分割解码器。外层损失函数通常是基于交叉熵损失或Dice系数，这确保了生成的分割掩码与真实标注的准确匹配。

通过这种双层优化，内层和外层任务可以互相作用，形成联合学习的效果。外层分割优化过程通过反向传播来调整内层的配准结果，使得配准任务有利于分割。

4.实验结果

论文在多个常用的医学图像数据集上进行了实验，验证了该方法在单样本分割任务中的有效性。

4.1 数据集

实验使用了几个公开的医学图像数据集，涵盖了不同类型的医学扫描（如脑部MRI、腹部CT等）。这些数据集具有不同的解剖结构和成像模态，验证了该方法的泛化能力。

4.2 实验设置

• 单样本学习：实验中，模型仅使用一个参考图像的标注进行训练，测试模型在未标注图像上的分割性能。
• 评估指标：主要使用了Dice系数（Dice Similarity Coefficient, DSC）和Hausdorff距离来评估模型的分割性能。

4.3 性能对比

实验结果表明，该方法相比现有的单样本分割和配准方法取得了更好的结果，特别是在复杂解剖结构的分割任务中。

• Dice系数提升：相较于传统的配准或单样本分割方法，该方法在Dice系数上有显著提升，特别是在具有细粒度结构的解剖部位。
• 鲁棒性：该方法在不同模态的医学图像（如CT和MRI）上都表现出较好的鲁棒性，说明双层学习框架能够适应不同的成像条件。
  
  
  

5. 总结

该论文提出了一种双层学习框架，将医学图像中的配准和单样本分割任务联合起来，通过任务特定的解码器和双层优化策略显著提高了分割的精度和鲁棒性。具体贡献如下：

• 联合优化配准和分割任务：通过双层优化框架，将配准和分割任务在同一模型中实现，并通过双层损失函数相互影响，提升了分割效果。
• 任务特定解码器：为配准和分割任务设计了不同的解码器，确保了任务之间的独立性和针对性优化。
• 实验验证：在多个医学图像数据集上进行了验证，证明了该方法在单样本分割任务中的有效性。

这项研究为医学图像分析中的配准和分割问题提供了一种新颖的解决思路，展示了如何通过联合学习框架和双层优化来解决复杂的医学图像分析任务。