66、用于高效标签3D到2D分割的自监督学习方法

用于高效标签3D到2D分割的自监督学习方法

1. 引言

深度学习在医学图像分割任务中发挥着重要作用，能显著减轻医学专家的工作负担，这些任务对于患者诊断和后续管理至关重要。多数情况下，分割掩码与输入图像具有相同的维度，但也存在一些任务需要在输入数据的部分维度上进行分割，比如3D到2D的分割，像光学相干断层扫描（OCT）中地理萎缩（GA）的分割就是在OCT投影上进行的。

近年来，针对这类任务提出了多种方法。例如，Li等人提出的图像投影网络（IPN），它通过编码器中的单向池化层将特征降低到目标维度，但采用固定大小的基于补丁的方法，无法直接应用于不同大小的完整3D体积，且没有跳跃连接，而跳跃连接已被证明对精确分割非常有用。后来，Lachinov等人提出了类似U - Net的卷积神经网络（CNN）用于3D到2D分割，克服了IPN的一些局限性，IPN的第二版（IPNv2）也有同样的改进，但这些方法仍需要大量的标记数据才能提供足够的性能。此外，Seeböck等人提出的ReSensNet，基于残差3D U - Net，由3D编码器和2D解码器通过3D到2D块连接，但它只适用于特定的输入分辨率，且是逐像素应用的。

一般来说，这些深度学习分割方法的性能在很大程度上取决于标注数据的数量，这阻碍了它们在实际医学图像分析中的应用。从ImageNet进行迁移学习是缓解这一问题的标准方法，但对于分割任务，ImageNet预训练的性能提升有限，部分原因是它只能在常见的编码器 - 解码器架构的编码器部分进行。一种可能的替代方法是使用自监督学习（SSL）范式对模型进行预训练，但只有部分方法适用于3D到2D分割，因为许多方法要求输入和输出图像具有相同的维度。多模态重建预训练（MMRP）在多模态场景中显示出很大潜力，但