复旦大学,2024.1.7 arxiv
【文章概述】
本文是关于医学图像分割的"Segment Anything Model" (SAM) 的综述。它详细讨论了SAM的发展、在医学成像中的应用,以及面对自然图像与医学图像之间差异时的挑战。文章还探讨了SAM在不同成像方式中的应用和方法上的调整。综述强调了提升SAM在医学图像分析性能方面的持续努力,展示了其在未来临床应用中的潜力。同时,文中还讨论了大规模医学数据集对发展基础模型的重要性以及改善医学图像标注的策略。总的来说,文章反映了在使用SAM进行医学图像分割领域的显著进步和未来发展方向。
【2.背景】
2.1. Foundation Models
第2.1节讨论了人工智能中的基础模型概念。这些模型是大规模、通用性的,设计用于语言和视觉领域的任务。它们通过在大量数据上的训练,发展出可跨领域转移的通用能力。该部分强调了像GPT系列在自然语言处理中的影响,以及它们对计算机视觉领域类似模型开发的启发。这些模型在各种任务中的成功引起了广泛的兴趣和适应,包括医学图像分析。本节还探讨了这些模型在医学成像中的潜力,特别是在医学图像分割应用和面临的挑战。
2.2. Segment Anything Model
第2.2节详细介绍了医学图像分割的"Segment Anything Model"(SAM)。SAM是一个基于大规模SA-1B数据集训练的模型,拥有显著的零样本泛化能力。它采用基于变换器的架构,包括一个基于Vision Transformer(ViT)的图像编码器、一个集成不同提示模式的提