论文阅读 MedSAM (Segment Anything in Medical Images)

论文阅读 MedSAM (Segment Anything in Medical Images)

发表于《Nature Communications》

---

论文地址：https://arxiv.org/abs/2304.12306

代码地址：https://github.com/bowang-lab/MedSAM

---

一、提出背景

1. 医学图像分割是临床实践中的关键组成部分，有助于准确诊断，治疗计划和疾病监测。然而，现有的方法，往往是针对特定的方式或疾病类型，缺乏通用的医学图像分割大模型。

2. 各种医学图像中的SAM进行了全面评估，这些SAM主要在具有明显边界的目标上实现了令人满意的分割结果。然而，模型对于弱边界或低对比度的典型医学目标时表现出很大的局限性。

二、本文创新

1. MedSAM通过在一个前所未有的大规模的医学图像数据集上微调SAM：

   （1）这篇论文通过微调SAM提出了医学图像领域的通用分割大模型MedSAM , MedSAM模型在大规模的医学图像数据集（CT、MR、X射线、超声等）上进行训练，包含1,570,263个图像-掩码对，涵盖了10种成像模态和30多种癌症类型。

   （2）考虑到存在3D和2D不同维度、不同格式的图像，作者更实际的方法是开发一个快速的2D分割模型。该模型可根据用户提供的提示轻松适应特定任务，从而提供更高的灵活性和适应性。它还能够通过将3D图像处理为一系列2D切片来处理2D和3D图像。

   （3）CT、MR、内窥镜、超声超声图像强度差异非常大，进行了强度归一化，确保了模型对所有图像的一致性和兼容性。

   （下图表示 MedSAM在能够处理各种分割任务的大规模数据集上训练。该数据集涵盖了各种解剖结构、病理状况、