【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型

【论文阅读】医学SAM适配器：适应医学图像分割的任意分割模型

Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

由于SAM在各种分割任务中的出色能力和基于提示的界面，SAM模型最近在图像分割领域获得了广泛的应用

  

我们提出了医学SAM适配器（Med-SA），而不是对SAM模型进行微调，该适配器使用轻而有效的自适应技术将特定领域的医学知识整合到分割模型中

Med-SA中，我们提出了空间深度转置（SD-Trans）来使2D SAM适应3D医学图像

超提示适配器（hyper - prompt Adapter）来实现提示条件适应

  

17种医学图像分割任务进行了综合评价实验

Med-SA优于几种最先进的（SOTA）医学图像分割方法，同时仅更新2%的参数

  

一、介绍

分割任意模型（SAM）作为一种强大而通用的视觉分割模型获得了极大的关注

它可以根据用户提示生成各种详细的分段掩码

认为它在医学图像分割上的表现欠佳。使医学图像分割具有交互性，例如采用SAM等技术，具有巨大的临床价值

交互式分割可以极大地帮助临床医生有效地从这些复杂的结构中区分目标组织

  

采用像SAM这样的基础交互模型进行临床应用变得至关重要

  

解决这个问题的最先进（SOTA）方法是完全微调香草SAM模型，

  

专门针对医疗数据（Ma和Wang 2023）

预训练的视觉模型对医学图像具有很强的可移植性
  

试图以最小的努力使训练良好的SAM适应医学图像分割

选择使用一种称为自适应的参数有效微调（PEFT）技术对预训练的SAM进行微调
  

Adaption的主要思想是将带有部分参数的Adapter模块插入到原始模型中，只更新少量额外的Adapter参数

自然图像不同，许多