【论文阅读笔记】Sam3d: Segment anything model in volumetric medical images[

Bui N T, Hoang D H, Tran M T, et al. Sam3d: Segment anything model in volumetric medical images[J]. arXiv preprint arXiv:2309.03493, 2023.【开源】

本文提出的SAM3D模型是针对三维体积医学图像分割的一种新方法。其核心在于将“分割任何事物”（SAM）模型的预训练编码器与一个轻量级的3D解码器相结合。与传统的逐层处理不同，SAM3D能够在整个体积上处理图像，更有效地捕捉切片间的深度关系，同时维持模型的简单性和计算效率。

主要特点包括：

1. 预训练的SAM编码器：该编码器在大规模数据集上预训练，能够提取出鲁棒的低级特征，如边缘和边界，这些在不同的图像域中都有相关性。

2. 去除了SAM中的prompts Encoder：因为解码器必须处理 3D 体积数据，所以不能使用 SAM 的掩模解码器，它是专门为 2D 自然图像设计的

3. 轻量级3D解码器：为了处理3D体积数据，SAM3D提出了一个适当的3D解码器。这个解码器由四个3D卷积块和一个分割头组成，通过跳跃连接实现，有助于在保持模型简单的同时提高分割性能。