【论文阅读笔记】Segment Anything Model for Medical Image Segmentation: Current Applications and Future Direc

最新推荐文章于 2024-11-28 17:34:15 发布
原创 最新推荐文章于 2024-11-28 17:34:15 发布 · 1.8k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记

复旦大学，2024.1.7 arxiv

相关论文更新仓库

【文章概述】

本文是关于医学图像分割的"Segment Anything Model" (SAM) 的综述。它详细讨论了SAM的发展、在医学成像中的应用，以及面对自然图像与医学图像之间差异时的挑战。文章还探讨了SAM在不同成像方式中的应用和方法上的调整。综述强调了提升SAM在医学图像分析性能方面的持续努力，展示了其在未来临床应用中的潜力。同时，文中还讨论了大规模医学数据集对发展基础模型的重要性以及改善医学图像标注的策略。总的来说，文章反映了在使用SAM进行医学图像分割领域的显著进步和未来发展方向。

【2.背景】

2.1. Foundation Models

第2.1节讨论了人工智能中的基础模型概念。这些模型是大规模、通用性的，设计用于语言和视觉领域的任务。它们通过在大量数据上的训练，发展出可跨领域转移的通用能力。该部分强调了像GPT系列在自然语言处理中的影响，以及它们对计算机视觉领域类似模型开发的启发。这些模型在各种任务中的成功引起了广泛的兴趣和适应，包括医学图像分析。本节还探讨了这些模型在医学成像中的潜力，特别是在医学图像分割应用和面临的挑战。

2.2. Segment Anything Model

第2.2节详细介绍了医学图像分割的"Segment Anything Model"（SAM）。SAM是一个基于大规模SA-1B数据集训练的模型，拥有显著的零样本泛化能力。它采用基于变换器的架构，包括一个基于Vision Transformer（ViT）的图像编码器、一个集成不同提示模式的提示编码器和一个轻量级的掩膜解码器。这些组件协同工作，实现图像嵌入和提示嵌入的融合，以预测分割掩膜。SAM的训练使用混合几何提示，并通过专业标注者的交互式标注和自动阶段的伪掩膜标注来进行。尽管SAM在自然图像上表现出色，但其在医学图像分割上的适用性还有待考验

最低0.47元/天 解锁文章
Segment anything in medical images
爱CV
06-18 542
通过在广泛的任务中提供准确、高效的分割，MedSAM 在加速诊断工具的发展和治疗计划的个性化方面具有巨大的潜力。在两种不同的数据集大小上训练了MedSAM：10000 (10K) 和 100,000 (100K) 图像，并将它们的性能与默认的 MedSAM 模型进行了比较。：从多个来源（如TCIA、Kaggle、Grand-Challenge等）整合了医学图像分割数据集，这些数据集都包含了由人类专家提供的分割注释，确保了数据的质量和准确性。：在图像和掩模的调整过程中，根据需求选择了不同的插值方法。
MedSAM: Segment Anything in Medical Images
NJU phd 在读。
05-05 3410
SAM 是一种在自然图像分割方面取得成功的模型，但在医学图像分割方面表现不佳。MedSAM 首次尝试将 SAM 的成功扩展到医学图像，并成为用于分割各种医学图像的通用工具。为了开发 MedSAM，首先需要一个大型医学图像数据集，其中包括来自 11 种不同模态的超过 20 万个 Mask。该数据集用于训练和微调 MedSAM 模型。最重要的是，提供了一种简单的微调方法，使 SAM 适应一般的医学图像分割。通过对 21 项三维分割任务和 9 项二维分割任务进行综合实验，对 MedSAM 的性能进行了评估。
Segment Anything Model (SAM) 在医疗图像上应用
weixin_43904073的博客
04-13 1083
【代码】Segment Anything Model (SAM) 在医疗图像上应用。
【论文阅读笔记】Customized Segment Anything Model for Medical Image Segmentation
qq_46056318的博客
04-07 2335
医学图像分割的自定义分割模型2023年 arXivPaperCode本文提出SAMed，医学图像分割的一般解决方案。与以往的方法不同，SAMed基于大规模图像分割模型Segment Anything Model（SAM），探索了定制大规模医学图像分割模型的新研究范式。SAMed将基于低秩（LoRA）的微调策略应用于SAM图像编码器，并将其与提示编码器和掩码解码器一起在标记的医学图像分割数据集上进行微调。本文还观察到预热微调策略和AdamW优化器导致SAMed成功收敛和降低损耗。
【SAM综述】医学图像分割的分割一切模型：当前应用和未来方向
热门推荐
风巽·剑染春水的博客
02-27 1万+
鉴于prompt的灵活性，foundation models已成为自然语言处理和计算机视觉领域中的主导力量。最近SAM的兴起，使得prompt-driven范式在图像分割领域显著发展，进而引入了大量以前未开发的功能。但医学图像与自然图像还是存在较大差异，SAM应用于医学图像的可行性尚未可知。在本文中，作者进行了全面综述，介绍医学图像分割任务中SAM的有效性，包括基线测试和方法调整，还探索了SAM在医学图像分割中的潜在研究方向。
分割大模型论文阅读——Medical SAM Adapter Adapting Segment Anything Model for Medical Image Segmentation
Philo的博客
05-20 803
Segment Anything Model (SAM) 最近在图像分割领域广受欢迎，因为它在各种分割任务中具有令人印象深刻的功能及其基于提示的界面。然而，最近的研究和个别实验表明，由于缺乏医学专业知识，SAM 在医学图像分割方面表现不佳。这就提出了如何增强 SAM 对医学图像的分割能力的问题。在本文中，我们没有对 SAM 模型进行微调，而是提出了医学 SAM 适配器 (Med-SA)，它使用轻量而有效的适应技术将特定领域的医学知识融入到分割模型中。
MSA【1】：Segment Anything Model for Medical Image Analysis: an Experimental Study
BUPTer
07-17 1163
本文主要介绍了 Segment Anything Model 在自然图像分割领域取得显著成就后，较早的将 SAM 在医学图像领域做评测的工作。是一个在超过 10 亿个注释（主要是自然图像）上训练的基础模型，旨在以交互方式分割用户定义的感兴趣对象。尽管该模型在自然图像上的表现令人印象深刻，但目前尚不清楚该模型在转向医学图像领域时会受到怎样的影响。本文对SAM分割医学图像的能力进行了广泛的评估，评估对象包括来自不同模式和解剖学的 11 个医学影像数据集。研究表明，SAM。
论文学习1：SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmentation
qq_63318216的博客
11-28 2585
图像分割在视觉理解中起着重要作用。近年来，新兴的视觉基础模型在各种任务中持续取得了优异的表现。基于这一成功的经验，在本文，我们可以证明Segment Anything Model 2（SAM2）可以成为应用于U形分割模型的一个功能强大的编码器。我们提出了一个简单但有效的框架，称其为SAM2-UNet，用于实现多功能图像分割。具体来说，此框架采用基于SAM2预训练的Hiera骨干网络作为编码器，而解码器则使用经典的U形设计。此外，我们在编码器中插入适配器，以实现高效的参数微调。
笔记：Multi-scale guided attention for medical image segmentation
m0_46272163的博客
07-19 1195
Multi-scale guided attention for medical image segmentation（医学图像分割的多尺度自导向注意） 特征融合策略：金字塔池化，空洞卷积金字塔 尽管这些策略可能有助于在不同尺度上捕获对象，但所有图像区域的上下文依赖都是同构的、非自适应的，忽略了不同类别的局部表示和上下文依赖之间的差异。 这些多上下文表示是手工设计的，缺乏对多上下文表示建模的灵活性。这使得在这些方法中无法充分利用整个图像中的长距离对象关系，这在许多医学图像分割问题中具有至关重要的意义
Segment Anything in Medical Images
weixin_41749533的博客
10-07 1015
这些资料来源包括https://www.cancerimagingarchive.net/的癌症成像档案（TCIA），https://www.kaggle.com/的Kaggle，https://grand-challenge.org/challenges/的大挑战，https://www.nature.com/sdata/的科学数据，https://codalab.lisn的CodaLab。实验结果表明，MedSAM的性能始终优于最先进的（SOTA）分割基础模型，同时达到与专业模型相同，甚至超过的性能。
论文阅读 MedSAM (Segment Anything in Medical Images)
qq_45025290的博客
11-03 2619
论文阅读 MedSAM (Segment Anything in Medical Images)
SCI 1区论文：Segment anything in medical images（MedSAM）[文献阅读]
Tina姐的博客
02-08 2702
医学图像分割是临床实践中的一个关键组成部分，有助于准确诊断、治疗计划和疾病监测。然而，现有的方法通常针对特定的模式或疾病类型，在各种医学图像分割任务中缺乏可推广性。在这里，我们介绍了MedSAM，这是一个基础模型，旨在通过实现通用医学图像分割来弥合这一差距。该模型是在大型医学图像数据集上开发的，有1570263对图像-掩码对，涵盖10种成像模式和30多种癌症类型。我们对86个内部验证任务和60个外部验证任务进行了全面评估，证明了比模态专家模型更好的准确性和稳健性。
Segment Anything in Medical Images翻译
weixin_45811478的博客
05-16 1234
分隔任何模型（SAM）已经彻底改变了自然图像分割，但其在医学图像上的性能是有限的。这项工作提出了MedSAM，这是第一次尝试将SAM的成功扩展到医学图像，其目标是创建一个通用的工具，用于分割各种医疗目标。具体来说，我们首先策划了一个大规模的医学图像数据集，包括跨越11种不同模式的超过20万种掩码。然后，我们开发了一种简单的微调方法，使SAM适应于一般的医学图像分割。
CVPR 2024: SEGMENT ANYTHING IN MEDICAL IMAGES ON LAPTOP
价值知识传播者
02-09 2251
具体而言，挑战任务是开发一种基于轻量级边界框的分割模型，我们提供了一个包含1,000,000多个图像-掩模对的大规模训练数据集，涵盖了10种医学图像模态和20多种癌症类型。我们设想这个挑战将推动通用医学图像分割模型的方法论发展，具有广泛适用性，并促进用户友好的互动，使先进的分割工具更容易被更广泛范围的医疗服务提供者所采用。（2）一个健全性测试视频记录（下载示例：待定）请在验证案例上测试您的Docker并记录预测过程。（1）您的Docker容器的下载链接（团队名称.tar.gz文件大小 < 5GB）。
nature论文Segment anything in medical images
价值知识传播者
02-09 785
四个示例分别是计算机断层扫描（CT）中的肝癌，脑癌，乳腺癌和息肉，（磁共振成像）MRI，超声和内窥镜图像。四个示例分别是淋巴结，宫颈癌，胎头和息肉，CT，MR，超声和内窥镜图像。然而，现有的方法通常针对特定的成像模态或疾病类型，缺乏在医学图像分割任务的多样光谱中的泛化能力。该模型是在一个包含1,570,263个图像-掩膜对的大规模医学图像数据集上开发的，涵盖了10种成像模态和30多种癌症类型。通过在广泛的任务范围内提供准确且高效的分割，MedSAM具有加速诊断工具演进和个性化治疗计划的巨大潜力。
将 Segment Anything 扩展到医学图像领域
机器学习社区
05-06 2352
SAM 是一种在自然图像分割方面取得成功的模型，但在医学图像分割方面表现不佳。MedSAM 首次尝试将 SAM 的成功扩展到医学图像，并成为用于分割各种医学图像的通用工具。为了开发 MedSAM，首先需要一个大型医学图像数据集，其中包括来自 11 种不同模态的超过 20 万个 Mask。该数据集用于训练和微调 MedSAM 模型。最重要的是，提供了一种简单的微调方法，使 SAM 适应一般的医学图像分割。通过对 21 项三维分割任务和 9 项二维分割任务进行综合实验，对 MedSAM 的性能进行了评估。
将Segment Anything扩展到医学图像领域
小白学视觉
05-06 1808
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达MedSAM: Segment Anything in Medical Images目录前言SAM 拆解分析从医学角度理解 SAM 的效用MedSAM实验总结参考前言SAM 是一种在自然图像分割方面取得成功的模型，但在医学图像分割方面表现不佳。MedSAM 首次尝试将 SAM 的成功扩展到医学图像，并成为用于分割各种医学图像的通...
MedSAM通用医学分割基础模型（2023+Segment Anything in Medical Images）
weixin_39699362的博客
08-01 5524
MedSAM，这是为通用医学图像分割设计的首个基础模型。利用包含超过一百万张图像的精心策划的数据集的力量，MedSAM不仅优于现有的最先进的分割基础模型，而且表现出与专业模型相当甚至更好的性能。此外，MedSAM能够精确提取用于肿瘤负荷量化的基本生物标志物。
Customized segment anything model for medical image segmentation.
最新发布
01-03
### 定制化用于医学图像分割的Segment Anything模型 对于医学图像分割而言，定制化的Segment Anything (SAM) 模型能够提供更精确的结果。为了实现这一目标，通常需要对原始模型进行调整以适应特定的数据集和应用场景。 #### 数据预处理 医学影像数据具有独特的特点，如高分辨率、多模态以及标注稀缺等问题。因此，在训练之前需对数据进行适当预处理[^1]： - **标准化**：由于不同设备采集到的图片可能存在亮度差异，故而要先做灰度值归一化； - **裁剪与填充**：考虑到实际应用中的视野范围有限，可依据临床需求选取感兴趣区域(ROI)，并对其进行统一大小规整； ```python import numpy as np from skimage import exposure, transform def preprocess_image(image): """Preprocess a single image.""" # Normalize intensity values to [0, 1] normalized = exposure.rescale_intensity(image.astype(float), out_range=(0., 1.)) # Resize the image while preserving aspect ratio resized = transform.resize(normalized, output_shape=[256, 256], mode='reflect') return resized ``` #### 模型微调 基于现有的Segment Anything架构，通过迁移学习的方式可以快速构建起针对医疗领域的新版本网络结构。具体操作如下所示: - 对编码器部分保持冻结状态不变，仅更新解码端各层连接权值； - 增加额外辅助损失函数项促进边界平滑性和连通性约束； ```python import torch.nn.functional as F from segment_anything import sam_model_registry model_type = "vit_b" device = 'cuda' if torch.cuda.is_available() else 'cpu' sam_checkpoint = "./checkpoints/sam_vit_b_01ec64.pth" # Load pre-trained SAM model model = sam_model_registry[model_type](checkpoint=sam_checkpoint).to(device) for param in model.image_encoder.parameters(): param.requires_grad_(False) ``` #### 后处理优化 完成预测之后还需要进一步精炼输出结果的质量，比如去除孤立噪点、填补孔洞等后处理手段有助于提升最终呈现效果。常用方法有形态学运算、条件随机场(CRFs)建模等技术。 ```python from scipy.ndimage.morphology import binary_fill_holes from skimage.measure import label, regionprops def post_process_mask(mask): """Post-processes mask by filling holes and removing small objects""" filled = binary_fill_holes(mask>0.5) labeled = label(filled) regions = regionprops(labeled) cleaned = np.zeros_like(filled,dtype=np.uint8) for r in regions: if r.area >= min_area_threshold: coords = tuple(map(tuple,r.coords.T)) cleaned[coords]=1 return cleaned ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值