仅用 60 行代码即可训练/微调 Segment Anything 2 (SAM 2)

最新推荐文章于 2025-04-25 16:45:27 发布
最新推荐文章于 2025-04-25 16:45:27 发布
阅读量922 收藏
点赞数
分类专栏： NVIDIA GPU和大语言模型开发教程 文章标签： 深度学习 llm sam2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iCloudEnd/article/details/141097230
版权

简介

SAM2（Segment Anything 2）是 Meta 推出的一款新模型，旨在分割图像中的任何内容，而不局限于特定的类别或领域。该模型的独特之处在于其训练数据规模：1100 万张图像和 110 亿个掩码。这种广泛的训练使 SAM2 成为训练新图像分割任务的强大起点。

您可能会问，如果 SAM 可以分割任何东西，为什么我们还需要重新训练它？答案是 SAM 非常擅长处理常见物体，但在罕见或特定领域的任务上表现不佳。
但是，即使在 SAM 给出的结果不足的情况下，仍然可以通过在新数据上对其进行微调来显著提高模型的能力。在许多情况下，这将比从头开始训练模型需要更少的训练数据并获得更好的结果。
本教程演示了如何在仅 60 行代码（不包括注释和导入）中对新数据上的 SAM2 进行微调。

推荐文件

了解本专栏 订阅专栏 解锁全文
使用 SAM2 模型检测卫星图像中的场边界 将 Segment Anything 模型版本 2 应用于卫星图像以检测和导出农业区田地边界的分步教程
iCloudEnd的博客
11-16 498
手动绘制田地边界是最耗时的任务之一，其准确性取决于执行人员的表现。然而，准确的边界检测在许多领域都有应用。例如，假设你想训练一种机器学习算法来分析卫星图像中的植被指数与农场作物产量之间的关系。你需要的第一个输入是农场的 Shapefile，通常必须手动绘制。绘制一个 Shapefile 可能只需要几分钟，但如果你需要为 1,000 个农场绘制边界怎么办？这时这个过程就会变得非常耗时，而自动提取边界的技术就变得非常有价值——节省了数小时的工作时间。
【Segment Anything Model】三：SAM模型微调自定义数据集，更改混合提示方式：点，框，点框混合
cvxiayixiao的博客
08-04 1万+
1.微调SAM预备知识。
【SAM2代码解析】training部分代码详解-训练流程
最新发布
weixin_43571113的博客
04-25 965
【代码】【SAM2代码解析】training部分代码详解-训练流程。
sam2训练/微调代码精读（dataset+transform部分）
2301_80010060的博客
01-14 1204
Sam2源码dataset，dataloader，transform部分逐行精读
60行代码就可以训练/微调 Segment Anything 2 (SAM 2)
热门推荐
deephub
08-15 1万+
本文演示了如何在仅60行代码内（不包括标注和导入）对SAM2进行微调。
Segment-anything学习到微调系列2_SAM细节理解和部分代码
qq_37795208的博客
07-29 2463
SAM初步理解，简单介绍模型框架，不涉及细节和代码SAM细节理解，对各模块结合代码进一步分析SAM微调实例，原始代码涉及隐私，此部分使用公开的VOC2007数据集，Point和Box作为提示进行mask decoder微调讲解此篇为第二部分，如果已看过第一部分的，可以跳过下文的模型总览中介绍输入输出和流程及最后的数据引擎part，和第一篇一致。本篇很多图和部分内容参考自【大模型系列】一文看懂SAM大模型。
SAM2训练自己的数据集
AIcurator的博客
01-04 2640
SAM2（Segment Anything Model 2）是由Meta公司开发的一款先进的图像和视频分割模型，它是Segment Anything Model（SAM）的升级版本。与第一代相比，SAM2在多个方面实现了显著的改进，包括：SAM2的一个重要进展是它的能力从图像分割扩展到了视频分割，能够处理视频中的对象，而不仅仅是静态图像。：SAM2能够实时处理任意长度的视频，这在实际应用中非常有用，尤其是在需要快速响应的场景中。
SAM2从头训练自己的数据集
weixin_44298961的博客
12-02 4901
说点废话1.准备数据集2.配置训练文件3.开始训练4.预测结果。
【项目学习】记录segment-anything、SAM及衍生自动标注工具使用
kk的博客
05-05 9632
记录segment-anything、SAM及衍生标注工具使用
【无标题】如何使Segment Anything Model (SAM)
2301_82152913的博客
10-31 1021
为了减轻耦合蒸馏的优化问题，可以采用半耦合蒸馏的方法，即在优化图像编码器时，使用一个复制并冻结的掩码解码器。去耦合蒸馏的mIoU为0.75，而耦合蒸馏的mIoU为0.72，且去耦合蒸馏的计算资源消耗不到耦合蒸馏的1%。：该问题的研究难点包括：如何在有限的训练资源下训练一个轻量级的SAM，以及如何解耦图像编码器和掩码解码器的优化，以提高训练效率和模型性能。：在有限的训练源下，直接按照原始SAM论文的方法训练新的SAM效果不佳，主要原因是图像编码器和掩码解码器的耦合优化问题。
使用 C++ 中的 TensorRT 实现 SAM
12-13
使用 C++ 中的 TensorRT 实现 SAM 名为SPEED-SAM-C++-TENSORRT 的项目是 Segment Anything Model (SAM) 的高性能实现，使用 NVIDIA 的 TensorRT 进行高效推理，并使用 CUDA 优化 GPU 利用率。
深度学习——SAM(Segment-Anything)代码详解
千禧皓月的博客
03-13 8854
当为true的时候会返回3个mask，对于模棱两可的prompt比如一个点，多输出可以比单单输出产生更高质量的Mask,如果只有一个mask是被需要的，可以通过quality score 来筛选mask,对于非模棱两可的输入，比如多个prompt，将multmask_output设置为false可以得到更好的结果return_logits。这个文件包含三层的封装,最外层是sam_model_registry，它提供了统一的接口，用来选择vit_h,vit_l,vit_b,默认使用vit_h。
利用SAM半自动标注--微调SAM2
weixin_45586769的博客
09-08 3709
SAM2（Segment Anything 2）是 Meta 推出的一款新模型，旨在对图像中的任何内容进行分割，而不局限于特定的类别或领域。该模型的独特之处在于其训练数据规模：1100 万张图像和 110 亿个掩码。这种广泛的训练使 SAM2 成为训练新图像分割任务的强大起点。但是在利用 ISAT 打标签的过程中发现 SAM2 对裂缝的检测精度很差，这时候就需要微调SAM，让它学习标注。即使在 SAM 给出的结果不足的情况下，仍然可以通过在新数据上对其进行微调来显着提高模型的能力。
SAM-Med2D 大模型学习笔记（续）：训练自己数据集
Henry的博客
08-08 4922
本文将使用训练自己的数据集关于SAM-Med2D大模型官方demo数据集的介绍上文已经介绍过，这里简单回顾下例如mask是【0 1 2 2 1】，mask模板有两个，分别是1对应的模板【0 255 0 0 255】，就是只分割前景1。以及只是分割2的模板【0 0 255 255 0】。mask的命名可以是image名字加上灰度，例如image_1.png和image_2.png两个json文件如下：训练数据就是单张image对应的一组mask标签字典测试集是mask对应的image。
复现2024年CVPR图像分割SED_Simple Encoder-Decoder_Seg，并使用自己的数据集进行训练
dsaa2的博客
06-29 871
SED_Simple Encoder-Decoder_Seg复现
SAM 2与SAM 1的对比及SAM 2的微调指南
u013818406的博客
10-11 3889
SAM 2的推出标志着图像和视频分割技术的又一大进步。通过对比SAM 2与SAM 1，我们可以看到SAM 2在功能性和技术细节上的显著提升。此外，通过微调SAM 2，我们可以进一步增强其在特定领域的分割能力，为各种应用场景提供更准确的分割结果。随着技术的不断发展，SAM 2无疑将成为图像和视频处理领域的重要工具。
图像万物分割——Segment Anything算法解析与模型推理
知来者逆的博客
12-05 9486
这个模型(SAM)训练完成之后，以使其具备"promptable"（可提示）的性质，因此意味着它可以零样本（zero-shot）地适应新的数据集和任务，而无需先对数据进行标注和训练。作者对该模型进行了广泛的评估，发现它在许多任务上的零样本表现通常与完全监督的性能相媲美，甚至更好。
SAM2分割模型微调指南
新缸中之脑
08-09 7213
SAM2（Segment Anything 2）是 Meta 推出的一款新模型，旨在对图像中的任何内容进行分割，而不局限于特定的类别或领域。该模型的独特之处在于其训练数据规模：1100 万张图像和 110 亿个掩码。这种广泛的训练使 SAM2 成为训练新图像分割任务的强大起点。你可能会问，如果 SAM 可以分割任何东西，为什么我们还需要重新训练它？答案是 SAM 在常见物体方面非常出色，但在罕见或特定领域的任务上表现不佳。
COD论文笔记SAM2-UNet: Segment Anything 2 Makes Strong Encoder for Natural and Medical Image Segmen
985小菜鸡
09-05 4975
引言部分概述了图像分割的重要性、现有基础模型的潜力及其局限性，并提出了本文的研究目标，即通过提出SAM2-UNet，构建一个强大、简单、且适用于多种任务的分割框架。引言也为接下来的模型设计和实验铺垫了理论基础。SAM2-UNet 通过将 SAM2 的 Hiera 预训练骨干网络与 U 形解码器相结合，构建了一个简单、高效、强大的图像分割框架。模型使用接收域块减少通道数，并通过适配器实现参数高效的微调。该方法在多种任务上展现了极强的通用性，能够适应不同类型的图像分割需求。
Segment Anything Model (SAM)摇杆分割
03-17
### 使用 Segment Anything Model (SAM) 实现摇杆图像的语义分割 #### SAM 的核心功能概述 Segment Anything Model (SAM) 是一种强大的通用分割模型，其设计目标是实现“一切的分割”，即它可以处理任意类型的对象并对其进行精确分割[^1]。相比于传统的语义分割方法仅关注预定义的对象类别，或者实例分割专注于区分不同实例，SAM 提供了一种更灵活的方式来进行分割。 当应用于摇杆图像时，SAM 不需要事先知道摇杆的具体形状或类别即可完成分割任务。这得益于它的提示机制（prompt-based mechanism），允许用户通过简单输入（如点、边界框或其他形式的提示）引导模型聚焦于感兴趣的区域。 --- #### 数据准备与环境搭建 为了使用 SAM 进行摇杆图像的语义分割，需先准备好必要的数据和工具： 1. **安装依赖库** 需要安装 PyTorch 和 SAM 官方提供的 Python 库 `segment_anything`。以下是安装命令： ```bash pip install torch torchvision pip install git+https://github.com/facebookresearch/segment-anything.git ``` 2. **下载模型权重文件** 下载官方发布的 SAM 模型权重文件（例如 `sam_vit_h_4b8939.pth` 或其他变体）。可以从 Facebook AI Research 的 GitHub 页面获取这些资源。 3. **加载模型** 加载 SAM 模型及其配置参数可以通过以下代码片段实现： ```python from segment_anything import sam_model_registry, SamPredictor model_type = "vit_h" # 可选：vit_b, vit_l, vit_h checkpoint_path = "path/to/sam_vit_h_4b8939.pth" device = "cuda" if torch.cuda.is_available() else "cpu" sam = sam_model_registry[model_type](checkpoint=checkpoint_path).to(device) predictor = SamPredictor(sam) ``` --- #### 输入提示与预测过程 对于摇杆图像的分割任务，可以采用如下方式设置提示并向 SAM 提供输入信息： 1. **读取图像** 将待分割的摇杆图像加载到内存中，并传递给 SAM 的预测器。 ```python image = cv2.imread("joystick_image.jpg") image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) predictor.set_image(image) ``` 2. **指定提示类型** 用户可以根据需求选择不同的提示模式，比如单击感兴趣区域内的某个位置作为点提示，或者绘制一个粗略包围摇杆的矩形框作为边界框提示。下面分别展示两种常见情况下的代码示例： - **基于点提示** 如果已知摇杆的大致中心位置，则可以直接向模型提供该点坐标。 ```python input_point = np.array([[x_center, y_center]]) # 替换为实际像素坐标 input_label = np.array([1]) # 表示此点属于前景 masks, scores, logits = predictor.predict( point_coords=input_point, point_labels=input_label, multimask_output=False ) ``` - **基于边界框提示** 当希望限定搜索范围至某一特定区域内时，可利用边界框代替点提示。 ```python bbox = np.array([xmin, ymin, xmax, ymax]) # 替换为真实值 mask, _, _ = predictor.predict(box=bbox, multimask_output=False) ``` 3. **可视化结果** 得到掩码后，可通过叠加显示原始图片与分割后的效果以便验证准确性。 ```python plt.figure(figsize=(10,10)) plt.imshow(image) show_mask(masks[0], plt.gca(), random_color=True) show_points(input_point, input_label, plt.gca()) plt.axis('off') plt.show() ``` 上述过程中提到的功能函数（如 `show_mask`, `show_points` 等辅助绘图工具）通常由开发者自行编写或参考官方文档中的实现版本。 --- #### 结果优化建议 尽管 SAM 已具备较强的泛化能力，但在某些复杂场景下仍可能遇到挑战。此时可以考虑调整以下几个方面来提升性能表现： - 增加更多样化的提示组合； - 对低质量输出重新运行迭代改进流程； - 利用额外训练样本微调基础网络结构以适应具体领域特性。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

知识大胖

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值