EfficientSAM 代码推理

原创 已于 2024-03-19 09:03:08 修改 · 1.3k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #分割

于 2024-01-12 18:22:48 首次发布
本文介绍了EfficientSAM在3090GPU上的测试，使用ViT模型处理1072*603分辨率图像的prompt时，GPU推理大约需要41-58毫秒，占用约7GB显存。全图分割任务则耗时更长。
Wan2.2-I2V-A14B

Wan2.2-I2V-A14B

图生视频
Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型，是有​50亿参数的轻量级视频生成模型，专为快速内容创作优化。支持480P视频生成，具备优秀的时序连贯性和运动推理能力

SA网站主页：Segment Anything | Meta AI

论文主页：EfficientSAM

代码地址：https://github.com/yformer/EfficientSAM

官方给的推理代码是CPU版本的，如果想使用GPU推理需要自己修改一下

经过推理测试3090GPU，官方测试图片1072*603 使用框或者点prompts 使用vitt模型需要41-58ms左右，显存7G左右

使用全图分割耗时会更长

您可能感兴趣的与本文相关的镜像

Wan2.2-I2V-A14B

Wan2.2-I2V-A14B

图生视频
Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型，是有​50亿参数的轻量级视频生成模型，专为快速内容创作优化。支持480P视频生成，具备优秀的时序连贯性和运动推理能力

语义分割 SAM 部署与测试
廷益_飞鸟的博客
07-20 939
本地部署与复现
[华为诺亚实验室+中科大提出TinySAM | 比SAM小10倍，精度的超车！]
weixin_47869094的博客
12-28 1212
最近，Kirillov 引入了一个强大的分割 anything 模型（SAM），以及一个大规模的分割数据集 SA-1B，该数据集包含了 11 亿张图像上的超过 10 亿个Mask。具有任意形状和类别的目标的强大的分割能力，SAM 已成为许多下游任务的基础框架，如物体跟踪，图像修复 和 3D 视觉。一方面，对于完整的目标，过多的采样点可能会导致目标的某些不同部分被错误地分割为独立的Mask。然而，SAM 包含重的架构，需要大量的计算能力，这阻碍了 SAM 在计算受限的边缘设备上的进一步应用。
【亲测免费】 EfficientSAM 项目使用教程
gitblog_00036的博客
08-08 1234
EfficientSAM 项目的目录结构如下： ``` EfficientSAM/ ├── README.md ├── requirements.txt ├── models/ │ ├── efficientsam_s_gpu.jit │ └── efficientsam_ti_gpu.jit ├── weights/ │ └── ... ├── EfficientSAM_examp...
[segment-anything]使用onnxruntime部署sam模型，速度提高30倍！
热门推荐
m0_75272311的博客
04-22 1万+
使用onnxruntime部署segment-anything模型
高效图像分割利器：EfficientSAM完整使用指南
最新发布
gitblog_00999的博客
11-24 788
想要快速实现图像分割却苦于计算资源有限？EfficientSAM正是您需要的终极解决方案。这款基于掩码图像预训练的高效分割模型，能够在保持出色性能的同时大幅降低计算成本，让普通用户也能轻松上手。 ## 🚀 快速入门：5分钟上手EfficientSAM ### 环境准备与模型下载 首先从仓库获取项目代码： ```bash git clone https://gitcode.com/gh_mi
解决labelme中AI Model Ai Mask Ai Polygon选项下载onnx权重慢或者无法下载问题
weixin_44474255的博客
05-29 2066
如图，有5种模型，每个模型需要分别下载encoder和decoder两个部分的.onnx文件，下载连接分别贴在下面（建议挂上魔法上网，直接复制到浏览器即可启动下载）新版的labelme中已经内置了AI Model功能，能够通过模型智能识别图像中想要标注的区域，能够显著减少工作量。但是第一次使用这个功能的时候，会要下载模型权重，此时一般速度会非常慢，或者出现报错无法下载，下面提出一种解决方法。下载完成后，复制对应的网址，填入以下代码的url中，并运行代码。重新打开labelme即可使用AIModel功能。
【技术追踪】SAM（Segment Anything Model）代码解析与结构绘制之Prompt Encoder
风巽·剑染春水的博客
10-11 5464
SAM中Prompt Encoder的代码详细解析与结构绘制~
EfficientSAM
whaosoft143ai的博客
12-06 1464
特别地，为了构建用于分割任何任务的 efficient SAM 模型，我们采用 SAMI 预训练的轻量级编码器（如 ViT-Tiny 和 ViT-Small）作为图像编码器，并使用 SAM 的默认遮罩解码器作为我们的 EfficientSAM 的解码器，如图 2（底部）所示。在交叉注意力解码器中，查询来自遮罩标记，键和值则来自编码器中的未遮罩特征和遮罩特征。作者使用了一个名为SAMI的方法，通过将SAM图像编码器的特征作为重建目标，从SAM图像编码器中重建特征，从而实现遮罩图像预训练。whaosoft ai
efficientsam-pytorch基于point、box和segment everthing推理模型
qq_27815483的博客
06-16 1387
EfficientSAM基于point、box和segment everthing推理
精选资源
0778-极智开发-解读YOLOv6及示例代码
03-05
0778_极智开发_解读YOLOv6及示例代码
找15篇2024-2025年发表的顶刊论文，与深度学习图像相关的，要有完整的代码和训练步骤
08-07
论文附带了完整的训练和推理代码，并提供了详细的文档说明如何在自定义数据集上进行训练。 ### 3.5 Vision Transformers with Dynamic Attention NeurIPS-2024 上发表的《Vision Transformers with Dynamic ...
【深度学习】SAM(Segment-Anything)代码详解
千禧皓月的博客
03-13 1万+
当为true的时候会返回3个mask，对于模棱两可的prompt比如一个点，多输出可以比单单输出产生更高质量的Mask,如果只有一个mask是被需要的，可以通过quality score 来筛选mask,对于非模棱两可的输入，比如多个prompt，将multmask_output设置为false可以得到更好的结果return_logits。这个文件包含三层的封装,最外层是sam_model_registry，它提供了统一的接口，用来选择vit_h,vit_l,vit_b,默认使用vit_h。
高效采样器：EfficientSAM——面向AI模型训练的新一代优化工具
gitblog_00095的博客
03-25 606
在机器学习和深度学习领域，高效的模型训练是至关重要的。更快速、资源利用更优的训练方式可以帮助研究人员和开发者更快地迭代模型，节省时间和计算成本。是一个旨在提高样本效率和模型性能的开源项目，它将注意力转向了自适应采样策略。 ## 项目简介 EfficientSAM 是一种基于Samuel L. Smith提出的 SAM (Sharpness-Aware Minimization) 算法的改进版本...
EfficientSAM：轻量级的视觉基础分割模型【清晰明了！】
xiaoh_7的博客
03-20 3709
EfficientSAM 是一种轻量级视觉分割基础模型，在保证精度的同时，大幅降低了模型复杂度和内存成本。它采用了遮蔽图像预训练 (SAMI) 和优化轻量级 ViT 图像编码器等创新方法，在图像分类、对象检测、实例分割等多种任务上都取得了优异的成绩。
EfficientSAM | 借助MIM机制，MetaAI让SAM更高效！
聚焦底层视觉处理，对相关基础AI技术持续学习
02-27 557
本文介绍了一种名为EfficientSAM的模型，该模型通过利用遮罩图像预训练来提高图像分割的性能。作者使用了一个名为SAMI的方法，通过将SAM图像编码器的特征作为重建目标，从SAM图像编码器中重建特征，从而实现遮罩图像预训练。作者还使用SAMI预训练的轻量级图像编码器构建了EfficientSAM模型，并在SA-1B数据集上进行了验证。实验结果表明，EfficientSAM模型在图像分类、目标检测、实例分割和语义分割等任务中均取得了比其他预训练方法更好的性能。
论文解读：EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything(2024 CVPR满分论文)
weixin_50917576的博客
03-19 5257
虽然SAM模型是有益的，但其巨大的计算成本限制了其在实际应用中的广泛应用。为了解决这个限制，我们提出了efficientsam，这是一种轻量级的SAM模型，它表现出良好的性能，同时大大降低了复杂性。我们的想法是基于利用mask图像预训练SAMI，它学习从SAM图像编码器中重建特征，以实现有效的视觉表征学习。此外，我们采用sami预训练的轻量级图像编码器和掩码解码器来构建高效sams，并对SA-1B上的模型进行微调以进行分段任何任务。
EfficientSAM：基于有效掩模预训练的高效语义分割简介及新手指南
gitblog_07633的博客
09-13 482
**EfficientSAM** 是一个旨在提高语义分割效率的开源项目，它通过利用掩模预训练策略来实现对任何对象的高效分割。该库由Yunyang Xiong等来自Meta AI Research的研究者开发，并且遵循Apache-2.0许可协议。项目主要使用的编程语言是Python，特别是在深度学习框架如PyTorch上构建，允许开发者处理复杂的图像识别任务。 ## 新手注意事项及解决步骤 #...
【SAM轻量化】EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything
qq_40734883的博客
08-26 1565
文中提出了一种掩膜图像预训练方法SAMI，以探索在SAM基础模型的指导下ViTs的潜力。SAMI通过重建SAM图像编码器的潜在特征来改进掩膜图像预训练，将视觉基础模型的知识转移到ViTs中。在图像分类、目标检测和实例分割、语义分割以及分割任何任务上的广泛实验一致验证了SAMI的优势。SAMI有助于构建具有预训练轻量级编码器的有 效SAMs。
EfficientSAM: Leveraged Masked Image Pretraining for Efficient SegmentAnything
qq_51659249的博客
04-09 1286
Segment Anything Model（SAM）作为一种强大的工具，已被广泛应用于众多视觉任务。其中，一个关键的推动因素是其基于庞大的高质量SA-1B数据集训练出的超大型Transformer模型，该模型在零样本迁移和高度通用性方面表现出色。然而，。为了解决这一限制，我们提出了EfficientSAMs，这是一种我们的想法是基于利用掩码图像预训练（SAMI），它通过学习从SAM图像编码器中重建特征来实现有效的视觉表示学习。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值