【Segment Anything Model】六：SAM的输入输出，如何将输入图片转为向量，如何将输出概率转化为结果，如何根据SAM做多类别分割

最新推荐文章于 2025-02-27 15:13:57 发布
最新推荐文章于 2025-02-27 15:13:57 发布
阅读量2k 收藏 18
点赞数 17
分类专栏： seg模型 文章标签： seg SAM CV 多类别分割
不能转载
本文链接：https://blog.youkuaiyun.com/cvxiayixiao/article/details/132914419
版权
本文详细解析了Segment Anything Model (SAM)的工作原理，包括如何将输入图片和提示转换为向量，如何从输出概率中获取分割结果，以及如何利用SAM进行多类别分割。SAM模型由提示编码器、图像编码器和掩码解码器组成，通过交互式的方式提高分割效率，适用于多种领域的图像处理任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

添加博主cv夏一笑微信，带你进步： cvxiayixiao
点击订阅专栏查看专栏列表和对应知识点，本文为seg SAM系列文章，在持续更新。
在这里插入图片描述

文章目录

1️⃣ SAM输入

🥬 SAM的提示编码器和图像编码器的输入，如何将输入图片和提示转为向量

他的模型架构由三部分组成：
1提示编码器
2图像编码器
3提示解码器。

如下的代码是具体调用过程，先由图像编码器进行静态编码，保存编码结果，之后输入提示，由提示编码器进行编码，最后图像编码和提示编码作为解码器的输入得到结果，进行训练

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Segment Anything Model】九：利用SAM做分类任务，方法一，直接修改源码输出
cvxiayixiao的博客
10-24 2536
编码器（Encoder）：它接受输入序列并将其编码为固定大小的向量。解码器（Decoder）：它接受编码器的输出向量并将其解码为目标序列。对于分类任务，我们通常不需要解码器。分类任务的目标是为输入数据分配一个或多个类标签，而不是生成一个序列。因此，编码器可以被用作特征提取器，将输入数据转换为一个固定大小的向量，然后这个向量可以被用作全连接层的输入以执行分类。但是，我们这里将SAM的解码器做分类主要是两个原因。
【Segment Anything Model】七：SAM做多类别分割，医疗语义分割
cvxiayixiao的博客
09-30 4178
1️⃣预备知识🍉 博主微信🍓 【Segment Anything Model】计算机视觉检测分割任务专栏。🍑 【公开数据集预处理】特别是医疗公开数据集的接受和预处理，提供代码讲解。🍈 【opencv+图像处理】opencv代码库讲解，结合图像处理知识，不仅仅是调库。
SAM(分割一切)：从SAM、FastSAM、Grounded SAM到SAM2、SAMURAI——从分割图像到分割视频
结构之法 算法之道
07-02 1万+
SAM就是一类处理图像分割任务的通用模型。与以往只能处理某种特定类型图片的图像分割模型不同，SAM可以处理所有类型的图像。在SAM出现前，基本上所有的图像分割模型都是专有模型。比如，在医学领域，有专门分割核磁图像的人工智能模型，也有专门分割CT影像的人工智能模型。但这些模型往往只在分割专有领域内的图像时，才具有良好性能，而在分割其他领域的图像时往往性能不佳。
CV大模型Segment Anything Model (SAM)——分割一切，具有预测提示输入的图像分割实践...
datayx的文章
04-12 1374
向AI转型的程序员都关注了这个号????????????不得不说，最近的AI技术圈很火热，前面的风头大都是chatGPT的，自从前提Meta发布了可以分割一切的CV大模型之后，CV圈也热起来了。好恐怖的增长速度，昨天写博客的时候也不到6k，今天一早已经翻一倍，估计随着这波宣传推广后，会迎来更加恐怖的增长，说明大家对他还是满怀期待的。今天主要是下载了官方的源码，想要自己实践使用一下预测提示输入这样的效果。在官方的介绍...
论文解读：Segment Anything
a486259的博客
06-10 4248
Segment Anything 将研究目光聚焦于基础模型，将应用领域无限推广，意图实现zero-shot或few-shot泛化（参考NL计算）。SAM是一个项目体系，而非某个网络模型。其核心是对数据的利用，对模型输入输出格式的调整。其网络模型均依赖VIT模型，其结构体系为提示分割模型（与普通语义分割模型多了提示这一层）。SAM参考NLP，认为其具备强大的下游泛化能力是因为提示输入，其认为分割任务的提示输入为点、推荐框、mask和文本（对于文本输入的理解使用CLIP编码器），通过给定提示输入来明确分割对象。
【大模型系列】一文看懂SAM大模型
kabuto_hui的博客
03-23 2万+
参考资料：SAM模型大致上分成3个模块，一个标准的vit构成的image encoder、一个prompt encoder和一个mask decoder。其中：从结构上看，sam的encoder部分就是堆叠transformer的block结构，最后再跟一个neck，调整输出embedding的维度。Meta开源了三个模型，分别是vit_h, vit_l和vit_b，这三个模型的区别仅仅在于内部patch embedding维度、transformer的block的个数以及每个block中head的数量和全
SAM（分割一切模型）的简单调用
m0_62252120的博客
12-23 4871
个人近期学习总结~
Segment Anything Model（SAM）
mingo_敏
06-25 8887
SAM，即Segment Anything，它借助了NLP任务中的Prompt思路，通过给图像分割任务提供一下Prompt提示来完成任意目标的快速分割。提示可以是前景/背景点集、粗略的框或遮罩、任意形式的文本或者任何指示图像中需要进行分割的信息。该任务的输入是原始的图像和一些提示语，输出是图片中不同目标的掩码信息。
【Segment Anything Model】一：SAM分割任何事物模型官网使用介绍
cvxiayixiao的博客
04-07 5049
简介Segment Anything Model
【Segment Anything Model】二：论文+代码实战调用SAM模型预训练权重+相关论文
cvxiayixiao的博客
04-22 1万+
上一篇已经全局初步介绍了segment anything model和其功能，本篇作为进阶使用。代码实战案例，同时介绍了二创论文。
图像分割之SAM（Segment Anything Model）
年轻即出发，
05-11 1万+
该模型有别于传统的分割模型。传统分割模型只能输入原图输出固定的分割结果，SAM在设计上可以同时输入原图和特定提示（点、框、阴影、文本），然后根据不同的提示输出不同的分割结果图，并且SAM支持不同提示的交互式分割。SA-1B覆盖了更广泛的图片区间，比第二大分割数据集多了11倍的图片400倍的mask。随着提示点的数量的增加，SAM的分割效果越来越高，随着提示点从1到9的增加，SAM方法和其他分割方法之间的gap越来越小。在论文的交互式分割任务中，有的提示信息，比如点的提示，存在模棱两可的情况。
Meta AI最新出品，全能的分割模型SAM：掀桌子的Segment Anything，CV届的ChatGPT已经到来！
yumaomi的博客
04-06 7481
2023年4月5号，Meta AI 发布了通用的分割网络SAM。原文题目只有两个词《Segment Anything》。SAM有望成为，或是已经成为CV领域的ChatGPT。
SAM(segment anything model)分割一切 Demo测试及API调用
热门推荐
Alexa_的博客
04-20 2万+
Meta发布一种新的语义分割模型，Segment Anything Model (SAM)。仅仅3天时间该项目在Github就收获了1.8万个star,火爆程度可见一斑。有人甚至称之为CV领域的GPT时刻。SAM都做了什么让大家如此感兴趣？- SAM与传统单纯的语义分割方式不同，加入了Prompt机制，可以将文字、坐标点、坐标框等作为辅助信息优化分割结果，这一方面增加了交互的灵活性，另一方面这也是解决图像分割中尺度问题的一次有益尝试。- 当在识别要分割的对象时遇到不确定性，SAM 能够生成多个有效掩码。
立体注意力机制（SAM）详解及代码复现
最新发布
hasakie的博客
02-27 1870
立体注意力机制（Stereo Attention Mechanism, SAM）是一种在计算机视觉领域中广泛应用的先进技术，旨在模拟人类视觉系统的选择性注意力机制。它通过动态地聚焦于图像或点云数据中的关键区域，有效提高了模型对复杂场景的理解和处理能力。
深度学习——SAM(Segment-Anything)代码详解
千禧皓月的博客
03-13 8945
当为true的时候会返回3个mask，对于模棱两可的prompt比如一个点，多输出可以比单单输出产生更高质量的Mask,如果只有一个mask是被需要的，可以通过quality score 来筛选mask,对于非模棱两可的输入，比如多个prompt，将multmask_output设置为false可以得到更好的结果return_logits。这个文件包含三层的封装,最外层是sam_model_registry，它提供了统一的接口，用来选择vit_h,vit_l,vit_b,默认使用vit_h。
语义分割——SAM 模型环境配置和使用教程
Re.Gin的博客
11-13 6417
本文主要介绍如何将 SAM 模型部署到本地，并使用 SAM 模型进行图像分割
文献阅读笔记：SAM大模型（Segment Anything）
weixin_45409613的博客
03-17 1万+
本周学习了SAM大模型，该大模型用于图像分割的新任务、模型和数据集。该模型的设计和训练具有快速性，因此它可以将零样本转移到新的图像分布和任务。通过评估SAM在众多任务上的能力，该大模型的零样本性能与之前完全监督的结果相媲美甚至优于之前的结果。本文将详细介绍SAM模型。作者在这篇文献中介绍了SAM大模型：该大模型用于图像分割的新任务、模型和数据集。作者构建了迄今为止最大的分割数据集，在 1100 万张许可且尊重隐私的图像上包含超过 10 亿个mask。该模型的设计和训练具有快速性，因此它可以将零样本。
【图像分割】【深度学习】SAM官方Pytorch代码-Prompt encoder模块ProEnco网络解析
yangyu0515的博客
04-27 8122
【图像分割】【深度学习】SAM官方Pytorch代码-Prompt encoder模块ProEnco网络解析
关于Segment Anything（SAM）模型和其医学应用
Wzxdecsdn的博客
10-09 1548
本文介绍了 Segment Anything Model (SAM)，一个面向图像分割的新模型。SAM 利用包含 10 亿遮罩的超大数据集，通过稀疏提示（点、框、文本）和密集提示（mask）实现强大的零样本迁移能力。模型由视觉编码器、提示编码器和遮罩解码器组成，能在多个任务中达到或超越传统监督方法。本文还探讨了 SAM 在医学图像分割中的应用，如 CT、MRI 和 H&E 染色切片图像等。
LIO-SAM输出SCDS
02-12
### LIO-SAM 输出 SCDs 的解释 LIO-SAM (LiDAR-Inertial Odometry with Smoothing and Mapping) 是一种融合激光雷达和惯性测量单元(IMU)数据的算法，旨在提供高精度的姿态估计和建图功能。在这一过程中，生成的关键帧扫描上下文描述符(SCDs, Scan Context Descriptors)[^1]对于后续的地图构建和定位至关重要。 #### 关键帧扫描上下文描述符（SCDs） SCDs是从关键帧点云中提取出来的特征表示形式，能够有效地捕捉环境的独特几何结构。具体来说： - **环形直方图**：通过将水平方向上的距离投影到一系列离散区间内形成直方图来表征局部环境形状。 - **柱状体模型**：垂直维度上采用类似的方法，但考虑到地面效应等因素的影响，在高度范围内划分多个层并统计每层内的回波密度分布情况。 这种双维组合方式使得即使是在动态场景下也能保持较高的匹配鲁棒性和计算效率[^2]。 ```python def generate_scd(point_cloud_data): horizontal_histogram = compute_horizontal_histogram(point_cloud_data) vertical_profile = compute_vertical_profile(point_cloud_data) scd_descriptor = combine_features(horizontal_histogram, vertical_profile) return scd_descriptor ``` #### 常见问题及解决方案 当使用LIO-SAM输出SCDs时可能会遇到一些挑战： - **重复模式识别错误**：如果环境中存在大量相似外观区域，则可能导致误配对现象发生。可以通过引入更多类型的传感器信息(如RGB-D图像)，或者增加额外约束条件来进行改进。 - **内存消耗过高**：随着采集时间增长而累积起来的大规模历史数据集会对存储资源造成压力。对此建议定期执行降采样操作，并仅保留最具代表性的样本作为参考依据。 - **实时性能不足**：复杂环境下快速变化的目标物体会给系统带来较大负担。优化算法内部逻辑分支判断机制，减少不必要的冗余运算有助于提升响应速度。
评论 20
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cv夏一笑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值