在线教程丨30毫秒处理100个检测对象，SAM 3实现可提示概念分割，性能提升2倍-优快云博客

在视觉场景中识别并分割任意物体的能力，是多模态人工智能的重要基础，可广泛应用于机器人、内容创作、增强现实、数据标注等领域。SAM（Segment Anything Model）是 Meta 于 2023 年 4 月发布的人工智能通用模型，提出了针对图像和视频的可提示分割任务，主要支持基于点、框或掩码的提示来分割单个目标。

已推出的 SAM、SAM 2 模型在图像分割领域取得了显著进展，但仍未实现在输入内容中自动寻找并分割某一概念的所有实例。为填补这一空白，Meta 推出最新迭代版本 SAM 3，新版本不仅显著超越了前代模型的可提示视觉分割（PVS）性能，更率先为可提示概念分割（PCS）任务确立了新标准。

在这里插入图片描述

SAM 3 在点击提示的视觉分割方面（左图）超越了 SAM 2 并引入了新的可提示概念分割功能（右图）

SAM 3 架构包含一个检测器（detector）与一个跟踪器（tracker），二者共享同一视觉编码器。 检测器基于 DETR 框架构建，能够接收文本、几何信息或示例图像作为条件输入。为应对开放词汇概念检测的挑战，研究人员引入了一个独立的「存在头（presence head）」，以此解耦识别与定位过程。

跟踪器则沿用了 SAM 2 的 Transformer 编码器-解码器架构，支持视频分割与交互式优化。这种检测与跟踪分离的设计，有效避免了两项任务之间的冲突：检测器需要保持身份无关性，而跟踪器的核心目标正是在视频中区分并维持不同对象的身份。

在这里插入图片描述

SAM 3 架构图

SAM 3 在基准测试 SA-Co 的图像和视频 PCS 任务上取得了 SOTA 结果，性能是前代系统的 2 倍，且在 H200 GPU 上，新版本处理包含超 100 个检测对象的单张图像仅需 30 毫秒。 模型还能扩展到 3D 重建领域，助力家装预览、创意视频编辑和科学研究等多场景应用，为计算机视觉的未来发展提供强大动力。

「SAM3：视觉分割模型」已上线 HyperAI 官网（hyper.ai）的教程版块，快来开启你的创作之旅吧！

教程链接：

https://go.hyper.ai/AbyCq

查看论文：

https://hyper.ai/papers/2511.16719

Demo 运行

1.进入 hyper.ai 首页后，选择「SAM3：视觉分割模型」，或进入「教程」页面选择。进入点击「在线运行此教程」。
在这里插入图片描述

2.页面跳转后，点击右上角「Clone」，将该教程克隆至自己的容器中。

注：页面右上角支持切换语言，目前提供中文及英文两种语言，本教程文章以英文为例进行步骤展示。

在这里插入图片描述

3.选择「NVIDIA GeForce RTX 5090」以及「PyTorch」镜像，按照需求选择「Pay As You Go（按量付费）」或「Daily Plan/Weekly Plan/Monthly Plan（包日/周/月」，点击「Continue job execution（继续执行）」。

HyperAI 为新用户准备了注册福利，仅需 $1，即可获得 5 小时 RTX 5090 算力（原价 $2.45）， 资源永久有效。
在这里插入图片描述

在这里插入图片描述

4.等待分配资源，首次克隆需等待 3 分钟左右的时间。当状态变为「Running（运行中）」后，点击「API address」旁边的跳转箭头，即可跳转至 Demo 页面。

在这里插入图片描述

效果演示

Demo 运行页面提供 Image Segmentation、Video Text Prompting、Video Point/Box Prompting 三个功能，仅支持英文输入。本教程以 Video Text Prompting 为例。

将测试视频上传后，在「Text Prompt(s)」处输入需要识别分割的名词短语，依次点击「Apply Text Prompt(s)」「Propagate across video」以应用提示词，最后点击「Render MP4 for smooth playback」即可生成带有高亮识别目标的视频结果。
在这里插入图片描述