在视觉场景中识别并分割任意物体的能力，是多模态人工智能的重要基础，可广泛应用于机器人、内容创作、增强现实、数据标注等领域。SAM（Segment Anything Model）是 Meta 于 2023 年 4 月发布的人工智能通用模型，提出了针对图像和视频的可提示分割任务，主要支持基于点、框或掩码的提示来分割单个目标。
已推出的 SAM、SAM 2 模型在图像分割领域取得了显著进展，但仍未实现在输入内容中自动寻找并分割某一概念的所有实例。为填补这一空白，Meta 推出最新迭代版本 SAM 3，新版本不仅显著超越了前代模型的可提示视觉分割（PVS）性能，更率先为可提示概念分割（PCS）任务确立了新标准。
SAM 3 在点击提示的视觉分割方面（左图）超越了 SAM 2 并引入了新的可提示概念分割功能（右图）
SAM 3 架构包含一个检测器（detector）与一个跟踪器（tracker），二者共享同一视觉编码器。 检测器基于 DETR 框架构建，能够接收文本、几何信息或示例图像作为条件输入。为应对开放词汇概念检测的挑战，研究人员引入了一个独立的「存在头（presence head）」，以此解耦识别与定位过程。
跟踪器则沿用了 SAM 2 的 Transformer 编码器-解码器架构，支持视频分割与交互式优化。这种检测与跟踪分离的设计，有效避免了两项任务之间的冲突：检测器需要保持身份无关性，而跟踪器的核心目标正是在视频中区分并维持不同对象的身份。
SAM 3 架构图
SAM 3 在基准测试 SA-Co 的图像和视频 PCS 任务上取得了 SOTA 结果，性能是前代系统的 2 倍，且在 H200 GPU 上，新版本处理包含超 100 个检测对象的单张图像仅需 30 毫秒。 模型还能扩展到 3D 重建领域，助力家装预览、创意视频编辑和科学研究等多场景应用，为计算机视觉的未来发展提供强大动力。
「SAM3：视觉分割模型」已上线 HyperAI 官网（hyper.ai）的教程版块，快来开启你的创作之旅吧！
教程链接：
查看论文：
https://hyper.ai/papers/2511.16719
Demo 运行
1.进入 hyper.ai 首页后，选择「SAM3：视觉分割模型」，或进入「教程」页面选择。进入点击「在线运行此教程」。
2.页面跳转后，点击右上角「Clone」，将该教程克隆至自己的容器中。
注：页面右上角支持切换语言，目前提供中文及英文两种语言，本教程文章以英文为例进行步骤展示。
3.选择「NVIDIA GeForce RTX 5090」以及「PyTorch」镜像，按照需求选择「Pay As You Go（按量付费）」或「Daily Plan/Weekly Plan/Monthly Plan（包日/周/月」，点击「Continue job execution（继续执行）」。
HyperAI 为新用户准备了注册福利，仅需 $1，即可获得 5 小时 RTX 5090 算力（原价 $2.45）， 资源永久有效。
4.等待分配资源，首次克隆需等待 3 分钟左右的时间。当状态变为「Running（运行中）」后，点击「API address」旁边的跳转箭头，即可跳转至 Demo 页面。
效果演示
Demo 运行页面提供 Image Segmentation、Video Text Prompting、Video Point/Box Prompting 三个功能，仅支持英文输入。本教程以 Video Text Prompting 为例。
将测试视频上传后，在「Text Prompt(s)」处输入需要识别分割的名词短语，依次点击「Apply Text Prompt(s)」「Propagate across video」以应用提示词，最后点击「Render MP4 for smooth playback」即可生成带有高亮识别目标的视频结果。
一起来看看笔者使用近期热映的《疯狂动物城2》的预告片段进行的测试👇
SAM 3_playback
以上就是 HyperAI超神经本期推荐的教程，欢迎大家前来体验！
教程链接：
460
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
