SAM3: SegmentAnythingwithConcepts

Abstract

We present Segment Anything Model (SAM) 3, a uni ed model that detects, segments, and tracks objects in images and videos based on concept prompts, which we de ne as either short noun phrases (e.g., “yellow school bus”), image exemplars, or a combination of both. Promptable Concept Segmentation (PCS) takes such prompts and returns segmentation masks and unique identities for all matching object instances. To advance PCS, we build a scalable data engine that produces a high-quality dataset with 4M unique concept labels, including hard negatives, across images and videos. Our model consists of an image-level detector and a memory-based video tracker that share a single backbone. Recognition and localization are decoupled with a presence head, which boosts detection accuracy. SAM 3 doubles the accuracy of existing systems in both image and video PCS, and improves previous SAM capabilities on visual segmentation tasks. We open source SAM 3 along with our new Segment Anything with Concepts (SA-Co) benchmark for promptable concept segmentation.

【翻译】我们提出了 Segment Anything Model (SAM) 3，这是一个统一的模型，能够根据概念提示（Concept Prompts）在图像和视频中检测、分割和跟踪对象。我们将概念提示定义为短名词短语（例如“黄色校车”）、图像范例，或者两者的组合。可提示概念分割（Promptable Concept Segmentation, PCS）接收此类提示，并为所有匹配的对象实例返回分割掩码（Masks）和唯一身份标识。为了推进 PCS 的发展，我们构建了一个可扩展的数据引擎，

【解析】SAM 系列从纯粹的几何分割向语义理解迈出了关键的一步，核心突破在于引入了“概念提示”（Concept Prompts），这使得模型不再仅仅依据点或框等空间指示，而是能通过文本短语或参考图像来理解并定位特定的语义对象，作者为此定义了一个全新的任务——可提示概念分割（PCS），要求模型同时具备跨模态的理解能力和视频中的持续跟踪能力。为了实现这一跨越，文中强调了两个关键的技术支撑：在数据层面，构建了一个庞大的数据引擎并特别强调了“困难负样本”的重要性，这意味着模型经过了高强度的判别训练，能够精准区分极其相似的干扰项（如区分“狼”和“哈士奇”）而非仅仅识别明显的错误；在架构层面，模型采用了图像检测与视频跟踪共享主干的设计以保证效率，更重要的是创新性地利用“存在头”将识别（判断物体是否出现）与定位（画出物体轮廓）解耦，这种设计深刻地解决了传统检测中容易出现的“定位准但分类错”的固有矛盾。最终，这一系列改进使得 SAM 3 在精度上实现了对现有系统的翻倍超越，并伴随新的基准测试集（SA-Co）开源，意在为该领域确立新的技术标准。

1 Introduction

The ability to nd and segment anything in a visual scene is foundational for multimodal AI, powering
applications in robotics, content creation, augmented reality, data annotation, and broader sciences. The SAM series (Kirillov et al., 2023; Ravi et al., 2024) introduced the promptable segmentation task for images and videos, focusing on Promptable Visual Segmentation (PVS) with points, boxes or masks to segment a single object per prompt. While these methods achieved a breakthrough, they did not address the general task of finding and segmenting all instances of a concept appearing anywhere in the input (e.g., all “cats” in a video).

【翻译】在视觉场景中发现并分割任何物体的能力是多模态人工智能的基石，它为机器人技术、内容创作、增强现实、数据标注以及更广泛的科学领域提供了动力。此前的 SAM 系列（Kirillov 等人, 2023; Ravi 等人, 2024）引入了针对图像和视频的可提示分割任务，重点关注使用点、边界框或掩码的可提示视觉分割（PVS），即每个提示仅分割单个目标对象。尽管这些方法取得了突破性进展，但它们并未解决在输入的任意位置查找并分割某个概念的所有实例（例如视频中所有的“猫”）这一通用任务，这成为了现有技术的局限。

【解析】首先在宏观层面确立了“分割一切”技术在多模态AI应用中的基础设施地位，随后通过回顾SAM系列的发展历程，精准地界定了现有技术（SAM 1和SAM 2）的能力边界与核心痛点。作者将之前的技术定义为“可提示视觉分割（PVS）”，指出其本质是基于空间几何线索（如点或框）的被动式交互，这种交互模式不仅依赖用户提供精确的位置指引，而且局限于“一个提示对应一个物体”的低效映射，这意味着模型并不理解它分割的是什么，只是机械地提取纹理边缘。这段话的隐含逻辑在于揭示PVS的局限性：它无法完成“从语义到视觉”的逆向检索，即无法响应“找出所有猫”这类基于抽象概念的指令，这种从“被动接收位置坐标”到“主动理解语义概念并进行全局搜索（1对多匹配）”的跨越，正是本文试图解决的核心科学问题，也为后文引出SAM 3的概念分割能力埋下了逻辑伏笔。

【翻译】图 1：SAM 3 在使用点击操作的可提示视觉分割（左侧）上相比 SAM 2 实现了改进，并且引入了全新的可提示概念分割能力（右侧）。用户可以通过短名词短语、图像范例（正样本或负样本），或者两者的组合来指定视觉概念，从而分割出所有匹配该概念的对象实例。
【解析】这张图直观地展示了 SAM 3 带来的范式转变，即从左侧传统的“基于几何位置的单体分割”跨越到右侧全新的“基于语义概念的群体检索”。左侧代表了 SAM 1 和 SAM 2 的能力边界，用户必须通过点击具体的点来告诉模型“在哪里”分割，模型本质上是在执行被动的纹理补全，且一次交互通常只针对一个目标；而右侧则展示了 SAM 3 的认知飞跃，它允许用户通过文本（如“条纹猫”）或视觉范例（如细胞的截图）告诉模型“找什么”，模型随即将被动响应转变为主动的全图搜索，能够同时定位并分割出符合该概念的所有实例。图中关于“圆形细胞（a round cell）”的示例尤为关键，它展示了多模态混合提示的高级用法——用户不仅提供了文本，还提供了正样本（绿色框）和负样本（粉色框）的图像块，这意味着 SAM 3 具备极强的少样本学习（Few-shot Learning）和细粒度纠错能力，能够理解“只要圆形的，不要长条形”这种细微的判别逻辑，并在视频序列中（如袋鼠和安全帽的例子）保持这种语义理解的时序一致性，实现了从单纯的“视觉分割工具”向“智能视觉理解引擎”的进化。

【翻译】图 2：在 SA-Co 基准测试上，SAM 3 相比 OWLv2 (Minderer 等人, 2024) 在改进开放词汇概念分割方面的示例。更多 SAM 3 的输出结果见 §F.6.1。图中展示了针对“一朵白花”、“幼苗”、“擦手巾”、“阿迪朗达克椅”、“粗棉布（干酪包布）”、“吊坠耳环”、“划艇”、“滤锅”和“卷纸架”等不同概念的分割对比，第一行为原始图像，第二行为 SAM 3 的结果，第三行为 OWLv2 的结果。
【解析】这幅图直观地展示了 SAM 3 在处理“开放词汇（Open-vocabulary）”分割任务上相对于强基线模型 OWLv2 的显著优势，尤其是在面对具有挑战性的长尾概念和细粒度属性时。图中的对比案例经过精心挑选，涵盖了自然物体（如“幼苗”、“白花”）、特定材质（如“粗棉布”）、特定款式（如“阿迪朗达克椅”、“吊坠耳环”）以及艺术绘画风格（如“划艇”），旨在证明 SAM 3 并非简单地记忆常见类别，而是真正理解了语言描述中的语义细节。通过观察可以发现，在“幼苗”和“白花”等密集小目标场景中，SAM 3 展现了极高的召回率，能精准分离每一个细小个体，而 OWLv2 往往出现漏检或区域粘连；在“粗棉布”这种非典型物体（材质概念）上，SAM 3 准确完整地覆盖了整个布料区域，体现了其对非刚性物体和纹理概念极强的理解力；此外，对于“划艇”这一抽象水彩画风格的处理，说明 SAM 3 具备强大的跨域泛化能力，能从非真实感图像中准确提取语义对象。整体而言，这张图旨在通过无可辩驳的视觉证据强化读者的信心：SAM 3 的“概念分割”能力已经超越了当前的主流检测模型，能够精准响应从常见名词到具体属性描述的广泛语义指令，且分割边缘更加精细贴合。

To fill this gap, we present SAM 3, a model that achieves a step change in promptable segmentation in images and videos, improving PVS relative to SAM 2 and setting a new standard for Promptable Concept Segmentation (PCS). We formalize the PCS task (§2) as taking text and/or image exemplars as input, and predicting instance and semantic masks for every single object matching the concept, while preserving object identities across video frames (see Fig. 1). To focus on recognizing atomic visual concepts, we constrain text to simple noun phrases (NPs) such as “red apple” or “striped cat”. While SAM 3 is not designed for long referring expressions or queries requiring reasoning, we show that it can be straightforwardly combined with a Multimodal Large Language Model (MLLM) to handle more complex language prompts. Consistent with previous SAM versions, SAM 3 is fully interactive, allowing users to resolve ambiguities by adding re nement prompts to guide the model towards their intended output.

【翻译】为了填补这一空白，我们提出了 SAM 3，该模型在图像和视频的可提示分割方面实现了阶跃式提升，不仅相比 SAM 2 改进了可提示视觉分割（PVS），还为可提示概念分割（PCS）树立了新标准。我们在第2节中将 PCS 任务形式化定义为：接收文本和/或图像范例作为输入，并为每一个匹配该概念的物体预测实例掩码和语义掩码，同时在视频帧之间保持对象的身份一致性（见图1）。为了专注于识别原子视觉概念，我们将文本输入限制为简单的名词短语（NPs），如“红苹果”或“条纹猫”。虽然 SAM 3 并非为处理长指代性表达或需要推理的查询而设计，但我们证明了它可以直接与多模态大语言模型（MLLM）结合，以处理更复杂的语言提示。与之前的 SAM 版本一致，SAM 3 是完全交互式的，允许用户通过添加修正提示来消除歧义，从而引导模型输出符合预期的结果。

【解析】这段内容紧承上文，正式提出了 SAM 3 的定位，即它不仅弥补了前代模型在概念检索上的缺失，同时在原有的视觉分割（PVS）能力上也超越了 SAM 2，从而确立了其在“可提示概念分割（PCS）”这一新任务上的标杆地位。作者在此处非常严谨地界定了 PCS 任务的边界与内核：它不再是单点交互，而是基于文本或图像范例的“全量检索”，要求模型同时输出语义掩码（是什么）、实例区分（是哪一个）以及视频中的身份保持（跟踪），这极大地提升了任务的维度。值得注意的是，作者刻意将文本输入限制为“简单的名词短语”这一“原子视觉概念”，明确表示 SAM 3 不负责复杂的逻辑推理或长句理解，这体现了一种极其务实的“模块化”设计哲学——将复杂的语言推理交给更擅长的多模态大模型（MLLM），而 SAM 3 专注于极致的视觉落地，这种组合策略既保证了模型在基础视觉任务上的纯粹性和高效性，又通过保留经典的“人机交互修正”机制，确保了在面对模糊语义时用户依然拥有最终的控制权，从而构建了一个既强大又灵活的视觉基础模型。

Our model (§3) consists of a detector and a tracker that share a vision encoder (Bolya et al., 2025). The
detector is a DETR-based (Carion et al., 2020) model conditioned on text, geometry, and image exemplars. To address the challenge of open-vocabulary concept detection, we introduce a separate presence head to decouple recognition and localization, which is especially e ective when training with challenging negative phrases. The tracker inherits the SAM 2 transformer encoder-decoder architecture, supporting video segmentation and interactive re nement. The decoupled design for detection and tracking avoids task con ict, as the detector needs to be identity agnostic, while the tracker’s main objective is to separate identities in the video.

【翻译】我们的模型（第3节）由共享同一个视觉编码器（Bolya 等人, 2025）的检测器和跟踪器组成。检测器是一个基于 DETR（Carion 等人, 2020）架构的模型，它以文本、几何信息和图像范例为条件进行输入。为了应对开放词汇概念检测的挑战，我们引入了一个独立的“存在头（presence head）”来将识别任务与定位任务解耦，这种设计在利用具有挑战性的负面短语进行训练时显得尤为有效。跟踪器则继承了 SAM 2 的 Transformer 编解码器架构，支持视频分割和交互式修正。这种检测与跟踪的解耦设计避免了任务冲突，因为检测器需要保持“身份不可知（identity agnostic）”（即关注类别而非个体），而跟踪器的主要目标则是在视频中区分不同的身份实例。

【解析】这段核心架构描述揭示了 SAM 3 如何在“通用性”和“特异性”之间寻找平衡，其设计哲学在于通过“共享底层、拆分顶层”来兼顾效率与精度。模型采用了典型的“双头”策略——检测器和跟踪器共享同一个视觉编码器以大幅降低计算成本，但在功能逻辑上进行了严格的拆分以避免任务冲突。其中，检测器部分采用了基于 Transformer 的 DETR 架构，并创新性地引入了“存在头（presence head）”，这是一个针对开放世界检测痛点的关键改进：传统模型往往容易产生“幻觉”，即在物体不存在时依然强行预测边界框，而“存在头”强制模型先独立判断概念是否“存在”（识别），再决定是否进行像素级“定位”，这种解耦机制在面对高难度的负样本（如区分外观极相似的物体）时能显著降低误检率。另一方面，跟踪器直接继承了 SAM 2 经过验证的成熟架构来处理时序一致性。作者深刻地指出了这种解耦设计的必要性：检测器本质上是“身份不可知（Identity Agnostic）”的，它只关心类别共性（找到所有的“车”），而跟踪器必须是“身份敏感”的，它必须区分个体差异（区分“这辆车”和“那辆车”），这种将“找类别”与“追个体”在逻辑层面彻底分离的设计，巧妙地化解了两者在特征特征学习方向上的潜在矛盾，确保了模型既能进行广泛的语义检索，又能实现精确的个体跟踪。

To unlock major performance gains, we build a human- and model-in-the-loop data engine (§4) that annotates a large and diverse training dataset. We innovate upon prior data engines in three key ways: (i) media curation: we curate more diverse media domains than past approaches that rely on homogeneous web sources, (ii) label curation: we signi cantly increase label diversity and di culty by leveraging an ontology and multimodal LLMs as “AI annotators” to generate noun phrases and hard negatives, (iii) label veri cation: we double annotation throughput by ne-tuning MLLMs to be e ective “AI veri ers” that achieve near-human accuracy.

【翻译】为了解锁显著的性能提升，我们构建了一个人机回环（human- and model-in-the-loop）数据引擎（第4节），用于标注大规模且多样化的训练数据集。我们在三个关键方面对现有的数据引擎进行了创新：(i) 媒体策展：相比过去依赖同质化网络来源的方法，我们策划了更多样化的媒体领域；(ii) 标签策展：我们利用本体论和多模态大语言模型（MLLM）作为“AI 标注员”来生成名词短语和困难负样本，从而显著增加了标签的多样性和难度；(iii) 标签验证：我们通过微调 MLLM 使其成为高效的“AI 验证员”，达到了接近人类的准确率，从而将标注吞吐量翻倍。

【解析】这段文字深刻揭示了 SAM 3 性能飞跃的幕后推手并非仅仅是模型架构的优化，而是源于一种工业级的、以数据为中心（Data-centric）的开发范式，作者构建的这个“人机回环”数据引擎试图从根本上解决深度学习中高质量标注数据稀缺的瓶颈。其创新逻辑层层递进：首先在源头上打破了传统大规模数据集过度依赖网络爬虫导致的“同质化诅咒”，引入了更多样化的媒体领域；其次在内容生成上，极具前瞻性地将多模态大模型（MLLM）转化为生产力工具，利用其作为“AI 标注员”系统性地构造“困难负样本”，这种策略迫使模型跳出简单的特征匹配，去学习更细微的语义边界（比如区分“狗”和“狼”）；最后在质量控制环节，通过微调 MLLM 充当“AI 验证员”来替代昂贵且低效的人工审核，以接近人类的准确率实现了标注效率的翻倍。这种“用 AI 制造 AI”的递归式数据生产策略，不仅极大地降低了边际成本，更重要的是通过引入具有挑战性的负样本和严格的验证机制，确保了数据的高信噪比，从而为模型在复杂场景下的鲁棒性奠定了物理基础。

Starting from noisy media-phrase-mask pseudo-labels, our data engine checks mask quality and exhaustivity using both human and AI veri ers, ltering out correctly labeled examples and identifying challenging error cases. Human annotators then focus on xing these errors by manually correcting masks. This enables us to annotate high-quality training data with 4M unique phrases and 52M masks, and a synthetic dataset with 38M phrases and 1.4B masks. We additionally create the Segment Anything with Concepts (SA-Co) benchmark for PCS (§5) containing 207K unique concepts with exhaustive masks in 120K images and 1.7K videos, > 50× more concepts than existing benchmarks.

【翻译】从包含噪声的“媒体-短语-掩码”伪标签开始，我们的数据引擎使用人类和 AI 验证员来检查掩码的质量和详尽性，过滤掉标记正确的样本，并识别出具有挑战性的错误案例。随后，人类标注员专注于通过手动修正掩码来修复这些错误。这种机制使我们能够标注出包含 400 万个唯一短语和 5200 万个掩码的高质量训练数据，以及包含 3800 万个短语和 14 亿个掩码的合成数据集。此外，我们还为 PCS（第5节）创建了“概念分割一切（SA-Co）”基准测试，其中包含 12 万张图像和 1700 个视频中的 20.7 万个具有详尽掩码的唯一概念，其概念数量是现有基准的 50 多倍。

【解析】这段内容详细阐述了数据引擎的具体运作流程，其核心在于采用了一种“基于异常管理”的高效标注策略，即不再让人类标注员从事从零开始的低效劳动，而是让他们专注于修正机器和初步验证筛选出的“错误案例”和“困难样本”。这种将人类智慧集中在“边角案例（Corner Cases）”上的做法，配合 AI 验证员的自动化筛选，极大释放了生产力，从而构建了包含数十亿级掩码的惊人数据规模（其中合成数据高达 14 亿），为训练具有强泛化能力的大模型奠定了基石。与此同时，作者推出的 SA-Co 基准测试集在概念数量上实现了对现有标准的 50 倍碾压，这不仅展示了其数据的广度，更隐含了作者重塑行业评估标准的野心——即现有的数据集已不足以衡量下一代模型在开放世界中处理海量长尾概念的能力，只有通过这种数量级和多样性的飞跃，才能真实评估“可提示概念分割”的上限。

Our experiments (§6) show that SAM 3 sets a new state-of-the-art in promptable segmentation, e.g., reaching a zero-shot mask AP of 48.8 on LVIS vs. the current best of 38.5, surpassing baselines on our new SA Co benchmark by at least 2× (see examples in Fig. 2), and improving upon SAM 2 on visual prompts.
Ablations (§A) verify that the choice of backbone, novel presence head, and adding hard negatives all boost
results, and establish scaling laws on the PCS task for both our high-quality and synthetic datasets. We
open-source the SA-Co benchmark and release the SAM 3 checkpoints and inference code. On an H200 GPU, SAM 3 runs in 30 ms for a single image with 100+ detected objects. In video, the inference latency scales with the number of objects, sustaining near real-time performance for ∼ 5 concurrent objects. We review related work in §7; next, we dive into the task.

【翻译】我们的实验（第6节）表明，SAM 3 在可提示分割领域确立了新的最先进水平（SOTA），例如，在 LVIS 数据集上达到了 48.8 的零样本掩码 AP（平均精度），而当前最佳仅为 38.5；在我们新的 SA-Co 基准测试中，其表现超越基线模型至少 2 倍（见图 2 示例），同时也提升了 SAM 2 在视觉提示任务上的能力。消融实验（附录A）证实，主干网络的选择、新颖的“存在头”以及加入困难负样本都显著提升了结果，并针对我们的高质量和合成数据集确立了 PCS 任务的缩放定律（Scaling Laws）。我们开源了 SA-Co 基准测试，并发布了 SAM 3 的模型权重和推理代码。在 H200 GPU 上，SAM 3 处理包含 100 多个检测对象的单张图像仅需 30 毫秒。在视频任务中，推理延迟随对象数量增加而变化，对于约 5 个并发对象可维持近实时的性能。我们在第7节回顾相关工作；接下来，我们将深入探讨任务细节。

【解析】这段结论性摘要通过具体的量化指标强有力地验证了前文所述架构与数据策略的有效性，其核心亮点在于确立了“统治级”的性能优势与工程落地的可行性。作者展示了惊人的性能飞跃——在通用的 LVIS 数据集上实现了超过 10 个点的零样本精度提升，而在专门针对概念理解的 SA-Co 基准上更是实现了性能翻倍，这不仅证明了 SAM 3 在理解语义概念上的质变，也反向印证了其在传统视觉提示任务上依然保持着对 SAM 2 的迭代优势。文中特别提到的“缩放定律（Scaling Laws）”是一个极具深意的信号，它暗示了该模型架构具有极强的可扩展性，随着数据量（特别是合成数据）和算力的增加，性能仍有上升空间，未触及天花板。在工程实现方面，作者坦诚地给出了硬件基准（H200 GPU），虽然图像处理速度极快（30ms），但也揭示了视频跟踪的一个计算瓶颈——即延迟与对象数量呈线性相关，这意味着虽然模型能处理复杂场景，但在实时应用（如自动驾驶或实时监控）中对并发对象数量仍有限制。最后，开源策略不仅是为了学术透明，更是为了快速抢占生态位，让 SAM 3 成为继 SAM 之后的又一视觉基础模型标准。

【翻译】图 3：PCS 任务中支持的初始提示和可选交互式修正提示的示意图。流程从左至右：首先是初始提示，用户输入文本“一条鱼”和/或框选正样本范例（绿色框）；接着模型输出所有检测到的实例掩码（在视频中为短掩码序列）；如果结果不精准，用户可以提供修正提示，即添加一个或多个正样本（绿色）或负样本（红色）范例来进行纠正；最后模型根据反馈生成修正后的输出，更新每个检测实例的掩码，剔除错误对象。
【解析】这段内容非常清晰地展示了 SAM 3 作为一个交互式系统的核心工作流，其价值在于将“单向检索”转变为“双向对话”。流程展示了模型如何处理从模糊到精确的认知过程：最初，用户给出的“鱼”这一概念（无论是通过文本还是单张图片）是宽泛的，导致模型召回了画面中所有类型的鱼（包括黄色条纹鱼和黑色鱼），这虽然符合“鱼”的定义，但可能不是用户想要的子集。关键的突破在于“修正提示（Refinement Prompts）”阶段，用户无需绞尽脑汁去修改复杂的文字描述（例如将“鱼”改为“黄黑相间的条纹热带鱼”），而是直接利用直观的视觉反馈——框选一个不想要的黑色鱼作为“负样本（Negative Exemplar）”。模型随即理解了“同类中的差异”，排除了黑色鱼，仅保留了用户真正感兴趣的黄色条纹鱼。这揭示了 PCS 任务的本质：它不仅仅是一个分割工具，更是一个能通过少样本学习（Few-shot Learning）实时对齐人类意图的智能筛选器，特别适用于那些难以用语言精确描述、但极易通过视觉正负样本来界定的细粒度场景。

2 PromptableConceptSegmentation(PCS)

We de ne the Promptable Concept Segmentation task as follows: given an image or short video (≤30 secs), detect, segment and track all instances of a visual concept speci ed by a short text phrase, image exemplars, or a combination of both. We restrict concepts to those de ned by simple noun phrases (NPs) consisting of a noun and optional modi ers. Noun-phrase prompts (when provided) are global to all frames of the image/video, while image exemplars can be provided on individual frames as positive or negative bounding boxes to iteratively re ne the target masks (see Fig. 3).

【翻译】我们将可提示概念分割（PCS）任务定义如下：给定一张图像或短视频（≤30秒），检测、分割并跟踪由短文本短语、图像范例或两者结合所指定的视觉概念的所有实例。我们将概念严格限制为由简单名词短语（NPs）定义的范畴，即包含一个名词和可选的修饰语。名词短语提示（当提供时）对图像或视频的所有帧具有全局有效性，而图像范例则可以在单个帧上以正向或负向边界框的形式提供，用于迭代地微调和优化目标掩码（见图3）。

【解析】这段正文正式确立了 PCS 任务的边界与操作规范，其核心在于将抽象的“概念”具体化为模型可执行的视觉指令。作者首先设定了明确的时空限制（30秒以内的视频），这暗示了当前模型在显存开销与长时记忆机制上的工程权衡，但在功能维度上要求模型实现从检测、分割到跟踪的全流程闭环，这比单纯的单帧分割要复杂得多。最为关键的定义在于对文本输入的约束，作者刻意将“概念”限制为“简单名词短语（NP）”（即“名词+修饰语”结构，如“破损的红砖”），这不仅仅是语法上的简化，更是一种深层的设计哲学：它将复杂的逻辑推理（如“正在吃饭的人”）剥离出去，让 SAM 3 专注于作为底层的“视觉实体提取器”，而非通用的语言推理机。与此同时，文中定义的混合提示机制揭示了独特的交互逻辑——文本提示作为“全局先验”确定整个视频或图像的大方向（找什么类别），而图像范例（正/负样本框）则作为“局部修正”处理具体帧中的歧义、遮挡或错检，这种“全局文本定义 + 局部视觉微调”的组合策略，完美模拟了人类“先说大类，再指细节”的认知习惯，为高精度的交互式分割提供了标准范式。

All prompts must be consistent in their category de nition, or the model’s behavior is unde ned; e.g., “ sh”
cannot be re ned with subsequent exemplar prompts of just the tail; instead the text prompt should be updated. Exemplar prompts are particularly useful when the model initially misses some instances, or when
the concept is rare.

【翻译】所有提示必须在其类别定义上保持一致，否则模型的行为将是未定义的；例如，对于文本提示“鱼”，不能使用仅包含鱼尾的后续范例提示来进行细化修正，这种情况下应当更新文本提示。当模型最初遗漏了某些实例，或者当目标概念较为罕见时，范例提示显得尤为有用。

【解析】这段话实际上是在强调人机交互中的“语义对齐原则”，作者明确指出了模型的一个关键约束：文本提示和视觉范例必须处于同一个语义层级。虽然 SAM 3 宣称能分割“任何东西”，但它要求用户输入的指令逻辑必须自洽，如果文本定义的是整体（如“鱼”），而视觉范例给的是局部（如“鱼尾”），这种“部分-整体”的语义错位会导致模型内部的特征匹配混乱，从而产生不可预测的结果。这暗示了 SAM 3 的内部机制是将图像区域映射到特定的语义空间，而非简单的像素纹理聚类，因此作者建议用户在需要分割特定部位时，必须修改文本描述（如改为“鱼尾”）来显式对齐语义。此外，文中指出的范例提示的两个主要应用场景——“补漏”和“定义罕见概念”，进一步揭示了多模态交互的互补性：当预训练的语言模型无法覆盖某些长尾概念（如特定生物样本），或者因视觉特征不明显导致漏检时，视觉范例就成为了纠正模型认知偏差的关键手段，充当了引导模型关注特定特征的“显式锚点”。

Our vocabulary includes any simple noun phrase groundable in a visual scene, which makes the task intrinsically ambiguous. There can be multiple interpretations of phrases arising from polysemy (“mouse” device vs. animal), subjective descriptors (“cozy”, “large”), vague or context-dependent phrases that may not even be groundable (“brand identity”), boundary ambiguity (whether ’mirror’ includes the frame) and factors such as occlusion and blur that obscure the extent of the object. While similar issues appear in large closed-vocabulary corpora (e.g., LVIS (Gupta et al., 2019)), they are alleviated by carefully curating the vocabulary and setting a clear de nition of all the classes of interest. We address the ambiguity problem by collecting test annotations from three experts, adapting the evaluation protocol to allow multiple valid interpretations (§E.3), designing the data pipeline/guidelines to minimize ambiguity in annotation, and an ambiguity module in the model (§C.2).

【翻译】我们的词汇表包含了任何可以在视觉场景中对应（groundable）的简单名词短语，这使得该任务本质上具有歧义性。这种歧义源于多种因素：一词多义（如“mouse”是指鼠标还是老鼠）、主观描述符（如“舒适的”、“巨大的”）、模糊或依赖上下文甚至无法具体落地的短语（如“品牌形象”）、边界歧义（例如“镜子”是否包含镜框），以及诸如遮挡和模糊等导致物体范围不明确的视觉因素。虽然大型封闭词汇语料库（例如 LVIS (Gupta et al., 2019)）中也存在类似问题，但它们通常通过精心策划词汇表并为所有感兴趣的类别设定明确定义来缓解这一问题。为了解决这一固有的歧义问题，我们采取了多管齐下的策略：收集三位专家的测试标注以获取共识，调整评估协议以允许存在多种合理解释（参见§E.3），设计严格的数据流水线和准则以尽量减少标注过程中的歧义，并在模型架构中专门引入一个歧义模块（参见§C.2）。

【解析】这段内容深刻探讨了从“封闭集检测”向“开放世界概念分割”跨越时所面临的认识论挑战——即语言本身的模糊性。作者首先直面了开放词汇任务的核心痛点：当我们不再像传统数据集（如 LVIS）那样预先“立法”规定什么是“椅子”或“车”时，模型必须处理语言的多义性（Polysemy）、主观性（Subjectivity）和语义边界的不确定性（Boundary Ambiguity），这意味着在开放世界中，“真值（Ground Truth）”往往不是唯一的。为了应对这种由语言到视觉映射过程中固有的熵增，作者提出了一套系统性的解决方案，涵盖了从数据生产到模型评估的全链路：在数据端，承认单一标注的局限性，通过引入多位专家标注来捕捉人类认知的分布；在评估端，放弃了僵化的“非黑即白”标准，采用了包容多种合理解释的新协议；而在模型端，通过嵌入专门的“歧义模块”，让模型具备了自我怀疑和处理不确定性的能力。这种设计表明 SAM 3 不仅仅是在提升精度，更是在尝试建模“理解”本身的复杂性，承认在开放语义下，分割任务不再是一个单纯的模式匹配问题，而是一个需要在模糊语境中寻找最佳解释的推理过程。

3 Model

SAM 3 is a generalization of SAM 2, supporting the new PCS task (§2) as well as the PVS task. It takes
concept prompts (simple noun phrases, image exemplars) or visual prompts (points, boxes, masks) to de ne
the objects to be (individually) segmented spatio-temporally. Image exemplars and visual prompts can be
iteratively added on individual frames to re ne the target masks—false positive and false negative objects can be removed or added respectively using image exemplars and an individual mask(let) can be re ned using PVS in the style of SAM 2. Our architecture is broadly based on the SAM and (M)DETR (Carion et al.,
2020; Kamath et al., 2021) series. Fig. 4 shows the SAM 3 architecture, consisting of a dual encoder-decoder transformer—a detector for image-level capabilities—which is used in combination with a tracker and memory for video. The detector and tracker ingest vision-language inputs from an aligned Perception Encoder (PE) backbone (Bolya et al., 2025). We present an overview below, see §C for details.

【翻译】SAM 3 是 SAM 2 的泛化版本，它既支持新的 PCS 任务（第2节），也支持 PVS 任务。它接收概念提示（简单名词短语、图像范例）或视觉提示（点、框、掩码）来定义需要在时空维度上被（分别）分割的对象。图像范例和视觉提示可以在单帧上迭代添加以修正目标掩码——可以通过图像范例分别移除误报（假阳性）对象或添加漏报（假阴性）对象，而单个掩码（片段）可以使用 SAM 2 风格的 PVS 进行修正。我们的架构大体上基于 SAM 和 (M)DETR (Carion 等人, 2020; Kamath 等人, 2021) 系列。图 4 展示了 SAM 3 的架构，由双编解码器 Transformer 组成——其中包含一个用于处理图像级能力的检测器——它与用于视频的跟踪器和记忆模块结合使用。检测器和跟踪器从一个对齐的“感知编码器（PE）”主干网络（Bolya 等人, 2025）接收视觉-语言输入。我们在下面提供概述，详情见附录 C。

【解析】这段内容首先确立了 SAM 3 作为“超集”模型的定位，即它并非抛弃前代，而是将 SAM 2 的点/框交互能力（PVS）完全包裹在新的概念分割能力（PCS）之中，从而构建了一个分层级的交互体系：用户既可以用“概念提示”在实体层面进行宏观的增删（例如用范例图告诉模型“漏掉了这只猫”或“误检了那只狗”），也可以用“视觉提示”在像素层面进行微观的修边（例如用点修正掩码的边缘），这种设计完美解决了语义检索与几何精度之间的矛盾。在架构层面，作者揭示了一个混合双流设计，巧妙地融合了 DETR 和 SAM 两大技术流派的优势——利用 (M)DETR 强大的集合预测能力来解决“在一张图中找到所有符合概念的物体”这一检测问题，同时保留 SAM 系列基于记忆机制的跟踪器来解决“在视频流中保持物体身份”的时序问题。这两套系统（检测器与跟踪器）并非割裂存在，而是通过共享同一个经过视觉-语言对齐的“感知编码器（PE）”主干来连接，这种共享主干的设计不仅大幅降低了计算开销，更重要的是确保了检测与跟踪基于同一套语义特征空间，使得模型能够流畅地将静态的语义理解转化为动态的视频跟踪。

DetectorArchitecture. The architecture of the detector follows the general DETR paradigm. The image and text prompt are rst encoded by PE and image exemplars, if present, are encoded by an exemplar encoder. We refer to the image exemplar tokens and text tokens jointly as “prompt tokens”. The fusion encoder then accepts the unconditioned embeddings from the image encoder and conditions them by cross-attending to the prompt tokens. The fusion is followed by a DETR-like decoder, where learned object queries cross-attend to the conditioned image embeddings from the fusion encoder.
Each decoder layer predicts a classi cation logit for each object query (in our case, a binary label of whether the object corresponds to the prompt), and a delta from the bounding box predicted by the previous level, following Zhu et al. (2020). We use box-region-positional bias (Lin et al., 2023) to help focalize the attention on each object, but unlike recent DETR models, we stick to vanilla attention. During training, we adopt dual supervision from DAC-DETR (Hu et al., 2023), and the Align loss (Cai et al., 2024). The mask head is adapted from MaskFormer (Cheng et al., 2021). In addition, we also have a semantic segmentation head, which predicts a binary label for every pixel in the image, indicating whether or not it corresponds to the prompt. See §C for details.

【翻译】检测器架构。检测器的架构遵循通用的 DETR 范式。图像和文本提示首先由感知编码器（PE）进行编码，而图像范例（如果存在）则由范例编码器进行编码。我们将图像范例标记（tokens）和文本标记统称为“提示标记”。接下来，融合编码器接收来自图像编码器的无条件嵌入，并通过对提示标记进行交叉注意力（Cross-attention）计算来对这些嵌入进行调节（condition）。融合步骤之后是一个类 DETR 解码器，其中学习到的对象查询（Object Queries）与来自融合编码器的已调节图像嵌入进行交叉注意力交互。

每个解码器层都会为每个对象查询预测一个分类对数几率（logit）（在我们的例子中，这是一个二元标签，表示该对象是否与提示相对应），以及一个基于上一层预测边界框的修正增量（delta），这遵循了 Zhu 等人 (2020) 的方法。我们使用了 Lin 等人 (2023) 提出的框区域位置偏置（box-region-positional bias）来帮助聚焦每个对象的注意力，但与近期其他的 DETR 模型不同，我们坚持使用朴素注意力机制（vanilla attention）。在训练期间，我们采用了来自 DAC-DETR (Hu 等人, 2023) 的双重监督和 Align 损失 (Cai 等人, 2024)。掩码头（mask head）改编自 MaskFormer (Cheng 等人, 2021)。此外，我们还引入了一个语义分割头，它为图像中的每个像素预测一个二元标签，指示其是否对应于提示。详情见附录 C。

【解析】这段内容揭示了 SAM 3 检测器在经典的 DETR 架构之上进行的针对性“魔改”，其核心目标是将一个通用的多分类检测器转化为一个条件二元检测器。与传统 DETR 输出“是猫、是狗还是背景”不同，SAM 3 的每个查询（Query）只回答一个问题：“我是用户想要的那样东西吗？（Yes/No）”，这种二元化（Binary Label）设计是实现“开放词汇分割”的数学本质。在实现细节上，作者做出了一些反直觉的工程选择：他们没有随大流使用目前流行的“可变形注意力（Deformable Attention）”来加速收敛，而是回归了计算量更大的“朴素注意力（Vanilla Attention）”，这暗示了为了精准捕捉“概念”的全局语义（比如理解“在桌子上的物体”这种关系），模型需要全局上下文而非局部采样，同时通过引入“框区域位置偏置”这一强先验来弥补朴素注意力在定位上的劣势。此外，模型引入了双重监督信号——既有针对个体的“掩码头（Mask Head，基于 MaskFormer）”负责切分实例，又有针对全局的“语义分割头”负责像素级的概念二元判定，这种“点面结合”的设计不仅强化了模型对概念区域的感知，也防止了在实例密集的场景下（如一堆苹果）出现漏检或粘连，确保了从宏观语义覆盖到微观实例边缘的精准度。

Presence Token. It can be di cult for each of the proposal queries to both recognize (what) and localize
(where) an object in the image/frame. For the recognition component, contextual cues from the entire
image are important. However, forcing proposal queries to understand the global context can be coun
terproductive, as it con icts with the inherently local nature of the localization objective. We decouple
the recognition and localization steps by introducing a learned global presence token. This token is solely
responsible for predicting whether the target concept in the form of a noun phrase (NP) is present in the
image/frame, i.e. p(NP is present in input). Each proposal query qi only needs to solve the localization
problem p(qi is a match | NP is present in input). The nal score for each proposal query is the product of
its own score and the presence score.

【翻译】存在标记（Presence Token）。对于每个提议查询（proposal queries）而言，同时完成在图像/帧中识别对象（是什么）和定位对象（在哪里）的任务是困难的。对于识别组件来说，来自整张图像的上下文线索至关重要。然而，强迫提议查询去理解全局上下文可能会适得其反，因为这与定位目标本质上的局部特性相冲突。为了解决这一矛盾，我们通过引入一个可学习的全局“存在标记”将识别和定位步骤解耦。该标记唯一的职责是预测以名词短语（NP）形式出现的目标概念是否存在于图像/帧中，即 $P(\text{NP is present in input})$。而每个提议查询 $q_i$ 只需要解决条件定位问题 $P(q_i\text{ is a match}|\text{NP is present in input})$。每个提议查询的最终得分是其自身得分与存在得分的乘积。

【解析】这段内容阐述了 SAM 3 在检测头设计上的一个微小但至关重要的创新——任务解耦（Decoupling），旨在解决目标检测中长期存在的“识别”与“定位”之间的内在张力。作者敏锐地指出，传统的 Query（查询向量）背负了过重的认知负担，它们既要像雷达一样扫描全图判断“有没有敌人”（这需要全局视野），又要像狙击手一样精确瞄准“敌人在哪”（这需要局部聚焦），这种关注点的冲突往往导致模型在定位精准度和误检率之间进退失据。SAM 3 的解决方案是引入“存在标记（Presence Token）”，这相当于在模型中设立了一个专门的“把关人”，它的唯一任务是利用全图的上下文信息进行二元判断——即目标概念是否出现在图中（Existence），而不关心具体位置。这种设计在数学上将联合概率拆解为“存在概率”与“条件匹配概率”的乘积，其最大的实战价值在于极大地抑制了幻觉（Hallucinations）：当输入一个不存在的概念（如在没有猫的图中找猫）时，传统的 Query 往往会因为被迫寻找最相似的纹理（如把毛绒玩具当成猫）而产生误检，而现在的“存在标记”可以直接在全局层面给出接近 0 的分数，从而“一票否决”所有局部 Query 的预测。这使得局部的提议查询可以卸下“判断存在性”的包袱，专注于极致的边缘定位，从而实现了整体性能的提升。

ImageExemplarsandInteractivity. SAM 3 supports image exemplars, given as a pair—a bounding box and an associated binary label (positive or negative)—which can be used in isolation or to supplement the text prompt. The model then detects all the instances that match the prompt. For example, given a positive bounding box on a dog, the model will detect all dogs in the image. This is di erent from the PVS task in SAM 1 and 2, where a visual prompt yields only a single object instance. Each image exemplar is encoded separately by the exemplar encoder using an embedding for the position, an embedding for the label, and ROI-pooled visual features, then concatenated and processed by a small transformer. The resulting prompt is concatenated to the text prompt to comprise the prompt tokens. Image exemplars can be interactively provided based on errors in current detections to re ne the output.

【翻译】图像范例与交互性。SAM 3 支持图像范例，它们以“成对”的形式给出——即包含一个边界框和一个关联的二元标签（正样本或负样本）——这些范例既可以单独使用，也可以用来补充文本提示。随后，模型会检测所有匹配该提示的实例。例如，给定一个针对狗的正向边界框，模型将检测图像中所有的狗。这与 SAM 1 和 2 中的 PVS 任务截然不同，在 PVS 中，视觉提示仅生成单个对象实例。在技术实现上，每个图像范例都由范例编码器独立编码，该编码器融合了位置嵌入、标签嵌入和 ROI 池化（ROI-pooled）的视觉特征，随后将它们拼接并通过一个小型 Transformer 进行处理。生成的提示向量将与文本提示连接，共同构成“提示标记”。用户可以基于当前检测结果中的错误交互式地提供图像范例，从而对输出结果进行微调。

【解析】这段内容核心阐述了 SAM 3 如何通过“视觉范例”来实现从单体分割到群体概念分割的逻辑跨越，其根本区别在于交互意图的升维：在 SAM 1/2 中，框选一个物体意味着“我要这个物体（Instance）”，而在 SAM 3 中，框选意味着“我要这一类物体（Concept）”（例如框选一只狗以检索全图的狗）。为了实现这种基于少样本（Few-shot）的语义泛化，模型设计了一个精密的特征提取流水线，它不仅提取框内的视觉纹理（ROI特征），还融合了位置信息和意图标签（是想要还是排除），并通过 Transformer 将这些视觉信息“翻译”成与文本提示同构的向量形式，实现了视觉信号与语言信号在特征空间上的无缝拼接与互补。这种机制的引入极大地增强了系统的鲁棒性，特别是在文本描述失效的场景下（例如难以描述的纹理或特定的生物亚种），它赋予了用户通过简单的“正负样本”反馈来动态修正模型认知边界的能力（例如通过添加负样本来告诉模型“这种像狗的狼不是我要找的”），从而建立了一个直观且高效的人机协作纠错闭环。

Tracker andVideoArchitecture. Given a video and a prompt P, we use the detector and a tracker (see Fig. 4) to detect and track objects corresponding to the prompt throughout the video. On each frame, the detector
nds new objects Ot and the tracker propagates masklets Mt−1 (spatial-temporal masks) from frames at the previous time t − 1 to their new locations ˆ Mt on the current frame at time t. We use a matching function to
associate propagated masklets ˆ Mt with new object masks emerging in the current frame Ot,$${\hat{M}}_t=\text{propagate}(M_{t-1})$$$$O_t=\text{detect}(I_t,P)$$$$M_t=\text{match\_and\_update}({\hat{M}}_t,O_t)$$

【翻译】跟踪器与视频架构。给定一个视频和一个提示 $P$，我们利用检测器和跟踪器（见图4）在整个视频过程中检测并跟踪与提示相对应的对象。在每一帧上，检测器负责发现新的对象 $O_t$，而跟踪器则负责将前一时刻 $t-1$ 的掩码片段 $M_{t-1}$（时空掩码）传播到当前时刻 $t$ 的帧上的新位置 ${\hat{M}}_t$。随后，我们使用一个匹配函数将这些传播过来的掩码片段 ${\hat{M}}_t$ 与当前帧中新出现的对象掩码 $O_t$ 进行关联。

【解析】这段简短的描述揭示了 SAM 3 处理视频流的核心时序逻辑，即采用了一种“检测与跟踪并行（Detection-and-Tracking）”的混合架构来解决视频中对象身份的连续性问题。该系统并未单纯依赖跟踪器（容易产生漂移）或检测器（缺乏身份记忆），而是让两者协同工作：检测器扮演“发现者”的角色，在当前帧独立地扫描所有符合语义提示的候选对象（$O_t$），确保模型能捕捉到新入画或从遮挡中恢复的目标；而跟踪器扮演“预测者”的角色，利用记忆机制将上一帧的已知对象状态（$M_{t-1}$）“推演”到当前帧的预期位置（$\hat{M}_t$）。这段话的真正核心在于最后提到的“匹配函数”，它充当了连接“历史记忆”与“当前感知”的桥梁，负责判断当前帧检测到的某个物体究竟是一个全新的个体，还是旧有物体在时间轴上的延续，通过这种将检测的召回能力与跟踪的一致性能力进行数学关联（Association）的机制，SAM 3 实现了在动态变化的视频场景中对特定概念实例的稳定锁定与持续追踪。

Tracking an Object with SAM 2 Style Propagation. A masklet is initialized for every object detected on the first frame. Then, on each subsequent frame, the tracker module predicts the new masklet locations ˆMt of those already-tracked objects based on their previous locations Mt−1 through a single-frame propagation step similar to the video object segmentation task in SAM 2. The tracker shares the same image/frame encoder (PE backbone) as the detector. After training the detector, we freeze PE and train the tracker as in SAM 2, including a prompt encoder, mask decoder, memory encoder, and a memory bank that encodes the object’s appearance using features from the past frames and conditioning frames (frames where the object is first detected or user-prompted). The memory encoder is a transformer with self-attention across visual features on the current frame and cross-attention from the visual features to the spatial memory features in the memory bank. We describe details of our video approach in §C.3.
During inference, we only retain frames where the object is condently present in the memory bank. The mask decoder is a two-way transformer between the encoder hidden states and the output tokens. To handle ambiguity, we predict three output masks for every tracked object on each frame along with their condence, and select the most condent output as the predicted mask on the current frame.

【翻译】使用 SAM 2 风格传播机制进行对象跟踪。我们在第一帧为检测到的每个对象初始化一个掩码片段（masklet）。随后，在每一个后续帧中，跟踪器模块基于已跟踪对象的前一位置 $M_{t-1}$，通过类似于 SAM 2 中视频对象分割任务的单帧传播步骤，预测其新的掩码片段位置 ${\hat{M}}_t$。跟踪器与检测器共享同一个图像/帧编码器（PE 主干网络）。在训练完检测器后，我们冻结 PE，并像 SAM 2 那样训练跟踪器，包括提示编码器、掩码解码器、记忆编码器，以及一个利用过去帧和条件帧（即首次检测到对象或用户提示的帧）特征来编码对象外观的记忆库。记忆编码器是一个 Transformer，它在当前帧的视觉特征上进行自注意力计算，并从视觉特征到记忆库中的空间记忆特征进行交叉注意力计算。我们在 §C.3 中描述了视频方法的细节。在推理过程中，我们只保留对象在记忆库中被确信存在的帧。掩码解码器是一个介于编码器隐藏状态和输出标记之间的双向 Transformer。为了处理歧义，我们在每一帧为每个被跟踪的对象预测三个输出掩码及其置信度，并选择置信度最高的输出作为当前帧的预测掩码。

【解析】这段技术细节深入剖析了 SAM 3 如何通过“继承与适配”的策略，将 SAM 2 强大的时序传播机制无缝集成到新的概念分割框架中。其核心逻辑在于建立了一个“检测驱动初始化，记忆驱动传播”的混合流水线：首先由检测器在第一帧确立目标的身份与初始状态，随后跟踪器接管，利用基于 Transformer 的记忆编码器和记忆库机制，在特征空间中维护对象的外观历史（既包括首次出现的“定妆照”也就是条件帧，也包括最近的动态帧），从而在后续帧中通过单帧传播算法预测目标的新位置 $\hat{M}_t$。特别值得注意的是作者采用的高效训练策略——在训练跟踪器时直接冻结与检测器共享的主干网络（PE），这不仅显著降低了训练成本，更隐含了一个重要的学术假设：即检测器已经学习到了足够鲁棒的通用视觉-语义特征，跟踪器只需专注于学习“特征匹配”与“时序关联”的任务，而无需重新学习“如何理解图像”。此外，推理阶段保留的“三掩码预测”机制（输出三个不同粒度的掩码并取置信度最高者）是对 SAM 系列经典设计的延续，这种冗余预测策略旨在通过多模态输出来解决视频中常见的运动模糊或边缘歧义问题（例如区分车轮与整车），确保了模型在面对不确定性时仍能通过置信度排序给出最合理的唯一解。

Matching and Updating Based on Detections. After obtaining the tracked masks ˆMt, we match them with
the current frame detections Ot through a simple IoU based matching function (§C.3) and add them to Mt
on the current frame. We further spawn new masklets for all newly detected objects that are not matched. The merging might su er from ambiguities, especially in crowded scenes. We address this with two temporal disambiguation strategies outlined next.
First, we use temporal information in the form of a masklet detection score (§C.3) to measure how consistently a masklet is matched to a detection within a temporal window (based on the number of past frames where it was matched to a detection). If a masklet’s detection score falls below a threshold, we suppress it. Second, we use the detector outputs to resolve speci c failure modes of the tracker due to occlusions or distractors. We periodically re-prompt the tracker with high-con dence detection masks Ot, replacing the tracker’s own predictions ˆ Mt. This ensures that the memory bank has recent and reliable references (other than the tracker’s own predictions)

【翻译】基于检测的匹配与更新。在获得跟踪掩码 ${\hat{M}}_t$ 后，我们将它们与当前帧的检测结果 $O_t$ 通过一个简单的基于交并比（IoU）的匹配函数（§C.3）进行匹配，并将它们添加到当前帧的 $M_t$ 中。对于所有未匹配到的新检测对象，我们会进一步生成新的掩码片段（masklets）。这种合并过程可能会受到歧义的影响，特别是在拥挤的场景中。为此，我们采用了接下来概述的两种时序消歧策略来解决这一问题。首先，我们利用以“掩码片段检测分数（§C.3）”形式存在的时序信息，来衡量一个掩码片段在一个时间窗口内（基于其过去被匹配到检测结果的帧数）与检测结果匹配的一致性程度。如果一个掩码片段的检测分数低于设定阈值，我们会将其抑制。其次，我们利用检测器的输出去解决跟踪器因遮挡或干扰物（distractors）导致的特定故障模式。我们会定期使用高置信度的检测掩码 $O_t$ 来“重新提示（re-prompt）”跟踪器，从而替换跟踪器自身的预测 ${\hat{M}}_t$

【解析】这段内容详细阐述了 SAM 3 如何解决视频跟踪中最棘手的“漂移”与“新旧交替”问题，其核心逻辑建立在一套严密的“双重校准机制”之上。在基础的 IoU 匹配之后，系统不仅简单地接纳新老对象，而是引入了两个关键的质量控制过滤器来应对复杂场景（如拥挤人群）中的不确定性。第一个策略是基于“历史一致性”的生存法则（Temporal Consistency），即通过计算“检测分数”来判断一个对象是否真实存在，如果某个被跟踪对象在一段时间内频繁无法被检测器确认（即“失联”），系统会判定其为噪声或已消失并将其剔除，这有效防止了幽灵轨迹的残留；第二个策略是基于“当前置信度”的强制纠偏（Detector-guided Correction），作者敏锐地意识到纯粹的跟踪器容易随时间积累误差（漂移），或者被相似的干扰物带偏，因此设计了一种“重置”机制，定期强制使用高置信度的检测器输出（即每一帧的“全新发现”）来覆盖跟踪器的预测。这种设计实际上是将检测器作为“真理锚点（Ground Truth Anchor）”来不断校准跟踪器的轨迹，确保了记忆库中的参考特征始终保持纯净和更新，从而在长视频序列中维持了极高的鲁棒性。

Instance RefinementwithVisualPrompts. After obtaining the initial set of masks (or masklets), SAM 3 allows re ning individual masks(lets) using positive and negative clicks. Speci cally, given the user clicks, we apply the prompt encoder to encode them, and feed the encoded prompt into the mask decoder to predict an adjusted mask. In videos the mask is then propagated across the entire video to obtain a re ned masklet.

【翻译】基于视觉提示的实例级细化。在获得初始的掩码（或掩码片段）集合之后，SAM 3 允许用户通过正向和负向点击来对单个掩码（或片段）进行精细化调整。具体而言，针对用户的点击输入，我们利用提示编码器对其进行编码，并将编码后的提示向量输入到掩码解码器中，从而预测出调整后的掩码。在视频场景中，这一修正后的掩码随后会被传播至整个视频序列，从而获得经过细化的掩码片段。

【解析】这段内容阐述了 SAM 3 在自动检测之外的“兜底”机制，即继承了 SAM 系列标志性的交互式修边能力。不同于前文提到的通过图像范例修正“概念”（改变寻找的目标类别），这里的“实例级细化”专注于像素级的几何修正，针对的是单个物体掩码的瑕疵。其工作流闭环非常简洁高效：用户只需通过简单的点击（点选想要的部分或排除多余的部分）作为新的稀疏提示，模型便能即时调用提示编码器将这些几何约束注入解码器，重新生成更贴合边缘的掩码。这一功能在视频处理中尤为强大，文中提到的“传播（propagate）”机制意味着用户的单帧修正不会止步于当前画面，而是会通过跟踪器的时序记忆网络辐射到整个视频序列，实现“一处修正，全程对齐”，这种“单点交互驱动全局优化”的特性极大地降低了视频分割中逐帧修图的昂贵人工成本，体现了模型从静态图像工具向动态视频生产力工具的质变。

Training Stages. We train SAM 3 in four stages that progressively add data and capabilities: 1) Perception Encoder (PE) pre-training, 2) detector pre-training, 3) detector ne-tuning, and 4) tracker training with a frozen backbone. See §C.4.1 for details.

【翻译】训练阶段。我们分四个阶段对 SAM 3 进行训练，逐步增加数据规模并扩展模型能力：1) 感知编码器（PE）预训练，2) 检测器预训练，3) 检测器微调，以及 4) 在冻结主干网络（Backbone）的情况下进行跟踪器训练。详情请参阅 §C.4.1。

【解析】这段简短的描述概括了 SAM 3 采用的“分层渐进式”训练策略，其核心逻辑遵循了从通用特征到特定任务、从静态理解到动态跟踪的认知构建过程。第一阶段的感知编码器（PE）预训练旨在构建一个强大的视觉-语言对齐基础，相当于赋予模型“多模态的眼睛”；接下来的检测器预训练与微调阶段（第二、三阶段）则专注于让模型学会如何根据语义指令在静态图像中精准定位物体，这种“先预训练后微调”的范式通常隐含了从海量噪声数据学习泛化能力，再利用高质量精标数据（如本文提到的 SA-Co）强化边界精度和处理困难负样本的过程；最后的第四阶段跟踪器训练采取了“冻结主干”的策略，这是一个极具工程智慧的决策，它意味着在学习时序关联（即如何跟踪）时，模型不再改变其底层的特征提取能力，这不仅大幅降低了视频训练的显存与计算开销，更有效地防止了“灾难性遗忘”，确保了模型在获得视频能力的同时，不会牺牲其在静态图像上已经习得的卓越分割精度。

DataEngine

Achieving a step change in PCS with SAM 3 requires training on a large, diverse set of concepts and visual domains, beyond existing datasets (see Fig. 12). We build an e cient data engine that iteratively generates annotated data via a feedback loop with SAM 3, human annotators, and AI annotators, actively mining media-phrase pairs on which the current version of SAM 3 fails to produce high-quality training data to further improve the model. By delegating certain tasks to AI annotators—models that match or surpass human accuracy—we more than double the throughput compared to a human-only annotation pipeline. We develop the data engine in four phases, with each phase increasing the use of AI models to steer human effort to the most challenging failure cases, alongside expanding visual domain coverage. Phases 1-3 focus only on images, with Phase 4 expanding to videos. We describe the key steps here; details and metrics are in §D.

【翻译】要实现 SAM 3 在 PCS 任务上的阶跃式提升，需要在远超现有数据集（见图12）的大量且多样的概念集和视觉领域上进行训练。为此，我们构建了一个高效的数据引擎，通过 SAM 3 模型、人类标注员和 AI 标注员之间的反馈循环迭代生成标注数据，该引擎能主动挖掘当前版本 SAM 3 处理失败的“媒体-短语”对，从而生成高质量的训练数据以进一步改进模型。通过将特定任务委托给 AI 标注员——即那些准确率匹敌甚至超越人类的模型——我们使标注吞吐量相比纯人工流水线提高了一倍以上。我们将数据引擎的开发分为四个阶段，每个阶段都增加了对 AI 模型的使用，以便将宝贵的人力资源引导至最具挑战性的失败案例上，同时不断扩展视觉领域的覆盖范围。第 1-3 阶段仅专注于图像，而第 4 阶段则扩展至视频领域。我们在本节描述关键步骤；详细细节和指标参见附录 D。

【解析】这段开篇总领性地揭示了 SAM 3 成功的基石并非单纯依赖模型架构的创新，而是在于一场从“数据量”向“数据质”与“生产效率”转型的工程革命。作者首先通过指出由于现有数据集在概念广度与视觉域上的匮乏，从而确立了自建大规模数据引擎的必要性，随后抛出了该引擎的核心设计哲学——“主动学习（Active Learning）”与“人机协作（Human-AI Collaboration）”的深度融合。不同于传统盲目堆砌数据的做法，该引擎采用了一种极具针对性的“狩猎”模式，即主动寻找模型当前的“盲区”（即失败案例）进行攻坚，这意味着数据集中不仅包含了“是什么”，更充满了“很难区分是什么”的高价值样本。最为关键的突破在于“AI 标注员”角色的确立，这标志着 AI 在数据生产链条中从辅助工具晋升为生产主体，作者通过“匹敌人类准确率”这一论断，合理化了将大量验证性工作通过 AI 自动化的策略，从而将昂贵的人类认知资源从低端重复劳动中解放出来，专注于处理 AI 无法搞定的长尾与边缘案例（Hard Cases）。这种分阶段（从图像到视频）、分层级（从 AI 自动过滤到人工精修）的策略，不仅解决了大规模标注的成本与效率悖论，更为模型提供了即高难度又高精度的训练养料，是 SAM 3 能够理解复杂概念的物理基础。

【翻译】图 6：展示了来自 SA-Co 数据集的示例视频（顶部）和图像（底部），其中包含了标注的短语以及实例掩码/身份ID。图中顶部展示了视频序列中对“树”、“织物”、“波纹金属片”、“白袋子”、“黄衬衫”等概念的连续跟踪；底部图像则展示了对复杂场景（如水果摊）、细粒度属性（如“白色波斯猫”、“蓝绿色眼睛”）、特定物体型号（如“1973年款普利茅斯梭鱼”）以及交互部位（如“人的左手”）的详尽标注。
【解析】这张图通过展示 SA-Co 基准测试集中的具体样本，生动地诠释了什么是“高质量、详尽的开放世界概念标注”。顶部的视频序列展示了数据集在时序维度上的标注能力，可以看到即使在拥挤、遮挡严重的街头场景中，特定的细粒度概念（如“格子纱笼”、“黄色衬衫”或“波纹金属片”）也能被赋予稳定的身份 ID 并跨帧精确跟踪，这验证了数据集中视频掩码的时空一致性。底部的静态图像则着重展示了标注的密度与语义深度：左侧的水果摊图像展示了惊人的密集标注能力，不再笼统地标注“水果”，而是区分了每一个具体的“柿子”、“蓝色篮子”和“纸板标牌”，体现了全景式的详尽性；而中间的波斯猫与古董车图像则凸显了概念的细粒度属性，标注不再止步于“猫”或“车”，而是精确到了“白色的波斯猫”、“蓝绿色的眼睛”以及“充满活力的橙色1973年款普利茅斯梭鱼”，这种对颜色、材质、具体型号乃至物体部件（如“人的左手”）的精确描述，直观地证明了 SA-Co 数据集突破了传统数据集的类别限制，真正覆盖了现实世界中复杂多样的长尾视觉概念。

DataEngineComponents(Fig.5). Media inputs (image or video) are mined from a large pool with the help of a curated ontology. An AI model proposes noun phrases (NPs) describing visual concepts, followed by another model (e.g., SAM 3) that generates candidate instance masks for each proposed NP. The proposed masks are veri ed by a two-step process: rst, in Mask Veri cation (MV) annotators accept or reject masks based on their quality and relevance to the NP. Second, in Exhaustivity Veri cation (EV) annotators check if all instances of the NP have been masked in the input. Any media-NP pairs that did not pass the exhaustivity check are sent to a manual correction stage, where humans add, remove or edit masks (using SAM 1 in a browser based tool), or use “group” masks for small, hard to separate objects. Annotators may reject ungroundable or ambiguous phrases.

【翻译】数据引擎组件（图 5）。媒体素材（图像或视频）是在一个精心策划的本体论（ontology）辅助下从巨大的数据池中挖掘出来的。随后，一个 AI 模型会提出描述视觉概念的名词短语（NPs），紧接着另一个模型（例如 SAM 3）为每个提出的名词短语生成候选实例掩码。这些提出的掩码通过一个两步过程进行验证：首先，在**掩码验证（MV）阶段，标注员根据掩码的质量及其与名词短语的相关性来接受或拒绝掩码。其次，在详尽性验证（EV）**阶段，标注员检查输入中该名词短语的所有实例是否都已被掩码覆盖。任何未通过详尽性检查的“媒体-名词短语”对都会被送往手动修正阶段，在那里人类标注员（使用基于浏览器的 SAM 1 工具）进行添加、移除或编辑掩码的操作，或者对细小、难以分离的物体使用“组（group）”掩码。标注员还可以拒绝无法落地（ungroundable）或有歧义的短语。

【解析】这段内容详细拆解了 SAM 3 数据引擎的高效运作流水线，其核心逻辑在于将 AI 的“生成能力”与人类的“判别能力”进行最优组合。流程始于“本体论挖掘”，这确保了数据的语义分布是经过设计的而非随机的。随后，系统采用了一种**“AI 提议，人类把关”**的协作模式：AI 负责大规模生成初始的名词短语和掩码（这解决了冷启动问题），而人类则退居到质检环节。这里最关键的创新在于将验证拆分为两个正交的维度：**掩码验证（MV）关注“准确率（Precision）”，即确认“圈出来的这个是不是猫”；而详尽性验证（EV）**关注“召回率（Recall）”，即确认“图里所有的猫是不是都圈出来了”。这种对“详尽性”的执着是 PCS 任务区别于普通分割的关键，确保了模型学会“全量检索”。最后的手动修正阶段则是一种典型的长尾处理策略，特别是引入“组掩码（Group Masks）”概念，巧妙地解决了密集小目标（如一堆米粒或远处的人群）难以逐个分割的工程难题，体现了在追求极致精度与标注成本之间的务实平衡。

Phase1: HumanVerification. We rst randomly sample images and NP proposal with a simple captioner and parser. The initial mask proposal model is SAM 2 prompted with the output of an o-the-shelf open-vocabulary detector, and initial veri ers are human. In this phase, we collected 4.3M image-NP pairs as the initial SA-Co/HQ dataset. We train SAM 3 on this data and use it as the mask proposal model for the next phase.

【翻译】第一阶段：人工验证。我们首先随机采样图像，并利用一个简单的字幕生成器和解析器来生成名词短语（NP）提议。初始的掩码提议模型是基于现成的开放词汇检测器输出进行提示的 SAM 2，而初始验证员则是人类。在这个阶段，我们收集了 430 万对“图像-名词短语”作为初始的 SA-Co/HQ 数据集。我们在这些数据上训练 SAM 3，并将其用作下一阶段的掩码提议模型。

【解析】这段内容描述了数据引擎的“冷启动”环节，其核心目标是利用现有的技术栈快速构建第一批高质量的“真值（Ground Truth）”数据。由于此时 SAM 3 尚未成型，作者采用了一种“拼装式”的策略：利用字幕生成器提取概念，利用“检测器 + SAM 2”的组合来生成初始掩码，这实际上是把 SAM 2 当作一个高精度的几何分割工具，配合外部检测器的语义定位能力来模拟概念分割。这一阶段完全依赖人类进行验证，虽然成本最高，但保证了数据的纯净度，从而产出了 430 万对经过人工确认的高质量（HQ）样本。这批数据不仅确立了基准，更关键的是它成功训练出了第一代 SAM 3，使其具备了替代“检测器 + SAM 2”组合的能力，从而为下一阶段实现更高效的自动化循环奠定了基础。

Phase2: Human+AIVerification. In this next phase, we use human accept/reject labels from the MV and EV tasks collected in Phase 1 to ne-tune Llama 3.2 (Dubey et al., 2024) to create AI veri ers that automatically perform the MV and EV tasks. These models receive image-phrase-mask triplets and output multiple-choice ratings of mask quality or exhaustivity. This new auto-veri cation process allows our human e ort to be focused on the most challenging cases. We continue to re-train SAM 3 on newly collected data and update it 6 times. As SAM 3 and AI veri ers improve, a higher proportion of labels are auto-generated, further accelerating data collection. The introduction of AI veri ers for MV and EV roughly doubles the data engine’s throughput vs. human annotators. We refer to §A.4 for detailed analysis of how AI veri ers improve the data engine’s throughput. We further upgrade the NP proposal step to a Llama-based pipeline that also proposes hard negative NPs adversarial to SAM 3. Phase 2 adds 122M image-NP pairs to SA-Co/HQ.

【翻译】第二阶段：人类+AI验证。在这个接下来的阶段，我们利用第一阶段在掩码验证（MV）和详尽性验证（EV）任务中收集的人类“接受/拒绝”标签来微调 Llama 3.2 (Dubey 等人, 2024)，从而创建出能够自动执行 MV和 EV 任务的 AI 验证器。这些模型接收“图像-短语-掩码”三元组作为输入，并输出关于掩码质量或详尽性的多选评级。这种全新的自动验证流程使我们能够将人力资源集中在最具挑战性的案例上。我们利用新收集的数据继续重新训练 SAM 3，并对其进行了 6 次更新。随着 SAM 3 和 AI 验证器性能的提升，更高比例的标签得以自动生成，从而进一步加速了数据收集。相比纯人工标注，引入用于 MV 和 EV 的 AI 验证器使得数据引擎的吞吐量大约翻了一倍。关于 AI 验证器如何提高数据引擎吞吐量的详细分析，请参阅 §A.4。此外，我们将名词短语（NP）提议步骤升级为基于 Llama 的流水线，该流水线还能提出针对 SAM 3 的对抗性困难负面名词短语（hard negative NPs）。第二阶段为 SA-Co/HQ 数据集新增了 1.22 亿个“图像-名词短语”对。

【解析】这段内容标志着数据引擎从“人力密集型”向“智能自动化”的关键转折，其核心在于成功构建了一个自我增强的“飞轮效应”。作者创造性地将 Llama 3.2 这样的多模态大模型转化为“AI 裁判”，利用第一阶段积累的人类判决数据教会它如何像人一样去审核掩码的质量（MV）和完整性（EV），这种“用 AI 监管 AI”的策略不仅将昂贵的人力从繁琐的常规审核中解放出来，专注于处理 AI 无法决断的边缘案例（Corner Cases），还直接导致了标注吞吐量的倍增。更为精妙的是，这一阶段引入了“对抗性生成”机制，即让基于 Llama 的提议模型故意生成“困难负样本”（例如在只有狼的图中提议“狗”），这种对抗性训练迫使 SAM 3 在随后的 6 次迭代中不断强化对细微语义差别的辨别能力，从而实现了数据规模（暴增至 1.22 亿）与模型精度的同步螺旋上升。

Phase3: ScalingandDomainExpansion. In the third phase, we use AI models to mine increasingl challenging cases and broaden domain coverage in SA-Co/HQ to 15 datasets (Fig. 15). A domain is a unique distribution of text and visual data. In new domains, the MV AI veri er performs well zero-shot, but the EV AI veri er needs to be improved with modest domain-speci c human supervision. We also expand concept coverage to long-tail,fine-grained concepts by extracting NPs from the image alt-text where available and by mining concepts from a 22.4M node SA-Co ontology (§D.2) based on Wikidata (17 top-level categories, 72 sub-categories). We iterate SAM 3 training 7 times and AI veri ers 3 times, and add 19.5M image-NP pairs to SA-Co/HQ.

【翻译】第三阶段：规模扩展与领域扩张。在第三阶段，我们利用 AI 模型挖掘日益具有挑战性的案例，并将 SA-Co/HQ 的领域覆盖范围扩大到 15 个数据集（图 15）。所谓领域，指的是文本和视觉数据的独特分布。在新领域中，掩码验证（MV）AI 验证器在零样本（zero-shot）情况下表现良好，但详尽性验证（EV）AI 验证器则需要通过适度的特定领域人工监督来进行改进。我们还通过从可用的图像替代文本（alt-text）中提取名词短语，并从基于 Wikidata 的拥有 2240 万个节点的 SA-Co 本体论（§D.2）（包含 17 个顶级类别，72 个子类别）中挖掘概念，从而将概念覆盖范围扩展到长尾、细粒度的概念。我们对 SAM 3 的训练进行了 7 次迭代，对 AI 验证器进行了 3 次迭代，并向 SA-Co/HQ 添加了 1950 万个“图像-名词短语”对。

【解析】这段内容揭示了数据引擎进化的“深水区”策略，其核心目标是突破模型的泛化边界和认知细粒度。作者定义了“领域扩张”与“概念挖掘”双管齐下的路径：在广度上，通过将数据源扩展至 15 个涵盖不同文本-视觉分布的数据集，强制模型适应多样的视觉风格；在这一过程中，作者发现了一个极具价值的工程规律——判断“画得对不对”（MV）的 AI 能力具有很强的跨域通用性（零样本），而判断“找得全不全”（EV）则需要特定领域的人类先验知识进行微调（例如在显微镜图像中判断是否漏掉了细胞比在街景中判断漏车更难），这为未来的多模态系统部署提供了重要的资源配置参考。在深度上，通过引入基于 Wikidata 的庞大本体论（2240 万节点）和利用图像 Alt-text，系统主动向“长尾”和“细粒度”概念发起冲击，不再满足于识别通用的“车”，而是要去识别特定型号或稀有属性。通过这种高频次的迭代训练（SAM 3 迭代 7 次，验证器迭代 3 次），模型实际上是在不断地“见多识广”，最终新增的 1950 万高质量样本为模型理解开放世界中那些罕见且具体的概念构筑了坚实的知识护城河。

Phase4: VideoAnnotation. This phase extends the data engine to video. We use a mature image SAM 3 to collect targeted quality annotations that capture video-speci c challenges. The data mining pipeline applies scene/motion lters, content balancing, ranking, and targeted searches. Video frames are sampled (randomly or by object density) and sent to the image annotation ow (from phase 3). Masklets (spatio-temporal masks) are produced with SAM 3 (now extended to video) and post-processed via deduplication and removal of trivial masks. Because video annotation is more di cult, we concentrate humans on likely failures by favoring clips with many crowded objects and tracking failures. The collected video data SA-Co/VIDEO consists of 52.5K videos and 467K masklets. See §D.6 for details.

【翻译】第四阶段：视频标注。这一阶段将数据引擎扩展到了视频领域。我们利用已经成熟的图像版 SAM 3 来收集针对性的高质量标注，旨在捕捉视频特有的挑战。数据挖掘流水线应用了场景/运动过滤器、内容平衡、排序以及定向搜索等技术。视频帧会被采样（随机采样或根据对象密度采样）并被送入（第三阶段建立的）图像标注流程中。随后，（现已扩展至视频能力的）SAM 3 会生成掩码片段（即时空掩码），并通过去重和移除琐碎掩码等步骤进行后处理。由于视频标注难度更大，我们将人力资源集中在可能的失败案例上，倾向于优先处理那些包含大量密集对象和跟踪失败的片段。最终收集到的视频数据 SA-Co/VIDEO 包含 5.25 万个视频和 46.7 万个掩码片段。详情请参阅 §D.6。

【解析】这一阶段代表了 SAM 3 生态系统中至关重要的“从静态到动态”的迁移学习步骤，作者巧妙地利用前三个阶段培育出的高度成熟的图像分割能力来“冷启动”更为复杂的视频标注任务，从而避免了从零开始训练视频模型的巨大成本。该策略的核心在于一种高选择性的“主动挖掘”机制：系统并非盲目标注海量视频，而是通过运动过滤器和场景分析精准定位那些真正具有挑战性的片段（如快速运动或严重遮挡），并将关键帧回流到成熟的图像标注流水线中进行确权。这里体现了一种“例外管理”的工程哲学——利用扩展后的 SAM 3 自动生成初步的时空掩码片段并清洗掉简单样本，迫使昂贵的人类标注员将注意力完全集中在视频跟踪的“长尾痛点”上，例如解决拥挤场景下的身份互换或跟踪漂移问题，这种策略确保了 SA-Co/VIDEO 数据集虽然在数量上（5.25万视频）看似不如图像集庞大，但其包含的每一个掩码片段都是针对模型时序弱点进行精确打击的高价值“困难样本”。

5 SegmentAnythingwithConcepts(SA-Co)Dataset

Training Data. We collect three image datasets for the PCS task: (i) SA-Co/HQ, the high-quality image data collected from the data engine in phases 1-4, (ii) SA-Co/SYN, a synthetic dataset of images labeled by a mature data engine (phase 3) without human involvement, and (iii) SA-Co/EXT, 15 external datasets that have instance mask annotations, enriched with hard negatives using our ontology pipeline. Notably in the SA-Co/HQ dataset we annotate 5.2M images and 4M unique NPs, making it the largest high-quality open-vocab segmentation dataset. We also annotate a video dataset, SA-Co/VIDEO, containing 52.5K videos and 24.8K unique NPs, forming 134K video-NP pairs. The videos on average have 84.1 frames at 6 fps. See §E.1 for details including full statistics, comparison with existing datasets and the distribution of concepts.

【翻译】训练数据。为了 PCS 任务，我们收集了三个图像数据集：(i) SA-Co/HQ，这是在数据引擎第 1-4 阶段收集的高质量图像数据；(ii) SA-Co/SYN，这是一个合成数据集，其中的图像由成熟的数据引擎（第 3 阶段）进行标注，全程无人工参与；以及 (iii) SA-Co/EXT，包含 15 个具有实例掩码标注的外部数据集，并利用我们的本体论流水线通过加入困难负样本对其进行了增强。值得注意的是，在 SA-Co/HQ 数据集中，我们标注了 520 万张图像和 400 万个唯一名词短语（NPs），使其成为目前最大的高质量开放词汇分割数据集。此外，我们还标注了一个视频数据集 SA-Co/VIDEO，包含 5.25 万个视频和 2.48 万个唯一名词短语，构成了 13.4 万个视频-短语对。这些视频平均长度为 84.1 帧，帧率为 6 fps。关于详细统计数据、与现有数据集的对比以及概念分布情况，请参阅 §E.1。

【解析】这段内容详细列举了支撑 SAM 3 强大性能的“燃料”构成，展示了一个精心设计的分层级、多来源的数据金字塔结构。作者采取了“高质量核心 + 大规模合成 + 增强型外部数据”的三元组合策略：处于核心地位的 SA-Co/HQ 数据集通过包含 400 万个唯一名词短语，确立了目前业界最大的高质量开放词汇分割标准，这在数量级上远超传统数据集（如 COCO 的 80 类或 LVIS 的 1000 类），意味着模型不再是学习有限的类别标签，而是真正掌握了对现实世界的广泛描述能力；SA-Co/SYN 的引入则验证了“用 AI 训练 AI”的可行性，利用成熟引擎生成的无人工干预数据来进一步扩充训练规模，挖掘缩放定律（Scaling Laws）的潜力；而对于 SA-Co/EXT，作者并没有简单地合并现有开源数据集，而是利用本体论流水线注入了“困难负样本”，这相当于对旧数据进行了“对抗性升级”，迫使模型在已知类别上也必须具备更强的细粒度判别力（例如不仅能分出“动物”，还要能分出“非某种特定动物”）。此外，专门构建的 SA-Co/VIDEO 视频数据集虽然在数量上少于图像集，但通过高密度的帧数（平均 84 帧）和丰富的概念对，专注于训练模型在时间维度上的身份保持能力，这种多维度、高信噪比的数据布局，正是 SAM 3 能够实现零样本泛化和精准概念分割的物理基础。

SA-CoBenchmark. The SA-Co evaluation benchmark has 207K unique phrases, 121K images and videos, and over 3M media-phrase pairs with hard negative labels to test open-vocabulary recognition. It has 4 splits: SA-Co/Gold has seven domains and each image-NP pair is annotated by three di erent annotators (used to measure human performance); SA-Co/Silver has ten domains and only one human annotation per image-NP pair; SA-Co/Bronze and SA-Co/Bio are nine existing datasets either with existing mask annotations or masks generated by using boxes as prompts to SAM 2. The SA-Co/VEval benchmark has three domains and one annotator per video-NP pair. See Tab. 28 for dataset statistics and Fig. 6 for example annotations.

【翻译】SA-Co 基准测试集。SA-Co 评估基准包含 20.7 万个唯一短语、12.1 万个图像和视频，以及超过 300 万个带有困难负样本标签的“媒体-短语”对，旨在测试开放词汇识别能力。它分为 4 个子集（splits）：SA-Co/Gold 包含七个领域，每个“图像-名词短语”对都由三位不同的标注员进行标注（用于衡量人类表现）；SA-Co/Silver 包含十个领域，每个“图像-名词短语”对只有一位人类标注员；SA-Co/Bronze 和 SA-Co/Bio 由九个现有数据集组成，这些数据集要么已有掩码标注，要么通过使用边界框作为提示输入 SAM 2 来生成掩码。SA-Co/VEval 基准测试包含三个领域，每个“视频-名词短语”对有一位标注员。关于数据集统计信息请见表 28，示例标注请见图 6。

【解析】这段内容正式定义了用于考核 SAM 3 能力的“试卷”——SA-Co 基准测试集，其构建逻辑体现了对“评估科学性”的极致追求，旨在解决开放世界中语义歧义难以量化的痛点。作者设计了一个多层次的金字塔式评估体系：位于塔尖的 SA-Co/Gold 是最核心的创新，通过对同一张图进行“三人独立标注”，作者不仅为了获得更准确的真值，更是为了量化“人类认知的一致性”，从而计算出任务的“人类上限（Human Performance）”，这为衡量模型是否达到人类水平提供了唯一的客观标尺；SA-Co/Silver 则牺牲了部分冗余度以换取规模和领域的广度，用于测试模型的泛化能力；而 SA-Co/Bronze 和 SA-Co/Bio 的引入（特别是专门的生物医学分支）显示了该基准对科学领域现有成果的兼容性与整合野心，通过将传统数据集标准化纳入体系，使得新旧模型能在同一维度下对比。此外，文中特别强调的“300万个带有困难负样本标签”的配对，意味着这个基准不仅仅是考模型“认识什么”，更是考模型“能区分什么”（例如在全是狗的图里确认“没有猫”），这种压力测试设计能够有效暴露模型是否只是在猜想而非真正理解语义。

Metrics. We aim to measure the usefulness of the model in downstream applications. Detection metrics such as average precision (AP) do not account for calibration, which means that models can be di cult to use in practice. To remedy this, we only evaluate predictions with condence above 0.5, e ectively introducing a threshold that mimics downstream usages and enforces good calibration. The PCS task can be naturally split into two sub-tasks, localization and classi cation. We evaluate localization using positive micro F1 (pmF1) on positive media-phrase pairs with at least one ground-truth mask. Classi cation is measured with image-level Matthews Correlation Coe cient (IL_MCC) which ranges in [−1,1] and evaluates binary prediction at the image level (“is the object present?”) without regard for mask quality. Our main metric, classi cation-gated F1 (cgF1), combines these as follows: cgF1 = 100 ∗ pmF1 ∗IL_MCC. Full de nitions are in §E.3.

【翻译】指标。我们旨在衡量模型在下游应用中的实用性。诸如平均精度（AP）之类的检测指标并没有考虑到校准（calibration），这意味着模型在实际使用中可能很难上手。为了补救这一点，我们只评估置信度高于 0.5 的预测，这有效地引入了一个模仿下游用法的阈值，并强制要求模型具备良好的校准能力。PCS 任务可以自然地分为两个子任务：定位和分类。我们使用正微平均 F1（pmF1）在至少包含一个真值掩码的正向“媒体-短语”对上来评估定位能力。分类能力则通过图像级马修斯相关系数（IL_MCC）来衡量，其取值范围在 $[-1,1]$ 之间，用于评估图像级的二元预测（即“该对象是否存在？”），而不考虑掩码的质量。我们的主要指标——分类门控 F1（cgF1），将上述两者结合如下：$cgF1=100\times pmF1\times IL\_MCC$。完整定义见 §E.3。

【解析】这段内容重新定义了开放世界分割任务的评估标准，其核心思想是从学术界的“理论排序性能”转向工业界的“实际可用性”。作者首先批判了传统的平均精度（AP）指标，指出它作为一个基于排序的指标，忽略了分数的绝对物理意义（即校准性），导致模型可能给出一堆低置信度的结果却依然获得高分，这在实际应用（如机器人抓取）中是不可接受的，因为用户需要一个明确的截断阈值（通常为 0.5）来决定行动。因此，作者强行引入 0.5 的硬阈值，迫使模型不仅要“排得对”，还要“分得准”（即 0.6 的置信度必须代表“有把握”）。在此基础上，评估体系被拆解为正交的两个维度：用 pmF1 衡量“画得准不准”（定位精度），前提是目标已存在；用 IL_MCC 衡量“找得对不对”（分类/存在性判断），MCC 的选择非常精妙，因为它能很好地处理正负样本不平衡的问题（即能同时惩罚误报和漏报）。最终提出的 cgF1 指标是一个极具惩罚性的组合指标，其中的“门控（gated）”一词暗示了分类分数的“一票否决权”——$IL\_MCC$ 充当了门控系数，如果模型无法正确判断物体是否存在（即分类错误），那么无论分割做得多好，最终得分都会被清零或大幅拉低，这种设计迫使 SAM 3 必须同时兼备敏锐的语义识别能力和精准的几何分割能力，缺一不可。

HandlingAmbiguity. We collect 3 annotations per NP on SA-Co/Gold. We measure oracle accuracy comparing each prediction to all ground truths and selecting the best score. See §E.3.

【翻译】处理歧义。我们在 SA-Co/Gold 数据集上为每个名词短语（NP）收集了 3 个标注。我们通过测量“预言机准确率（oracle accuracy）”来进行评估，即比较每一个预测结果与所有的真值（ground truths），并选择其中得分最高的一个作为最终成绩。详情见 §E.3。

【解析】这段简短的文字实际上解决了一个困扰计算机视觉领域的认识论难题——即“真理的相对性”。在开放世界中，对同一个概念（如“桌子”是否包含桌布，“台灯”是否包含电线）往往存在多种合理的解释，单一的真值标注会强行抹杀这种多样性，导致模型被错误地惩罚。作者通过在 SA-Co/Gold 子集上引入“三人盲标”机制，构建了一个包含人类认知差异的“真值集合”，而非唯一的标准答案。更为关键的是采用了“预言机准确率（Oracle Accuracy）”这一评估指标，其核心逻辑是“宽容匹配”：只要模型的预测与三个真值中的任何一个相符，就被视为正确（取最高分）。这种设计极其高明地将评估重心从“猜测特定标注员的个人偏好”转移到了“生成符合人类共识的合理结果”上来，它承认了模糊性的存在，并确保模型不会因为选择了另一种合乎逻辑但非主流的分割边界而受到不公正的评价，从而真实地反映了模型在面对不确定世界时的泛化能力。

6 Experiments

We evaluate SAM 3 across image and video segmentation, few-shot adaptation to detection and counting benchmarks, and segmentation with complex language queries with SAM 3 + MLLM. We also show a subset of ablations, with more in §A. References, more results and details are in §F.

【翻译】我们在图像和视频分割、针对检测和计数基准的少样本适应性，以及结合多模态大语言模型（SAM 3 + MLLM）处理复杂语言查询的分割任务上全面评估了 SAM 3。此外，我们展示了一部分消融实验结果，更多内容详见附录 A。参考文献、更多实验结果及细节请参阅附录 F。

【解析】这段开篇综述勾勒了 SAM 3 验证体系的宏大版图，旨在全方位证明其作为下一代视觉基础模型的通用性与可扩展性。作者并未局限于传统的图像与视频分割这一“基本盘”，而是展示了模型向更高阶认知任务的跨越：首先是“少样本适应性”，这意味着 SAM 3 被测试的不仅是已有的知识，更是其通过极少范例快速学习新概念（如陌生物体检测与计数）的元能力，这直接回应了开放世界中长尾数据的挑战；其次是“复杂语言查询”的评估，通过“SAM 3 + MLLM”的组合拳，作者巧妙地规避了 SAM 3 自身仅支持简单名词短语的限制，验证了其作为模块化组件与大语言模型对接的潜力，从而解锁了需要逻辑推理的复杂语义分割能力。最后，文中提及的消融实验与大量附录内容，暗示了该研究背后庞大的实验工作量，旨在通过拆解各个组件（如存在头、数据引擎）的贡献，从因果关系上确立模型设计的科学性与必要性。

ImagePCSwithText. We evaluate instance segmentation, box detection, and semantic segmentation on external and our benchmarks. SAM 3 is prompted with a single NP at a time, and predicts instance masks, bounding boxes, or semantic masks. As baselines, we evaluate OWLv2, GroundingDino (gDino), and LLMDet on box detection, and prompt SAM 1 with their boxes to evaluate segmentation. We also compare to APE, DINO-X, and Gemini 2.5 Flash, a generalist LLM. Tab. 1 shows that zero-shot, SAM 3 sets a new state-of-the-art on closed-vocabulary COCO, COCO-O and on LVIS boxes, and is signi cantly better on LVIS masks. On open-vocabulary SA-Co/Gold SAM 3 achieves more than double the cgF1 score of the strongest baseline OWLv2⋆, and 74% of the estimated human performance. The improvements are even higher on the other SA-Co splits. Open vocabulary semantic segmentation results on ADE-847, PascalConcept-59, and Cityscapes show that SAM 3 outperforms APE, a strong specialist baseline. See §F.1 for details.

【翻译】基于文本的图像 PCS。我们在外部基准和我们自己的基准上评估了实例分割、边界框检测以及语义分割的表现。每次测试时，SAM 3 接收单个名词短语（NP）作为提示，并预测出实例掩码、边界框或语义掩码。作为基线对比，我们在边界框检测上评估了 OWLv2、GroundingDino (gDino) 和 LLMDet，并通过将它们的边界框作为提示输入 SAM 1 来评估分割效果。我们还与 APE、DINO-X 以及通用大语言模型 Gemini 2.5 Flash 进行了比较。表 1 显示，在零样本（zero-shot）设置下，SAM 3 在封闭词汇的 COCO、COCO-O 以及 LVIS 边界框任务上确立了新的最先进水平（SOTA），并且在 LVIS 掩码任务上优势显著。在开放词汇的 SA-Co/Gold 基准上，SAM 3 取得的 cgF1 分数是最强基线 OWLv2⋆ 的两倍以上，并达到了预估人类表现的 74%。在 SA-Co 的其他子集上，这种提升甚至更高。在 ADE-847、PascalConcept-59 和 Cityscapes 上的开放词汇语义分割结果表明，SAM 3 优于强大的专用基线模型 APE。详情见 §F.1。

【解析】这段内容通过密集的实验数据确立了 SAM 3 在视觉感知领域的统治地位，其核心逻辑在于证明模型不仅能“广覆盖”（开放词汇），还能“高精度”（封闭集 SOTA）。作者设计了一个极为严苛的竞技场，不仅引入了当前最强的检测模型（OWLv2, GroundingDino）作为对手，甚至拉来了通用大模型（Gemini 2.5 Flash）进行跨界对决，这种全方位的对比旨在消除任何关于模型性能的质疑。结果极具震撼力：SAM 3 在 LVIS 等传统封闭数据集上刷新纪录，证明了其基础视觉能力未因追求泛化而退化；而在真正考验语义理解的 SA-Co/Gold 开放基准上，其性能直接实现了对最强竞品的“倍杀”，并逼近人类能力的四分之三，这标志着机器视觉在理解复杂、长尾概念上取得了质的突破。文中提到的将检测器（如 gDino）与 SAM 1 串联作为基线的做法非常有深意，这种“组合式”方案长期以来是业界的标准解法，而 SAM 3 作为一个端到端的原生 PCS 模型能显著超越这种组合方案，有力地证明了将语义理解与几何分割在特征层面（而非结果层面）进行深度融合的架构优势。此外，模型在语义分割任务（如 ADE-847）上的胜利，进一步证实了 SAM 3 的多面手特性，它不仅能区分个体（实例分割），也能理解像素级的类别属性（语义分割），从而真正实现了“分割一切概念”的宏愿。

Few-Shot Adaptation. We evaluate zero- and few-shot transfer of SAM3 on OD in W13 and RF100-VL, with their original labels as prompts. We do not perform any prompt tuning. We fine-tune SAM3 without mask loss, and report average bbox mAP in Tab.2. SAM3 achieves state-of-the-art 10-shot performance, surpassing in-context prompting in Gemini and object detection experts (gDino); more details in §F.3. RF-100VL contains domains with specialized prompts that are out of SAM3’s current scope, but SAM3 adapts through fine-tuning more efficiently than baselines.

【翻译】少样本适应。我们在 ODinW13 和 RF100-VL 数据集上评估了 SAM 3 的零样本（zero-shot）和少样本（few-shot）迁移能力，直接使用数据集的原始标签作为提示。我们不进行任何提示微调（prompt tuning）。我们仅在不计算掩码损失的情况下微调 SAM 3，并在表 2 中报告平均边界框 mAP。结果显示，SAM 3 实现了最先进的 10 样本（10-shot）性能，超越了 Gemini 的上下文提示（in-context prompting）以及对象检测专家模型（如 gDino）；更多细节见 §F.3。尽管 RF-100VL 包含一些具有专业化提示的领域，这些提示超出了 SAM 3 目前的覆盖范围，但实验表明，相比基线模型，SAM 3 能够通过微调更高效地适应这些新领域。

【解析】这段实验旨在验证 SAM 3 的“举一反三”能力，即在数据极度匮乏场景下的迁移学习潜力。作者选择了 ODinW13 和 RF100-VL 这两个极具挑战性的“野外”数据集，它们通常包含工业质检、医疗影像等非通用领域的图像，是对模型泛化边界的极限测试。实验设计的亮点在于其“极简主义”与“高难度”：直接使用原始标签而不进行复杂的提示工程（Prompt Tuning），且在微调时特意去除了掩码损失（Mask Loss），这意味着模型只需要廉价的边界框标注就能完成适配，极大地降低了下游任务的落地门槛。结果具有强烈的对比意义：SAM 3 在仅有 10 个样本的条件下，不仅击败了传统的检测专家 GroundingDino，甚至在与通用大模型 Gemini 的“上下文学习”能力的较量中胜出，确立了 SOTA 地位。特别是针对 RF-100VL 中那些完全超出 SAM 3 预训练认知范围的“生僻概念”（如特定的工业零件代码），模型展现出了惊人的数据效率（Data Efficiency），证明了其通过海量数据预训练习得的底层视觉-语义特征具有极强的可塑性，只需极少的梯度更新就能迅速“触类旁通”，适应全新的专业应用场景。