人工标注或成过去式？SSA语义分割框架、SSA-engine自动类别标注引擎，大幅提升细粒度语义标注效率

最新推荐文章于 2025-09-27 01:43:45 发布

原创

最新推荐文章于 2025-09-27 01:43:45 发布 · 1.5k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #人工智能 #深度学习

复旦大学ZVG实验室基于Meta的SegmentAnything模型和SA-1B数据集，开发了SSA语义分割框架和自动注释引擎SSA-engine。SSA能为mask生成细粒度语义标签，填补SA-1B的标注空白，可用于构建大规模语义分割数据集和多模态研究。SSA-engine自动化标注功能减少人工成本，结合SAM和先进模型，提升语义分割性能。

推荐语

4月5日，Meta发布 Segment Anything 模型和 SA-1B 数据集，引发CV届“地震”，其凭借一己之力，成功改写了物体检测、数据标注、图像分割等任务的游戏规则。

复旦大学ZVG实验室团队基于此最新开源了SSA语义分割框架和SSA-engine自动注释引擎，可以为所有mask自动地生成细粒度语义标签，填补了SA-1B中缺乏的细粒度语义标注的空白，为构建大规模语义分割数据集打下基础，也可以用于多模态的特征对齐等研究。

最后，我们提供了包含SA-1B在内的多个数据集快速下载地址，欢迎大家关注与探索。

本文已授权，作者丨复旦大学ZVG实验室

Semantic Segment Anything 丨复旦大学ZVG实验室

Repo: https://github.com/fudan-zvg/Semantic-Segment-Anything

Demo：https://replicate.com/cjwbw/semantic-segment-anything

SAM是一种强大的图像分割模型，SA-1B是目前为止最大的分割数据集。然而，SAM缺乏为每个mask预测语义类别的能力。为了弥补上述不足，我们提出了一个基于SAM的语义分割框架，不仅能准确地分割mask，还能预测每个mask的语义类别，称为Semantic Segment Anything (SSA)。

此外，我们的SSA可以作为一个自动化的稠密开放词汇标注引擎，称为Semantic segment anything labeling engine (SSA-engine)，为SA-1B或任何其他数据集提供丰富的语义类别注释。该引擎显著减少了人工注释及相关成本的需求。

为什么我们需要SSA：

SAM是一种高度可泛化的图像分割算法，可以提供精确的mask分割。SA-1B是迄今为止最大的图像分割数据集，提供了精细的mask分割注释。但是，SAM和SA-1B都没有为每个mask提供类别预测或注释。这使得研究人员难以直接使用强大的SAM算法来解决语义分割任务，或者利用SA-1B来训练自己的模型。
先进的close-set分割器，如Oneformer，open-set分割器，如CLIPSeg，以及image caption方法，如BLIP，可以提供丰富的语义注释。不过，它们的mask分割预测可能无法分割出像SAM那么精确和细腻的边界。
因此，通过将SAM和