【转载】Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively

原文链接：ECCV 2024 | SAM再升级！分割和识别2.2万种类别！OV-SAM：交互式分割和识别22,000 种类别！

• 单位：南洋理工大学(Chen Change Loy团队), 上海AI Lab
• 主页：www.mmlab-ntu.com/project/ovsam/
• 代码：github.com/HarborYuan/ovsam
• 论文：https://arxiv.org/abs/2401.02955

CLIP 和分割一切模型 (SAM) 是出色的视觉基础模型 (VFM)。SAM 擅长跨不同领域的分割任务，而 CLIP 以其零样本识别能力而闻名。

本文提出了将这两种模型集成到统一框架中的深入探索。具体来说，我们介绍了 Open-Vocabulary SAM，这是一种受 SAM 启发的模型，专为同步交互式分割和识别而设计，利用两个独特的知识迁移模块：SAM2CLIP 和 CLIP2SAM。

前者通过蒸馏和可学习的Transformer适配器将 SAM 的知识融入到 CLIP 中，而后者则将 CLIP 知识迁移到 SAM 中，增强其识别能力。

实验结果
对各种数据集和检测器的大量实验表明，开放词汇 SAM 在分割和识别任务中的有效性，显著优于简单组合 SAM 和 CLIP 的简单基线。此外，在图像分类数据训练的帮助下，我们的方法可以分割和识别大约 22,000 个类别。