2025_NIPS_VL-SAM-V2: Open-World Object Detection with General and Specific Query Fusion

文章主要内容和创新点总结

主要内容

当前视觉感知模型在封闭集场景下表现优异，但在开放世界中面临新物体检测的挑战。开放世界感知方法分为开放集（需人工提供预定义类别列表）和开放端（无需预定义类别，自动发现新物体）两类，前者难以自动发现新类别且对稀有物体检测效果差，后者整体性能较低。

为此，本文提出开放世界目标检测框架VL-SAM-V2，整合开放集和开放端方法的优势：

1. 以开放集模型的查询为“特定查询”（擅长常见物体），以VL-SAM生成的查询为“通用查询”（依托视觉语言模型的泛化性，擅长发现新物体）；
2. 设计通用与特定查询融合模块，通过注意力机制实现两类查询的轻量级交互；
3. 引入排序可学习查询，将VL-SAM的点提示按分数排序后与可学习查询匹配，丰富查询多样性；
4. 提出去噪点训练策略，通过添加正负噪声点稳定训练过程、降低训练成本；
5. 模型可动态切换模式：提供预定义类别列表时为开放集模式，列表为空时为开放端模式。

实验结果显示，VL-SAM-V2在LVIS、COCO、CODA等数据集上，无论是开放集还是开放端检测任务，均超越现有SOTA方法，尤其在稀有物体检测上性能提升显著；与SAM结合后，在开放世界实例分割任务中也表现出色。

创新点

1. 提出通用与特定查询融合模块，首次整合开放集和开放端方法的查询信息，实现两类方法优势互补，且支持动态模式切换；
2. 设计排序可学习查询机制，通过分数排序匹配点提示与可学习查询，解决点提示无顺序导致的查询表征