CVPR2023｜小红书提出 OvarNet 模型：开集预测的新SOTA，“万物识别”有了新玩法

在 CVPR2023 上，小红书社区技术团队提出了一项全新任务 —— Open-vocabulary Object Attribute Recognition（面向开放词汇的目标检测与属性识别）。该任务旨在采用单一模型对图像中任何类别目标同时进行定位、分类和属性预测，从而推动目标识别能力向更高的深度和广度发展。本文提出了 OvarNet 这一全新模型，OvarNet 基于海量多模态数据预训练的视觉语言模型开发，利用可获得的目标检测和属性识别数据进行 Prompt Learning（提示式学习）。同时，为了进一步获得高度可用的 Zero-shot 识别能力，我们从大规模图文数据中提取细粒度的类别和属性表示，进行弱监督学习。此外，我们还采用知识蒸馏的方式简化模型计算复杂度，显著提升 OvarNet 的实用性和时效性。实验结果表明，OvarNet 在开集目标检测和属性识别任务上取得了新 SOTA，证明了识别语义类别和属性对于视觉场景理解的互补性。

理解视觉场景中的目标一直以来都是计算机视觉发展的主要驱动力，例如，目标检测任务的目的是在图像中定位出目标并为其分配预定义的语义标签，如“汽车”、“人”或“杯子”。尽管目标检测算法取得了巨大的成功，但是这种任务定义在很大程度上简化了我们对视觉世界的理解，因为一个视觉目标除了语义类别外，还可以从许多其他方面进行描述，例如，一辆公共汽车可以是“黄色”或“黑色”，一件衬衫可以是“条纹”或“无图案”。因此，学习属性可以补充类别级别的识别，从而获得更全面更细粒度的视觉感知。

已有大量的研究表明，理解目标的属性可以极大地促进目标识别和检测，甚至是对在训练集中极少出现或根本没有的视觉目标样例。然而，这些开创性工作中所考虑的问题和今天的标准相去甚远，例如，属性分类通常在以目标为中心的图像上进行训练和评估，而且属性的类别是固定的，有时甚至将目标的类别作为已知的先验。