【OVOD、OSOD、OWOD】_open vocabulary object detection 和 open world obje-优快云博客

本文链接：https://blog.youkuaiyun.com/bryant_meng/article/details/145888286

在这里插入图片描述

文章目录

介绍
腾讯开源YOLO-World，超轻量级开集目标检测，20倍加速（附论文及源码）
开放词汇对象检测综述
南洋理工最新综述！开放世界目标检测大观~
开集目标检测（Open-Set Object Detection）算法是什么？

介绍

Open-Set Object Detection（开放集目标检测）、Open Vocabulary Object Detection（开放词汇目标检测）以及Open World Object Detection（开放世界目标检测）是计算机视觉领域中处理目标检测任务的三种不同方法。

区别

（1）未知类别的处理方式

Open-Set Object Detection：该方法能够识别图像中的已知目标对象，并将其与不属于已知类别的未知目标对象区分开来。它侧重于将未知对象标记为 “unknown”，以避免将它们错误地检测为已知目标对象。

Open Vocabulary Object Detection：该方法要求模型超越训练阶段有限的基类（base classes）标签，从而在推理阶段检测由无界（开放）词汇表定义的新类别。它利用视觉-语言模型等技术，将文本描述与图像特征相结合，实现对新类别的检测。

Open World Object Detection：该方法不仅将未知类别识别为“unknown”，还具备增量学习未知类别的能力。它能够在识别出新类别后，通过增量学习的方式将这些新类别纳入已知类别范畴，同时不会忘记之前已经学会的类别。

（2）技术特点

Open-Set：主要依赖于训练阶段学习到的特征表示来区分已知和未知类别。

Open Vocabulary：通常需要一个双路径模型，包括视觉对象检测器和文本编码器，利用视觉-语言模型等技术提升性能。

Open World：在Open-Set的基础上，增加了增量学习的能力，能够持续更新和扩展已知类别集合。

（3）应用场景

Open-Set：适用于需要识别已知类别并拒绝未知类别的场景，如安全监控、自动驾驶中的障碍物检测等。

Open Vocabulary：适用于需要识别和定位多样化对象类别的场景，如图像搜索、智能相册整理等。

Open World：更适用于需要不断学习和适应新环境的场景，如智能家居、机器人导航等。

（4）联系

目标相似性：三者都旨在提升目标检测模型的泛化能力，使其能够处理更多样化的对象类别和场景。
技术融合：在实际应用中，这三种方法的技术可以相互融合。例如，可以先使用 Open-Set 方法识别出已知和未知类别，然后利用 Open Vocabulary 方法对未知类别进行进一步识别和定位；同时，Open World 方法可以在此基础上实现增量学习，不断更新和完善模型。
挑战与机遇：三者都面临着计算负担、部署复杂性等挑战。然而，随着深度学习、视觉-语言模型等技术的不断发展，这些挑战也为研究者提供了更多的创新机遇和可能性。