2025_NIPS_OpenAD: Open-World Autonomous Driving Benchmark for 3D Object Detection

文章主要内容与创新点总结

一、主要内容

本文针对自动驾驶领域3D开放世界目标检测缺乏全面基准和鲁棒方法的问题，提出了首个真实世界开放世界自动驾驶3D目标检测基准OpenAD。该基准基于多模态大语言模型（MLLM）构建的极端案例发现与标注流水线，整合了5个自动驾驶感知数据集的2000个场景，统一标注格式并涵盖206类目标（含常见目标和极端案例目标），总计19761个标注对象。

文章设计了适配开放世界场景的评估指标（包括考虑位置与语义相似度的AP/AR、回归误差指标ATE/ASE等），并对现有2D/3D开放世界模型、专用模型进行了全面评估。同时，提出两种基线方法：一是视觉中心的3D开放世界目标检测框架，利用现有2D开放世界模型生成提案并转换为3D边界框；二是融合通用模型与专用模型的集成方法，结合两者优势提升检测精度。实验表明，现有开放世界模型具备更强的领域泛化和开放词汇能力，而专用模型在常见类别上表现更优，集成方法可实现两者性能互补。

二、创新点

1. 首个真实世界3D开放世界基准：OpenAD是首个面向自动驾驶3D感知的真实世界开放世界基准，解决了现有基准缺乏统一格式、类别覆盖不足、场景单一的问题，涵盖多国家/地区、多天气/时段的场景，支持领域泛化和开放词汇能力的综合评估。
2. MLLM驱动的标注流水线：提出整合MLLM的半自动化标注流程，能自动识别极端案例场景并生成语义标注，结合点云聚类与人工校正完成2D/3D边界框标注，在保证准确性（约90%）的同时降低人工成本。