2025_NIPS_Leader360V: A Large-scale, Real-world 360 Video Dataset for Multi-task Learning in Diverse

文章核心总结与创新点

一、主要内容

本文针对360度视频场景理解（实例分割与跟踪任务）中缺乏大规模、带标注真实世界数据集的问题，提出了Leader360V数据集和A³360V自动标注流水线：

1. Leader360V数据集：首个大规模（10K+视频）、带密集帧级标注的真实世界360度视频数据集，覆盖198种目标类型，包含室内、城市、自然、动态户外等多样化场景，支持分割（Leader360V-S）和跟踪（Leader360V-T）双任务，数据来源包括现有公开数据集（如360VOTS、PanoVOS）和自采集视频，经标准化预处理（裁剪、隐私保护、场景平衡）确保质量。
2. A³360V自动标注流水线：为解决360度视频极坐标投影（ERP）带来的极地失真、水平边界不连续等标注难题，设计三阶段自动标注框架：
   • 初始标注阶段：通过水平填充和滑动窗口处理帧图像，融合多2D分割器（实体分割器如SAM、全景分割器如OneFormer）输出，结合语义与失真感知优化（SDR）模块，利用大语言模型（LLM）统一语义标签，引导SAM2生成失真适配掩码。
   • 自动优化标注阶段：基于掩码覆盖率动态评估，通过运动连续性优化（MCR）模块解决边界不连续、遮挡导致的掩码缺失问