中国科学院大学与美团发布首个交互式驾驶世界模型数据集DrivingDojo：推进交互式与知识丰富的驾驶世界模型

本文链接：https://blog.youkuaiyun.com/laukal/article/details/143028742

中国科学院大学与美团发布首个交互式驾驶世界模型数据集DrivingDojo：推进交互式与知识丰富的驾驶世界模型

Abstract

驾驶世界模型因其对复杂物理动态的建模能力而受到越来越多的关注。然而，由于现有驾驶数据集中的视频多样性有限，其卓越的建模能力尚未得到充分发挥。为此，我们引入了 DrivingDojo，这是首个专门为训练具有复杂驾驶动态的交互式世界模型量身定制的数据集。该数据集包含完整的驾驶操作、多样化的多主体交互，以及丰富的开放世界驾驶知识，为未来世界模型的发展奠定了基础。我们进一步定义了一个基于行动指令跟随 (AIF) 的基准测试，展示了所提出数据集在生成行动控制的未来预测中的优势。

代码获取：https://drivingdojo.github.io

欢迎加入自动驾驶实战群

Introduction

世界模型因其能够对现实世界复杂的物理动态进行建模而备受关注，它们还具有作为通用模拟器的潜力，能够根据不同的行动指令预测未来状态。通过视频生成技术的进步，模型如 Sora 在生成高质量视频方面取得了显著成功，从而开辟了将视频生成视为现实世界动态建模问题的新途径。特别是生成式世界模型作为现实世界模拟器显示出巨大的潜力，并在自动驾驶领域引发了广泛的研究。

然而，现有的驾驶世界模型在满足自动驾驶基于模型规划的需求方面尚显不足，尤其是在涉及多样化的驾驶操作和复杂的多主体交互的情况下。这些模型在非交互式直线路径驾驶场景中表现良好，但在跟随更具挑战性的行动指令（如变道）方面表现有限。构建下一代驾驶世界模型的一个主要障碍在于数据集。当前常用于世界模型文献中的自动驾驶数据集，如 nuScenes、Waymo 和 ONCE，主要是为感知任务设计的，导致其驾驶模式和多主体交互的数据较为有限，难以充分捕捉现实世界驾驶环境的复杂动态。

在本文中，我们提出了 DrivingDojo，这是一个大规模的驾驶视频数据集，旨在模拟现实世界的视觉交互。该数据集具备驾驶操作完整性、多主体交互性，以及丰富的开放世界驾驶知识。DrivingDojo 数据集包含丰富的纵向操作（如加速、紧急刹车和停车启动）和横向操作（如掉头、超车和变道）。此外，我们还特别设计数据集，包含大量包含多主体交互的轨迹（如插入、切断和正面汇入）。最后，DrivingDojo 包含稀有事件的视频，如穿越动物、掉落的瓶子和路面碎片。

为了衡量驾驶场景建模的进展，我们提出了一个新的行动指令跟随 (AIF) 基准，用以评估世界模型执行合理未来滚动预测的能力。AIF 基准通过计算生成视频中动作与给定指令的误差来评估长期运动可控性。我们还在 DrivingDojo 数据集上评估了世界模型的基线方法。

3. The DrivingDojo Dataset

我们的目标是提供一个大型且多样化的动作指令驾驶视频数据集——DrivingDojo，以支持驾驶世界模型的发展。为实现这一目标，我们从通过车队数据收集的视频池中提取了高度信息化的剪辑，这些数据跨越了数年，涵盖了超过500辆运营车辆，分布于中国多个主要城市。DrivingDojo 特点包括多样化的自车动作、与道路使用者的丰富交互，以及稀有的驾驶知识，这对于高质量的未来预测至关重要，如表2所示。

我们从 DrivingDojo 的设计原则及其与现有数据集的独特性开始进行说明，详见3.1至3.3节。然后，我们在3.4节中描述了数据筛选程序和统计信息。

3.1 动作的完整性

将驾驶世界模型作为真实世界模拟器使用时，要求它能够准确地遵循动作指令。现有的自动驾驶数据集（如 ONCE 和 nuScenes）通常是为开发感知算法而设计的，因此缺乏多样的驾驶操作。

为使世界模型能够生成无限数量的高保真、可控动作的虚拟驾驶环境，我们创建了一个名为 DrivingDojo-Action 的子集，该子集特征为驾驶操作的平衡分布。该子集涵盖了多种纵向操作（如加速、减速、紧急刹车和起停驾驶）以及横向操作（如变道和保持车道）。如图3a所示，我们的 DrivingDojo-Action 子集相较于现有的自动驾驶数据集提供了更平衡和完整的自车动作集。