加州大学最新！CarDreamer：全面、灵活的自动驾驶算法测试开源平台

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『世界模型』技术交流群

论文作者 | Dechen Gao

编辑 | 自动驾驶之心

写在前面&笔者的个人理解

为了在复杂的真实世界场景中安全导航，自动驾驶汽车必须能够适应各种道路条件并预测未来事件。基于世界模型的强化学习（RL）已经成为一种有前景的方法，通过学习和预测各种环境的复杂动态来实现这一点。然而目前并不存在一个用于在复杂驾驶环境中训练和测试此类算法的易于接近的平台。为了填补这一空白，这里介绍了CarDreamer，第一个专为开发和评估基于世界模型的自动驾驶算法设计的开源学习平台。它包含三个关键组成部分：

1）世界模型（WM）主干：CarDreamer整合了一些最先进的世界模型，简化了RL算法的再现。主干部分与其他部分解耦，并使用标准的Gym接口进行通信，以便用户可以轻松集成和测试自己的算法。

2）内置任务：CarDreamer提供了一套高度可配置的驾驶任务，这些任务与Gym接口兼容，并配备了经过实证优化的奖励函数。

3）任务开发套件：CarDreamer集成了灵活的任务开发套件，以简化驾驶任务的创建。该套件使交通流和车辆路线的定义变得容易，并自动收集多模态观测数据。可视化服务器允许用户通过浏览器追踪实时agent驾驶视频和性能指标。此外还使用内置任务进行了广泛的实验，以评估WM在自动驾驶中的性能和潜力。由于CarDreamer的丰富性和灵活性，还系统地研究了观测模式、可观测性和车辆意图共享对AV安全性和效率的影响。

领域发展背景

自动驾驶汽车预计将在未来的移动系统中发挥核心作用，具有许多有前景的益处，如安全性和效率。近年来，自动驾驶汽车的发展取得了巨大的成就。仅在美国，自动驾驶汽车已经在公共道路上行驶了数百万英里。然而，实现能够在复杂多样的现实场景中导航的鲁棒性自动驾驶汽车仍然是一个具有挑战性的前沿。例如，根据美国交通部联邦公路管理局的计算，自动驾驶汽车的碰撞率比传统车辆高出约两倍。

自动驾驶汽车的可靠性直接取决于自动驾驶系统在未预见场景中的泛化能力。世界模型（WM）以其卓越的泛化能力，通过学习环境的复杂动态并预测未来场景，提供了一种有前景的解决方案。特别是，WM学习了一种紧凑的潜在表示，该表示编码了环境的关键元素和动态。这种学习到的表示有助于更好的泛化，使WM能够在超出其训练样本的场景中进行预测。在内部，WM包含模仿人类感知和决策的组件，如视觉模型和记忆模型。事实上，人类之所以能够在遇到罕见或未见过的事件时采取适当的行动，正是因为人类内在的世界模型。通过模拟类似于人类智能的认知过程，基于WM的强化学习（RL）在诸如Atari游戏和Minecraft等领域展示了最先进的性能。然而，WM在自动驾驶中的应用仍然是一个令人兴奋的开放领域，部分原因是缺乏易于使用的平台来训练和测试此类RL算法。开发基于WM的自动驾驶学习平台对于该领域的研究将极为有益。

因此，受到这些因素的驱动，我们推出了CarDreamer，这是首个专门为基于WM的自动驾驶设计的开源学习平台。CarDreamer旨在促进算法的快速开发和评估，使用户能够在提供的任务上测试他们的算法，或者通过全面的开发套件快速实现自定义任务。CarDreamer的三大关键贡献包括：

1. 整合WM算法以实现再现。CarDreamer集成了最先进的WM，包括DreamerV2