51-63 VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning 基于概率规划的端到端自动驾驶

24年2月，地平线、华中科技大学联合发布了一个基于概率规划的端到端矢量驾驶模型VADv2，其性能远超同期多模态大语言驾驶模型DriveMLM。

Abstract

从大规模驾驶演示中学习类人驾驶策略很有前景，但规划的不确定性和非确定性性质使其具有挑战性。在这项工作中，为了解决不确定性问题，我们提出了一种基于概率规划的端到端驾驶模型VADv2。VADv2以多视图图像序列作为输入，将传感器数据转换为环境令牌嵌入token embeddings，输出动作的概率分布，并对一个动作进行采样以控制车辆。仅使用相机传感器VADv2在CARLA Town05基准测试中实现了最先进的闭环性能。它以完全端到端的方式稳定运行，即使没有基于规则的包装器。

1. Introduction

端到端自动驾驶是近年来一个重要而热门的领域。大规模的人类驾驶演示很容易获得。从大规模示范中学习类似人类的驾驶策略似乎是很有希望的。

然而，规划的不确定性和非确定性性质使得从驾驶演示中提取驾驶知识具有挑战性。为了证明这种不确定性，图 1 给出了两种情景。1)跟随其他车辆。人类驾驶员有多种合理的驾驶操作，保持跟随或变道超车。2)与来车辆互动。人类驾驶员有两种可能的驾驶策略：退让或超车。从统计学的角度来看，动作(包括时机和速度)是高度随机的，受到许多无法建模的