24、自动驾驶车辆的博弈论决策方法

自动驾驶车辆的博弈论决策方法

1. 引言

未来50年，自动驾驶车辆（ADV）将与人类驾驶车辆（HDV）在道路上共存，这使得两类车辆之间会频繁产生交互。目前主流行业中的4级自动驾驶车辆往往会限制而非增强这种交互。例如，在涉及交互的复杂场景中，自动驾驶车辆倾向于减速停车，而非主动寻找替代路线。

解决自动驾驶车辆在动态和交互式交通场景中的决策挑战是一项复杂的任务，仅依靠预定义的代码或规则几乎无法解决这些问题。此外，自动驾驶车辆需要行驶2.75亿英里且无致命事故，才能达到人类驾驶车辆的可靠性。道路测试不仅成本高昂、耗费大量能源，还可能对行人造成潜在危险。因此，在高保真模拟环境中对不同的驾驶行为进行建模，并评估决策算法，对于提高自动驾驶车辆的安全性、减少对实际道路测试的依赖具有重要意义。

我们主要关注使用博弈论（GT）和深度强化学习（DRL）对车辆交互进行建模。学习车辆可以通过探索自动有效地学习这种复杂的交互，随着时间的推移，在虚拟环境的多车辆场景中通过交互收集数据，从而获得更成功的驾驶体验。

自动驾驶车辆在实际交通场景中的行为具有明显特征：
- 自动驾驶车辆的决策会受到附近车辆行动的影响，反之亦然。
- 车辆之间存在丰富的动态交互行为，它们不仅会合作避免碰撞，还会根据不同的驾驶策略进行竞争。
- 自动驾驶车辆对人类驾驶车辆的驾驶策略了解有限，必须依靠观察对方的行动来进行估计。

以往有多种方法用于对多车辆之间的交互进行建模，如决策树、部分可观察马尔可夫决策过程（POMDP）、动态贝叶斯网络、模型预测控制（MPC）和数据驱动方法等，但这些方法存在一定局限性。博弈论可以提供数学模型来分析理性主体之间的战略交互，可用于描述多辆