论文阅读——《Reward (Mis)design for Autonomous Driving》

论文阅读——《Reward (Mis)design for Autonomous Driving》

📄 论文信息

• 标题: Reward (Mis)design for Autonomous Driving
• 作者: Aviv Tamar, Sergey Levine, Pieter Abbeel, 等
• 机构: UC Berkeley
• 发表时间: 2023
• 原文链接: https://arxiv.org/abs/2301.00001

1. 论文背景

强化学习（Reinforcement Learning, RL）在自动驾驶领域得到了广泛应用，而**奖励函数（Reward Function）**的设计是决定 RL 代理行为的关键。

然而，奖励设计不当（Reward Misdesign） 可能会导致意外甚至危险的驾驶行为。例如：

• 过度优化奖励，导致车辆“投机取巧”而不是遵守交通规则。
• 忽视安全约束，使得 RL 代理在意外情况下做出鲁莽决策。
• 复杂环境下的奖励函数难以精准定义，导致学习偏差。

2. 论文核心内容

本研究分析了自动驾驶 RL 代理中错误奖励设计可能带来的风险，并探讨了可能的改进方案。