33、深度强化学习：奖励设计与过渡函数的关键要点

深度强化学习：奖励设计与过渡函数的关键要点

奖励设计

奖励在强化学习（RL）系统中起着至关重要的作用，它能够鼓励安全探索，并确保系统在现实世界中部署时的鲁棒性。然而，当奖励黑客行为出现时，意味着奖励信号可能存在缺陷。此时，设计者需要采取行动，修复环境中的漏洞或重新设计部分有问题的奖励信号。

要发现奖励黑客行为，我们可以在测试环境中进行观察。具体操作步骤如下：
1. 记录训练期间获得的所有奖励。
2. 计算奖励的均值、众数和标准差。
3. 扫描异常和极端值。
4. 如果发现极端奖励值，确定相关场景并手动检查，观察智能体的行为如何导致这些异常奖励值。
5. 为了便于调试，还可以保存这些场景的视频回放，或者在能够重现有问题场景的情况下实时观察环境。

在设计奖励信号时，需要考虑以下因素：
1. 奖励值的选择 ：一个好的起点是使用正值表示良好情况，零表示中性情况，负值表示不良情况。同时要注意奖励的尺度，避免使用极端值。
2. 稀疏或密集奖励信号的选择 ：稀疏奖励易于设计，但往往会使问题变得更加困难；密集奖励设计难度较大，但能为智能体提供更多反馈。
3. 奖励黑客行为和安全性 ：持续评估智能体和环境，确保不发生奖励黑客行为。负责任地进行智能体训练和环境设计，以确保部署系统的安全性。

奖励信号可以看作是将人类关于任务的先验知识、期望和常识传递给智能体的一种代理。由于当前强化学习的设置方式，智能体并不像人类一样理解或看待任务，它的唯一目标是最大化目标。所有行为都源于奖励信号，因此为了鼓