强化学习之父Richard Sutton给出一个简单思路，大幅增强所有RL算法

来源 | 机器之心

在当今的大模型时代，以 RLHF 为代表的强化学习方法具有无可替代的重要性，甚至成为了 OpenAI ο1 等模型实现强大推理能力的关键。

但这些强化学习方法仍有改进空间。近日，强化学习之父、阿尔伯塔大学教授 Richard Sutton 的团队低调更新了一篇论文，其中提出了一种新的通用思想 Reward Centering，并称该思想适用于几乎所有强化学习算法。这里我们将其译为「奖励聚中」。

该论文是首届强化学习会议（RLC 2024）的入选论文之一。一作 Abhishek Naik 刚刚从阿尔伯塔大学获得博士学位，他是 Sutton 教授的第 12 位博士毕业生。
 

下面我们简要看看 Reward Centering 有何创新之处。

• 论文标题：Reward Centering

• 论文地址：https://arxiv.org/pdf/2405.09999

奖励聚中理论

智能体和环境之间的交互可以表述为一个有限马尔可夫决策过程（MDP）(S, A, R, p)，其中 S 表示状态集，A 表示动作集，R 表示奖励集，p : S × R × S × A → [0, 1] 表示转换的动态。在时间步骤 t，智能体处于状态 S_t，使用行为策略 b : A × S → [0, 1] 采取行动 A_t，然后根据转换动态:

观察下一个状态 S_{t+1} 和奖励 R_{t+1}。

这里研究的问题是持续性问题，即智能体和环境的交互会无限地进行。智能体的目标是最大化长期获得的平均奖励。为此，该团队考虑了估计每个状态的预期折扣奖励总和的方法：