11、基于内在和外在奖励的约束强化学习

基于内在和外在奖励的约束强化学习

1. 引言

学习智能体的主要目标通常由实验者确定。在强化学习中，其目标是最大化一个标量奖励函数，而这个奖励函数需要通过反复试验为每个任务进行设计。实现能有效提升学习能力的学习算法固然重要，但设计合适奖励函数的原则在未来会变得愈发关键。

奖励函数可分为外在奖励和内在奖励两类。在很多情况下，外在奖励除了对应重要事件的少数关键点外，其他地方取值都为零。虽然设计这种稀疏奖励函数比设计密集奖励函数容易，但稀疏奖励会阻碍学习智能体的高效学习。相反，内在奖励通常被视为密集奖励函数，因为它大多时候都会给出非零奖励，其计算通常基于智能体的内部信息，如感官输入。尽管内在奖励通常与任务无关，但它在设计开放式系统中起着重要作用。

近期，一些研究者对基于内在奖励的学习算法展开了研究。不过，大多数先前的研究并未探讨外在奖励对内在动机学习的负面影响，外在奖励如何促进或阻碍学习过程仍不明确。为解决这一问题，我们从约束优化问题的角度来研究内在和外在奖励之间的相互作用。学习智能体试图在由外在奖励给出的不等式约束下，最大化长期平均内在奖励。我们提出了一种新的框架——约束策略梯度强化学习（CPGRL），它由策略梯度强化学习（PGRL）算法和梯度投影方法组成。为评估CPGRL，我们进行了两个模拟实验：一个简单的三状态马尔可夫决策问题和一个机械臂控制任务。

2. 约束策略梯度强化学习

2.1 公式化

在每个时间步，智能体观察到一个状态 $x \in X$，并以概率 $\mu_{\theta}(x,u): X \times U \to [0, 1]$ 执行一个动作 $u \in U$，其中 $\theta \in R^n$