【强化学习】强化学习数学基础：贝尔曼公式

强化学习的数学原理课程总览

贝尔曼公式（Bellman Equation）

• 一个核心的概念：状态值（state value）
• 一个基础工具：the Bellman equation

一个示例

**为什么return是重要的？**首先我们根据一个轨迹（trajectory）获得rewards的（discounted）sum。如下所示：

根据上图所示，有两个问题：

• 问题1：从s1点出发，哪种policy是“best”？，哪一个是“worst”？
  直观上看，第一个是最优的，第二个是最差的，这是因为第二个经过了forbidden area。

• 问题2：是否可以用数学公式描述这样一种直观感觉？
  可以，使用return来评估policies。

基于策略1（左边图），从s1开始，the discounted return计算如下：
$$retur{n}_1=0+\gamma 1+{\gamma }^{2}1+...=\gamma (1+\gamma +{\gamma }^2+...)=\frac{\gamma }{1-\gamma }$$
基于策略2（中间图），从s1开始，the discounted return是：
$$retur{n}_2=-1+\gamma 1+{\gamma }^{2}1+...=-1+\gamma (1+\gamma +{\gamma }^2+...)=-1+\frac{\gamma }{1-\gamma }$$
策略3是随机性的，基于第三个策略（右边图），从s1出发，discounted return是：
$$retur{n}_3=0.5(-1+\frac{\gamma }{1-\gamma })+0.5(\frac{\gamma }{1-\gamma })=-0.5+\frac{\gamma }{1-\gamma }$$

基于上面的计算可知，从s1出发，$retur{n}_1>retur{n}_3>retur{n}_2$。因此从结果上看，这是符合之前的直觉的。所以，通过计算return可以评估一个policy的优劣。

那么如何计算return？刚才是用return的定义，现在用一个更好的方法来计算它。以如下图为例：

• 方法1：由定义计算，令$v_i$表示从$s_i(i=1,2,3,4)$出发得到的return
  
• 方法2：先看下面式子
  
  从上面式子中可以得出结论：return依赖于其他状态，这个思想称为Boostrapping。

如何求解这些等式？我们可以将上面的公式写成一个矩阵向量的形式：

可以写为：
$$\mathrm{v}=\mathrm{r}+\gamma \mathrm{Pv}$$
这个公式就是一个贝尔曼公式（Bellman equation）（对于这样一个具体的确定性问题）：

• 尽管简单，但是它证明一个关键思想：一个状态的值依赖于其他状态的值
• 一个矩阵-向量形式可以更加清晰地知道如何求解状态值。

状态值

首先，定义几个概念。考虑这样一个单步（single-step）的过程：

其中:

• $t,t+1$：离散时间
• $S_t$：在时刻$t$的状态
• $A_t$：在状态$S_t$采取的动作
• $R_{t+1}$：采取动作$A_t$之后得到的奖励
• $S_{t+1}$：采取动作$A_t$之后转移到的状态

注意：$S_t,A_t,R_{t+1}$都是随机变量（random variables）。

根据下面的概率分布决定后续的步骤：

在某一时刻，我们假设我们知道这个模型，即概率分布。

将上面的单步过程推广到一个多步的trajectory上，可以得到：

则discounted return计算如下：
$$G_t$$