【强化学习】Trust Region Policy Optization（TRPO）

Policy Gradient的缺点

根据策略梯度方法，参数更新的方法是
$${\theta }_{new}={\theta }_{old}+\alpha {\nabla }_{\theta }J$$
策略梯度算法的硬伤就在更新步长$\alpha$，当步长不合适时，更新的参数所对应的策略是一个更不好的策略，当利用这个更不好的策略进行采样学习时，再次更新的参数会更差，因此很容易导致越学越差，最后崩溃。

（对于监督性学习来说，当某次迭代前后结果相差太大时，下一次更新有可能会解决这个问题）
合适的步长是指当策略更新后，回报函数的值不能更差。为了实现这一点，一般的想法就是将新策略的回报分解为旧策略的回报加上旧策略的一些什么东西。

贝尔曼公式的等效方法

假设$\eta ({\pi }_{\theta })$表示当前策略${\pi }_{\theta }$下轨迹$\tau$的累积反馈值期望（${\pi }_{\theta }\to \pi$）：
$$\eta (\pi )=E_{\tau \sim \pi }[\sum _{t=0}^{\infty }{\gamma }^t(r(s_t))]$$
其中$\gamma$是折扣系数。则新策略$\tilde{\pi }$与旧策略$\pi$之间存在以下关系（类似于贝尔曼公式）：
$$\eta (\tilde{\pi })=\eta (\pi )+E_{\tau \sim \tilde{\pi }}[\sum _{t=0}^{\infty }{\gamma }^t{A}_{\pi }(s_t,a_t)]\text{,(1)}$$
其中 A A A</