强化学习 李宏毅 上课笔记（一）

马尔科夫链#

RL分类

policy-based

基于策略的，mm输出是下一步的各种可能的期望，从而直接做出策略，该怎么走

value-based

基于值的，mm输出的是当前状态到终点可以获得的奖励（R）的期望。

actor

目标：最大化E(R)
episode：被认为是轨迹$\tau$（从开始到结束）

• τ = { s 1 , a 1 , r 1 , s 2 , a 2 , r 2 . . . , s T , a T , r T } \tau=\{s_1,a_1,r_1,s_2,a_2,r_2...,s_T,a_T,r_T\} τ={s1​,a1​,r1​,s2​,a2​,r2​...,sT​,aT​,rT​}
• $R(\tau )={\Sigma }_{n=1}^N{r}_n$
• $P(\tau |\Theta )$:表示$\tau$的发生概率和$\Theta$有关
• $\overline{R_{\Theta }}=\sum _{\tau }R(\tau )P(\tau |\Theta )\approx \frac{1}{N}{\Sigma }_{n=1}^{N}R({\tau }^n)$
  $\frac{1}{N}{\Sigma }_{n=1}^{N}R({\tau }^n)$
  使用${\pi }_{\Theta }$去玩N次游戏，得到轨迹抽样。单个样本被抽中的几率就是$N\ast P(\tau |\Theta )$，再乘上$\frac{1}{N}$再求和就近似前一项。

gradient ascent 梯度上升

• 从${\Theta }^0$开始
• ${\Theta }^1\leftarrow {\Theta }^0+\eta \nabla \overline{R_{{\Theta }^0}}$
• ${\Theta }^2\leftarrow {\Theta }^1+\eta \nabla \overline{R_{{\Theta }^1}}$
• … …

$\nabla \overline{R_{{\Theta }^1}}$表示的是在${\Theta }^1$策略下获得的总奖励关于${\Theta }^1$的梯度，举个例子，当奖励是正的，说明这个策略是好的，那么就让当前的趋势，也就是奖励$R$相对于$\Theta$的梯度，让$\Theta$保持这样的趋势，就是加上它。

求梯度

• $\overline{R_{\Theta }}=\sum _{\tau }R(\tau )P(\tau |\Theta )$

$\nabla \overline{R_{\Theta }}=?$

• $\nabla \overline{R_{\Theta }}=\sum _{\tau }R(\tau )\nabla P(\tau |\Theta )=\sum _{\tau }R(\tau )P(\tau |\Theta )\frac{\nabla P(\tau |\Theta )}{P(\tau |\Theta )}$
  这里的$R(\tau )$不一定是可微的，当成黑箱子也没关系
  根据之前的公式$\sum _{\tau }R(\tau )P(\tau |\Theta )\approx \frac{1}{N}{\Sigma }_{n=1}^{N}R({\tau }^n)$，代入上式。
• $\approx \frac{1}{N}{\Sigma }_{n=1}^{N}R({\tau }^n)\nabla \log P(\tau |\Theta )$

$\nabla \log P(\tau |\Theta )=?$
$\nabla \log P(\tau |\Theta )={\Sigma }_{t=1}^T\nabla \log p(a_t|s_t,\Theta )$
综上
$\nabla \overline{R_{\Theta }}=\frac{1}{N}{\Sigma }_{n=1}^N{\Sigma }_{t=1}^{T_n}R({\tau }^n)\nabla \log p(a_t|s_t,\Theta )$
我说一下我对下面公式的理解，取N次抽象的路径，每个路径的总收益计算为R，每次actor的几率取log再微分，再总和这个路径上各个时间的类似操作，乘上之前的R，计算N次相加再平均。

直觉

$\nabla \log p(a_t|s_t,\Theta )$ 为什么不是$\nabla p(a_t|s_t,\Theta )$ 基于直觉的解释：

当上面情形出现的时候，如果选择$\nabla p(a_t|s_t,\Theta )$我们会认为执行动作b可以带来3的回报，与预期不符。选择$\nabla \log p(a_t|s_t,\Theta )$ 也就是除以$p(a_t|s_t,\Theta )$，可以展现每个动作的真实回报。

baseline

上述公式从
$\nabla \overline{R_{\Theta }}=\frac{1}{N}{\Sigma }_{n=1}^N{\Sigma }_{t=1}^{T_n}R({\tau }^n)\nabla \log p(a_t|s_t,\Theta )$
变为
$\nabla \overline{R_{\Theta }}=\frac{1}{N}{\Sigma }_{n=1}^N{\Sigma }_{t=1}^{T_n}(R-b)({\tau }^n)\nabla \log p(a_t|s_t,\Theta )$

这是因为假如某个动作带来的回报很大，但是没有被抽样到，此时其他的动作带来的回报就会变得更大（抽样更多）。此时设置b为baseline，让其他回报小但抽样多的动作，得到的是负回报，这样最终的结果可以趋向于真实值。

从分类问题的角度看policy grandient

分类的目标函数
Minimize：$-{\Sigma }_{i=1}^3\widehat{y_i}\log y_i$
也就是
Maximize:${\Sigma }_{i=1}^3\log y_i$
我们的问题:
Maximize: $\frac{1}{N}{\Sigma }_{n=1}^{N}R({\tau }^n)\nabla \log P(\tau |\Theta )$
也就是
Maximize: ${\Sigma }_{n=1}^N\log P(\tau |\Theta )$
所以可以说，我们的问题就类似于分类的问题
$\nabla \overline{R_{\Theta }}=\frac{1}{N}{\Sigma }_{n=1}^N{\Sigma }_{t=1}^{T_n}R({\tau }^n)\nabla \log p(a_t|s_t,\Theta )$
可以看成完全按照规定的轨迹走
$R({\tau }^n)$则是在N次抽样中，按照该轨迹走的次数。