强化学习策略梯度梳理3-SOTA上（附PPO2代码）

强化学习策略梯度梳理-SOTA

这个部分主要参考周博磊老师的第六节的顺序
主要参考课程 Intro to Reinforcement Learning，Bolei Zhou
相关文中代码 https://github.com/ThousandOfWind/RL-basic-alg.git

进阶方向1

PG

首先策略的优化目标是
$$J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[R(\tau )]$$
策略梯度的计算方法
$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\mathbb{E}}_{{\pi }_{\theta }}\left[G_t{\nabla }_{\theta }\log {\pi }_{\theta }(s,a)\right]\\ & \approx \frac{1}{N}\sum _{i=1}^N{G}_t^i{\nabla }_{\theta }\log {\pi }_{\theta }\left(s_i,a_i\right)\end{array}$$

通过引入baseline我们可以削减方差
$$A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$$

这里我还有个不太明白的地方， 为什么baseline可以用state value替代，因为我们期待的baseline应该是与策略无关吧， 但是V多多少少还是和策略有关呀，也可能我理解错了

总结

好精辟，这我不得背下来！

$$\begin{array}{rl}{\nabla }_{\theta }J(\theta )& ={\mathbb{E}}_{{\pi }_{\theta }}\left[{\nabla }_{\theta }\log {\pi }_{\theta }(s,a)G_t\right]-\text{ REINFORCE }\\ & ={\mathbb{E}}_{{\pi }_{\theta }}[{\nabla }_{\theta }\log {\pi }_{\theta }(s\\ & \\ & \end{array}$$