强化学习策略梯度梳理2 - AC（附代码）

主要参考文献 Reinforcement Learning: An introduction，Sutton
主要参考课程 Intro to Reinforcement Learning，Bolei Zhou
相关文中代码 https://github.com/ThousandOfWind/RL-basic-alg.git

Actor-Critic

Actor-Critic Policy Gradient （QAC）

从REINFORCE到AC主要就是把MC的估计方式换成自举。
可以把REINFORCE里的$G_t$ 替换为critic：$Q(S_t,A_t,\mathbf{w})$
$$\nabla J(\mathbf{\theta })\propto {\mathbb{E}}_{\pi }[Q(S_t,A_t,\mathbf{w})\nabla \ln (\pi (A_t\mid S_t,\mathbf{\theta }))$$