Policy Gradient with Baseline

策略梯度的推导：

策略梯度中的Baseline：

策略梯度中常用Baseline方法来降低方差，可以使得收敛更快。Baseline可以是一个函数b，该函数是什么都可以，但就是不能依赖于动作A。

下面是Baseline的一个重要等式推导，灰色部分是用链式法则展开，

添加Baseline后的策略梯度：

引入b既然等于0为什么要引入呢？原因是神经网络中的策略梯度并不是按照这个公式计算，而是这个公式的蒙特卡洛近似，如果选取的b合适，那么就会使得蒙特卡洛的方差变小，使得收敛的更快。

添加Baseline后的蒙特卡洛近似：