强化学习理论基础：从Q-learning到PPO的算法演进（2）

---

Policy gradient思想（REINFORCE算法）

下面我们来探讨一下Policy gradient策略，也就是REINFORCE算法。

在玩剪刀石头布这个简单的游戏中，我们可以有不同的策略。一种是完全随机地出，毫无规律；另一种是根据对手上一轮出的来决定自己这一轮出什么。但是，我们如何去判断哪种策略更好呢？

这就需要引入两个重要概念：“轨迹”和“轨迹的回报期望”。

轨迹可以表示为S0，a1，r1，S1，a2，r2，S2……它记录了游戏过程中的状态、行动和获得的回报。

而轨迹的回报期望则用公式来表示为：

J ( θ ) = E τ ∼ π θ [ G ( τ ) R ( s t , a t ) ] = E s t , a t ∼ π θ ∑ t = 0 T γ t R ( s t , a t ) J(\theta) = E_{\tau \sim \pi_{\theta}} [G(\tau) R(s_t, a_t)] = E_{s_t, a_t \sim \pi_{\theta}} \sum_{t = 0}^{T} \ga