15、利用演员 - 评论家方法解决更复杂的问题

利用演员 - 评论家方法解决更复杂的问题

1. 状态价值函数训练

在强化学习中，我们通常熟悉动作价值（Q）函数的训练。对于动作价值，我们会计算给定状态 - 动作对的预期回报（未来折扣奖励的总和），这样就能预测该状态 - 动作对会带来正奖励、负奖励还是介于两者之间。

在深度Q网络（DQN）中，Q网络会为每个可能的离散动作返回单独的动作价值。如果采用像ε - 贪心这样合理的策略，状态价值本质上就是最高的动作价值。所以，状态价值函数只需计算这个最高动作价值，而无需为每个动作分别计算动作价值。

2. 分布式训练

在深度学习中，我们通常进行批量训练，即把训练数据的随机子集批量组合在一起，计算整个批次的损失，然后进行反向传播和梯度下降。这是因为如果一次只用一条数据进行训练，梯度的方差会太大，参数无法收敛到最优值。我们需要对一批数据中的噪声进行平均，以获得真实信号，然后再更新模型参数。

例如，在训练一个识别手写数字的图像分类器时，如果一次只训练一张图像，算法会认为背景像素和前景数字同样重要，只有将多张图像的信息平均起来，才能看到真正的信号。在强化学习中，这就是为什么我们在DQN中使用经验回放缓冲区的原因。

然而，拥有足够大的回放缓冲区需要大量内存，在某些情况下，回放缓冲区并不实用。回放缓冲区适用于强化学习环境和智能体算法遵循马尔可夫决策过程的严格标准，特别是马尔可夫性质。马尔可夫性质表明，状态$S_t$的最优动作可以在不参考任何先前状态$S_{t - 1}$的情况下计算，无需保留先前访问状态的历史记录。对于简单游戏来说，情况确实如此，但对于更复杂的环境，可能需要记住过去才能选择当前的最佳选项。

在许多复杂游戏中