26、策略梯度与值方法的强化学习

策略梯度与值方法的强化学习

1. 策略梯度强化学习

1.1 优化器选择

在策略梯度学习中，Adadelta 和 Adagrad 优化器所做的假设并非总是适用。因此，建议使用基本的随机梯度下降（SGD）优化器，并手动设置学习率。不过，在 95% 的情况下，像 Adadelta 或 Adagrad 这样的自适应优化器仍是最佳选择，它们能让训练更快且更省心。但在极少数情况下，就需要使用普通的 SGD 优化器，所以了解如何手动设置学习率是很有必要的。

1.2 训练数据使用

与之前的训练不同，在经验缓冲区上只进行单轮训练。之前的数据是熟练人类玩家在真实游戏中做出的决策，质量较高；而自对弈数据的游戏结果部分是随机的，不清楚哪些移动对胜利有贡献。因此，不建议重复使用单个游戏记录，以免放大其中的误导性数据。好在强化学习有无限的训练数据供应，所以应该进行另一批自对弈来生成新的训练集。

1.3 训练脚本示例

以下是一个训练脚本示例，可在 GitHub 的 train_pg.py 中找到完整脚本：

learning_agent = agent.load_policy_agent(h5py.File(learning_agent_filename))
for exp_filename in experience_files:  
    exp_buffer = rl.load_experience(h5py.File(exp_filename))
    learning_agent.train(
        exp_buffer,