73、深度强化学习在棋类游戏中的应用：从AlphaGo到AlphaZero

深度强化学习在棋类游戏中的应用：从AlphaGo到AlphaZero

1. 引导（Bootstrapping）中的应用

传统上，蒙特卡罗树搜索（Monte Carlo tree search）通过重复进行蒙特卡罗展开（Monte Carlo rollouts）来改进状态 - 动作对值 $Q(s, a)$ 的估计。不过，使用展开的方法通常可以用引导（bootstrapping）来替代蒙特卡罗展开。蒙特卡罗树搜索是 n 步时序差分（n - step temporal - difference）方法的一个很好的替代方案。

• n 步时序差分方法的问题 ：基于策略的 n 步时序差分方法使用 $\epsilon$-贪心策略探索 n 步的单一序列，因此往往比较弱（探索深度增加但宽度不足）。
• 增强方法 ：可以检查所有可能的 n 序列，并使用离策略技术（即推广贝尔曼的单步方法）选择最优序列。例如，塞缪尔（Samuel）的跳棋程序使用极小极大树中的最佳选项进行引导（后来被称为 TD - Leaf），但这会增加探索所有可能 n 序列的复杂度。
• 蒙特卡罗树搜索的优势 ：蒙特卡罗树搜索可以从一个节点探索多个分支，生成平均目标值，为引导提供了一个强大的替代方案。例如，基于前瞻的真实值可以使用从给定节点开始的所有探索的平均性能。

AlphaGo Zero 是一个特殊的例子，它引导的是策略而不是状态值。它使用每个节点分支的相对访问概率作为该状态下动作的后验概率。这些后验概率优于策略网络的概率输出，因为访问决策利用了未来的知识（