深度学习笔记——“Mastering the game of Go with deep neural networks and tree search”论文学习

深度学习笔记——“Mastering the game of Go with deep neural networks and tree search”论文学习

题目

“通过深度神经网络和树搜索征服围棋游戏”，英文原文链接点击这里。

摘要

围棋游戏一直被视为人工智能经典游戏中最具挑战性的游戏，因为它具有巨大的搜索空间和评估棋盘盘面和移动的难度。在这里，我们介绍一种新的计算方法，它使用“价值网络”(value networks)来评估棋盘盘面，并使用“策略网络”(policy networks)来选择走法。这些深度神经网络采用了一种新颖的方法进行训练，即将有监督学习（从人类职业比赛中学习）和强化学习（从自我对抗的比赛中学习）相结合。在没有使用任何前瞻性搜索的情况下，这些神经网络的水平已经相当于最先进的使用蒙特卡罗树搜索(MCTS：Monte Carlo tree search)的程序，这些程序模拟了成千上万的随机的自我对抗盘局。我们还引入了一种新的搜索算法，将蒙特卡罗模拟与价值和政策网络相结合。使用这种搜索算法后，我们的程序AlphaGo在和其它围棋程序的对弈中达到了99.8%的胜率，并且以5比0击败了欧洲围棋冠军。这是计算机程序首次在全尺寸的围棋对抗中击败人类职业围棋选手，这是一项以前被认为至少需要十年才能完成的壮举。

• 笔记：需要掌握的有：“价值网络”(value networks)、“政策网络”(policy networks)、蒙特卡罗树搜索(MCTS：Monte Carlo tree search)、将蒙特卡罗模拟与价值和政策网络相结合的搜索算法

引言

所有完美信息博弈(ga