深度学习笔记——“Mastering the game of Go with deep neural networks and tree search”论文学习

蒙特卡罗树搜索+深度学习 -- AlphaGo原版论文阅读笔记 原版论文是《Mastering the game of Go with deep neural networks and tree search》,有时间的还是建议读一读,没时间的可以看看我这篇笔记凑活一下。网上有一些分析AlphaGo的文章,但最经典的肯定还是原文,还是踏踏实实搞懂AlphaGo的基本原理我们再来吹牛逼吧。需要的基础是机器学习基本理论+蒙特卡罗树搜索(MCTS)。 阅读详情

深度学习笔记——“Mastering the game of Go with deep neural networks and tree search”论文学习

题目

“通过深度神经网络和树搜索征服围棋游戏”,英文原文链接点击这里。

摘要

围棋游戏一直被视为人工智能经典游戏中最具挑战性的游戏,因为它具有巨大的搜索空间和评估棋盘盘面和移动的难度。在这里,我们介绍一种新的计算方法,它使用“价值网络”(value networks)来评估棋盘盘面,并使用“策略网络”(policy networks)来选择走法。这些深度神经网络采用了一种新颖的方法进行训练,即将有监督学习(从人类职业比赛中学习)和强化学习(从自我对抗的比赛中学习)相结合。在没有使用任何前瞻性搜索的情况下,这些神经网络的水平已经相当于最先进的使用蒙特卡罗树搜索(MCTS:Monte Carlo tree search)的程序,这些程序模拟了成千上万的随机的自我对抗盘局。我们还引入了一种新的搜索算法,将蒙特卡罗模拟与价值和政策网络相结合。使用这种搜索算法后,我们的程序AlphaGo在和其它围棋程序的对弈中达到了99.8%的胜率,并且以5比0击败了欧洲围棋冠军。这是计算机程序首次在全尺寸的围棋对抗中击败人类职业围棋选手,这是一项以前被认为至少需要十年才能完成的壮举。

  • 笔记:需要掌握的有:“价值网络”(value networks)、“政策网络”(policy networks)、蒙特卡罗树搜索(MCTS:Monte Carlo tree search)、将蒙特卡罗模拟与价值和政策网络相结合的搜索算法

引言

所有完美信息博弈(games of perfect information)[^1]都有一个优值函数, v*(s),它从每一个棋局或者说状态s中决定了最终的博弈结果(在所有对手都完美发挥的情况下)。可以通过在搜索树中递归计算优值函数来解决这个博弈,它大约需要计算 b d b^{d} bd个可能的落子序列,其中,b是博弈的宽度(每次下棋时合法的落子个数),d是它的深度(博弈步数的长度)。在大型博弈中,比如国际象棋(b≈35,d≈80)、以及尤其是围棋中(b≈250,d≈150),穷举搜索是不可行的,但是有效的搜索空间可以通过两种通用的原则减少。首先是,可以通过棋局评估来减少搜索的深度: 在状态 s 时对搜索树进行剪枝,并且通过一个近似的估值函数 v(s) ≈ v*(s) 来替换 s 下面的子树,从而预测状态 s 的结果[^2]。这种方法在国际象棋、跳棋、黑白棋中都获得了超人的表现,但在围棋中却被认为是难以驾驭的,因为围棋实在是太复杂。其次是,搜索的广度可以通过来自策略 p(a∣s) 的采样动作来降低,该策略 p(a | s) 是在某一位置 s 处可能的落子位置 a 的概率分布[^3]。例如,比如蒙特卡洛走子方法搜索到最大深度时候根本不使用分枝界定法,它通过策略 p 对双方棋手的一系列下棋走法进行采样。计算这些走子的平均数可以产生一个有效的棋局评估,在西洋双陆棋戏和拼字游戏中获得了超出人类的性能表现,并且在围棋中达到了业余低段水平。

  • 笔记:
  • [^1]感觉“完美信息”和“完全信息”两个概念不是很好区分,我觉得可能用反面例子来解释会比较好理解。
    • 在博弈的每个行动时点上,参与人可能无法获悉决策所需的全部信息。这包括相关的外部环境——比如天气——的不确定性,以及对方先前或当前的行动,这类情况称为不完美信息(imperfect information) ;
    • 当一个参与人比另一个参与人了解更多信息时,这类情况称为不完全信息(incomplete information),或者更恰当的称呼是非对称信息(asymmetric information)
    • 所以,下棋时,双方既知道目前的战况以及过去的棋步,也没有不确定的外部环境,而且双方了解的信息同样多,因此应该认为下棋为一种完美信息博弈。
  • [^2]不是很懂,棋局评估如何完成? v(s) ≈ v*(s) 又是如何得到的呢?这里是不是就是所谓的中间评估函数(intermediate valuation function),因为由于博弈树的巨大,我们并不能预测整个游戏的结局,而又只有终点结才被赋予了由博弈规则所刻画的支付(payoff),所以我们必须赋予我们所能预见到的非终点结以某种支付,这种赋予非终点结支付的规则被称为中间评估函数(intermediate valuation function),(参考自《策略博弈》中国人民大学出版社 第三章 序贯行动博弈),所以依靠它,我们可以减少搜索的深度。它的改进可以通过反复的实战经验和对棋盘上错综复杂的关系的认知而得来,这种就是我们所说的微妙的弈棋思维,这对人类来说很容易获取,但对计算机来说就不那么容易了,是否这就会用到该篇论文之后介绍的深度神经网络来完成?
  • [^3]这个概率分布是如何得到的?

蒙特卡洛树搜索(MCTS)[^4]使用蒙特卡洛走子方法(Monte Carlo rollouts)[^5],评估搜索树中每一个状态的估值。随着模拟的次数越来越多,搜索树也越来越大,而且相关估值愈发精确。在搜索过程中用于选择下棋动作的策略,也随着时间的推移有所改进,这种改进也就是选择具有更高价值的子树。渐渐地,该策略收敛于最优下法,并且评估也收敛到最优值函数。目前最强的围棋程序是基于MCTS的,通过训练来预测人类棋手的落子,从而越来越强。这些策略过去是用来缩小搜索范围的,使搜索范围成为一束高概率的下棋动作,并且用来在快速走棋中对动作进行采样。这种方法达到了较好的业余段位水平,但是,以前的工作仅局限于基于对输入特征进行线性组合的估值函数或者浅层策略的限制。

  • 笔记:
  • [^4]参考链接可以大致明白MCTS的原理,以及我在github上找到了一个简单实现MCTS的小项目,能帮助更好的理解MCTS,其中函数TREEPOLICY、EXPAND和BESTCHILD实现前两步,选择和扩展,之后DEFAULTPOLICY完成模拟,最后BACKUP完成回溯。UCTSEARCH函数中,反复迭代这几个过程,使得最后的“胜率”收敛。
  • [^5]Rollout:在西洋双陆棋中,每一个位置的期望值就叫做这个位置的期望(“equity”),通过蒙特卡洛采样对"equity"进行估计就叫做进行"rollout"。论文中一般称为快速走棋。

最近,深度卷积神经网络在视觉领域取得了前所未有的成绩,例如图像分类、人脸识别和Atari游戏。它们使用许多层神经元,层与层之间像瓦片一样排列重叠在一起,来构造逐渐抽象的、局部的图像表示。我们采用类似的架构来进行围棋游戏。我们将棋局以一个19*19大小的图片传入,然后使用卷积层来构造位置的表示。我们使用这些神经网络来降低搜索树的有效的深度和广度:使用价值网络评估棋局,使用策略网络对落子动作进行取样[^6]。

  • 笔记:[^6]所以价值网络应该与第三步模拟,即上述github项目中的DEFAULTPOLICY完成的功能类似,或者说与快速走子策略完成的功能类似,策略网络应该与上述github项目中的BESTCHILD完成的功能类似。

我们使用由几个机器学习阶段组成的管道来训练神经网络(图1)。我们首先直接利用人类专业棋手的落子来训练监督学习(SL)策略网络pσ 。这通过即时的反馈和高质量的梯度,提供了快速、高效的学习更新。与以前的工作类似,我们还训练了快速策略网络 pπ ,它能够在rollout期间迅速对动作进行采样。接下来,我们训练强化学习(RL)策略网络pρ ,它能够通过优化自我博弈的最终结果,来改善SL策略网络的性能。这会将策略调整到以赢棋为正确目标,而不是最大化提高预测精度。最后,我们训练一个价值网络 vθ,来预测RL策略网进行自我博弈的结果。我们的AlphaGo程序利用MCTS将上述策略网络和价值网络有效地结合在一起。

中英AlphaGo论文:精通围棋博弈的深层神经网络和树搜索算法(附PDF公号发“AlphaGo论文”下载论文双语对照版) 中英AlphaGo论文:精通围棋博弈的深层神经网络和树搜索算法(附PDF公号发“AlphaGo论文”下载论文双语对照版) 原创: 秦陇纪 数据简化DataSimp 今天 数据简化DataSimp导读:谷歌人工智能DeepMind围棋团队2016.1.28在《自然》杂志发表nature16961号论文《精通围棋博弈的深层神经网络和树搜索算法》英文讲述AlphaGo算法,是人工智能(AI机器学... 阅读详情

相关推荐

Mastering the game of Go with deep neural networks and tree search 中英文

Google的deepmind团队发表在nature上有关alphago的论文,包含原有的英文版,我翻译的中文版,以及一个20分钟对alphago工作原理的讲述。

【论文翻译】Mastering the game of Go with deep neural networks and tree search( 用深度神经网络和树搜索实现围棋游戏)

The game of Go has long been viewed as the most challenging of classic games for artificial intelligence owing to its enormous search space and the difficulty of evaluating board positions and moves. ...

hwnbox的博客 9220

mastering the game of go with deep neural networks and tree search.pdf

alpha go 系列1,主要讲述Monte-Carlo tree search (MCTS) 蒙特卡洛树搜索,作为入门第一篇还是可以的

Mastering the game of Go with deep neural networks and tree search (AlphaGo)

围棋游戏因其巨大的搜索空间以及评估棋盘位置和动作的难度,一直被视为人工智能经典游戏中最具挑战性的游戏。本文使用value network评估棋盘位置,并使用policy network选择行为。这些深度神经网络是通过人类专家游戏中的有监督学习和self-play中的强化学习的新颖组合来训练的。同时,本文还提出一种新的MCTS搜索算法,该算法将蒙特卡洛模拟与价值和策略网络相结合。 文章目录IntroductionSupervised learning of policy networksReinforcem

KunBB的博客 1185

Mastering the game of Go with deep neural networks and tree search

AlphaGo的原式论文,包含mcts算法以及UCT算法的详细介绍。

人工智能精选论文(强化学习)

Human-level control through deep reinforcement learning Playing Atari with Deep Reinforcement Learning Deep Learning for Detecting Robotic Grasps Mastering the game of Go with deep neural networks and tree search ........

【论文阅读】Mastering the game of Go with deep neural networks and tree search

AlphaGo技术解析

见见大魔王 1758

基于YOLOv8的多类别检测模型融合实战:从数据集重构到模型训练

本文详细介绍了如何将多个单一类别的YOLOv8检测模型融合为一个高效的多类别检测模型。通过重构数据集、利用预训练模型生成新标签,并重新训练,解决了多模型并行带来的速度慢、资源占用高和部署复杂等问题。实战流程涵盖数据准备、标签生成、模型训练与评估,旨在帮助开发者构建性能优异的YOLOv8多类别检测模型。

kmeans3miner的博客 229

AlphaGo论文的译文,用深度神经网络和树搜索征服围棋:Mastering the game of Go with deep neural networks and tree search

围棋的英文是 the game of Go,标题翻译为:《用深度神经网络和树搜索征服围棋》

caitao_zhan 3万+

洪水风险图制作全流程:HEC-RAS 与 ArcGIS 的耦合应用

本文系统介绍HEC-RAS水动力模拟软件在水利工程中的应用技术。内容涵盖:1)软件理论与安装;2)一维地形数据导入与河网构建;3)恒定流/非恒定流计算及模型调试要点;4)构筑物建模技术(桥梁、堰闸等);5)二维水动力模拟与溃坝分析;6)洪水风险图绘制。重点讲解水面线调试、糙率选取、报错分析等实操难点,通过案例教学实现从基础到工程应用的全流程技术掌握。该培训适用于防洪评价、河道治理等水利工程数值模拟需求。

2403_89974123的博客 1056

【软件介绍】RVC本地部署使用方法

【摘要】RVC是一款功能强大的开源语音转换工具,具有实时处理、多音效选择、高质量音频处理等特点。文章详细介绍了RVC的安装与使用方法:1)配置Python环境;2)根据电脑系统选择对应安装包解压;3)启动程序进入浏览器操作界面。重点讲解了声音克隆的关键步骤:建议使用短音频素材,选择合适训练方法(推荐pm或rmvpe),设置100次训练轮数,生成的模型文件存入weights文件夹。最后通过上传音频即可实现声音克隆。操作过程需注意保持程序运行状态,并提供了相关资源下载地址。

心动的那一刻,记忆便盛开了花 2989

AlphaGo是如何炼成的:解读论文 "Mastering the game of Go with deep neural networks and tree search"

这篇发表在nature 2016年1月27日上的文章题目为:"Mastering the game of Go with deep neural networks and tree search"来自Google deep mind,它阐述了AlphaGo的模型过程和训练方法,让我们对这篇论文进行解读,看看为何AlphaGo可以成为迄今最强大的围棋对弈程序吧。 论文地址为:Mastering th...

GhostLWB的博客 3773

Zemax实战:20×超高清变焦镜头设计全流程解析(从架构到制造)

本文详细解析了使用Zemax软件设计一款20倍变焦比、恒定F2.8光圈8K超高清镜头的全流程。从应对恒定光圈、宽光谱与8K解析力三大挑战的初始架构规划,到构建多重组态模型、分七阶段进行像差优化与公差分析,最终跨越制造鸿沟,为广播级影视与高精度工业检测应用提供了实战指南。

sun99的博客 552

论文笔记:Mastering the game of Go with deep neural networks and tree search

Mastering the game of Go with deep neural networks and tree search Nature 2015   这是本人论文笔记系列第二篇 Nature 的文章了,第一篇是 DQN。好紧张!好兴奋!   本文可谓是在世界上赚够了吸引力!   围棋游戏被看做是 AI 领域最有挑战的经典游戏,由于其无穷的搜索空间 和...

a1424262219的博客 434

uniapp+google map不显示

uniapp+renderJS+google map开发安卓版APP非小程序,google map小叉号不显示,google map自定义marker右上角的小叉号如何去掉,uniapp+google map不显示

renkai721的专栏 528

IPOP 使用详解 (附IPOP工具包)

IP 地址动态绑定功能;路由信息查询和配置功能;MAC 地址信息查询和修改功能;MAC 、主机信息扫描功能;本机网络报文统计功能;本机端口列表、远程端口扫描功能;端口映射功能;网卡流量统计功能;本机 IP 报文捕获和发送功能;终端控制功能(支持 telnet 、 dos、 ssh、 sftp 、ftp、com 等协议);TCL 脚本支持;多种服务功能( tcp/udp/ping/telnet/ftp/tftp/web/team/syslog/smtp );

悦分享 1万+

Mastering the game of Go with deep neural networks and tree search翻译

摘要 长期以来,围棋游戏一直被认为是人工智能中最具挑战性的游戏,这是由于其巨大的搜索空间以及评估棋盘位置和动作的困难。在这里,我们介绍了一种新的玩围棋的方法,该方法使用“价值网络”来评估棋盘位置,用“策略网络”来选择动作。这些深度神经网络通过从人类专家游戏数据中进行有监督学习,并从self-play游戏中进行强化学习来训练。在没有任何lookahead搜索的情况下,神经网络通过在模拟数千次self-play的最优蒙特卡洛树搜索上玩围棋游戏。我们还引入了一种新的搜索算法,将蒙特卡洛模拟与价值和策略网络相结合。

nopSled 834

Allegro基本规则设置指导书之Spacing Region

当网络需要在Region中需要按照自身的规则匹配时,可以创建Region Class来匹配。Region也支持Class to Class规则,点击ok即可。Allegro基本规则设置指导书之Spacing Region。下面介绍基本规则设置指导书之Spacing Region。给创建好的Region 匹配一个规则。空白的地方创建一个Region。

weixin_54787054的博客 565

Mastering the game of Go with deep neural networks and tree search 概括

  文章投稿于2016年的《Nature》,它是多种计算方法的集合。“价值网络”评估棋局、“策略网络”选择落子,深层神经网络,由人类专家博弈训练的监督学习和电脑自我博弈训练的强化学习,共同构成的一种新型组合。在没有任何预先搜索的情境下,这些神经网络能与顶尖水平的、模拟了千万次随机自我博弈的蒙特卡洛树搜索程序下围棋。这篇文章提出了一个新的搜索算法,结合了估值和策略网络的蒙特卡洛模拟算法。   本文...

ENAIC__suger的博客 580

喷涂机器人系列编程:ABB IRB 5500_(9).常见故障诊断与排除

ABB IRB 5500 喷涂机器人在实际应用中可能会遇到各种故障,但通过系统的诊断和排除方法,可以确保生产线的连续运行。定期维护和保养是预防故障的重要手段,而操作培训和规范则能有效减少人为因素引起的故障。希望本节内容能帮助操作和维护人员提高故障诊断和排除的效率,确保喷涂机器人的稳定运行。如果您有任何疑问或需要进一步的帮助,请联系 ABB 客户服务中心。

zhubeibei168的博客 1045

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

AlphaGo-Nature: Mastering the game of Go with deep neural networks and tree search

AlphaGo论文浅析Introduction 大作业让分析一下这篇论文,正好整理到博客上。 Introduction 首先介绍了一下之前破解各种游戏所采用的搜索空间剪枝的原则。以及Monte Carlo tree search (MCTS),在围棋上达到了较强的业余选手水平,但是离人类顶尖职业选手还是有不少差距。 本文将围棋19x19的棋盘位置作为一个19x19 image送入CNN。使用神经网...

judgechen1997的博客 555

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

【论文理解】AlphaGo:Mastering the game of Go with deep neural networks and tree search

AlphaGo实现原理简单总结

WitsMakeMen的专栏 625

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

《Mastering the game of Go with deep neural networks and tree search》

1. 围棋问题在人工智能界之所以难以解决的问题所在? • 围棋的棋盘位置较多,导致在走棋时搜索空间巨大 • 对于当前棋盘分布和下一步落子优劣性衡量具有一定难度 2. AlphaGo的技术解决方案和核心的算法思想 使用值网络来评估棋盘的布局,以及使用策略网络来选择每一次落子。这些深度神经网络在基于人类棋手的比赛的数据,通过对有监督学习的一种新的组合和自我对弈的强化学习来实现的。不使用前向搜索,而是使...

Forlogenの解忧杂货铺 2134

深入解读AlphaGo,Nature-2016:Mastering the game of Go with deep neural networks and tree search

主要参考: http://blog.youkuaiyun.com/songrotek/article/details/50610684 http://studygolang.com/articles/6466 http://www.360doc.com/content/16/0317/09/31057678_542874401.shtml http://blog.youkuaiyun.com/u010

mmc2015的专栏 2419

Mastering the game of Go with deep neural networks and tree search浅析

Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search." Nature 529.7587 (2016): 484-489.   推荐PPT:https://wenku.baidu.com/view/3cbb606f49649b6648d747fb.html?from=sea...

weixin_34366546的博客 121
上一篇: 面试经历记录——东方海外OOCL上海软件开发中心实习生
下一篇: 工作笔记1——利用bat脚本实现批量上传文件到ftp服务器
github_37462634
博客等级 码龄10年 27粉丝 13原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值