生命游戏 并行化_动手实现并行版AlphaZero五子棋

最新推荐文章于 2021-07-10 19:19:05 发布
原创 最新推荐文章于 2021-07-10 19:19:05 发布 · 714 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#生命游戏 并行化

本文介绍如何动手实现并行版的AlphaZero五子棋算法，通过线程池、Root Parallelization和Tree Parallelization提高性能。利用C++、蒙特卡洛树搜索、LibTorch以及CUDA Stream进行优化，测试显示训练效率提升至少10倍。

动手实现并行版AlphaZero五子棋

前言

项目链接：github.com/hijkzzz/alp…

AlphaZero算法已经发布了一年多了，GitHub也有各种各样的实现，有一千行Python代码单线程低性能版，也有数万行C++代码的分布式版本。但是这些实现都不能满足一般的算法爱好者的需求，即一个简单的并且单机的可运行的高性能AlphaZero算法。

一图解密AlphaZero

首先我们通过一张图了解一下AlphaZero算法的原理

432aa553e5a3ef4ba5edf1a6c86cd5fe.png

可以看到AlaphaGo Zero的算法流程分为：

  1. 自对弈(利用蒙特卡洛树搜索)N局生成棋谱
  2. 利用生成的棋谱训练网络
  3. 评估新训练的网络

分析

对于Python版本的AlphaZero算法，通常受限制于GIL，过程中最耗时间的自对弈阶段(见下图)无法并行化，所以最直接的优化方式是使用C++这种高性能语言实现底层运算细节。

fb9e7342b86e31c0dbf8bd37c842d7a0.png

解决方法

线程池

github.com/hijkzzz/alp…

为了并行化自对弈过程，首先我们需

最低0.47元/天 解锁文章
JAVA:实现MonteCarloTreeSearch蒙特卡洛树搜索算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
08-13 655
JAVA:实现MonteCarloTreeSearch蒙特卡洛树搜索算法(附完整源码)
采用蒙特卡洛树搜索实现3人斗地主AI
08-27 1320
蒙特卡洛树搜索全称 Monte Carlo Tree Search（MCTS），是一种人工智能问题中做出最优决策的方法，一般是在组合博弈中的行动（move）规划形式。它结合了随机模拟的一般性和树搜索的准确性。MCTS 受到快速关注主要是由计算机围棋程序的成功以及其潜在的在众多难题上的应用所致。超越博弈游戏本身，MCTS 理论上可以被用在以 {状态 state，行动 action} 对定义和用模拟进...
并行化实现生命游戏
dglx_的博客
01-12 889
并行化实现生命游戏 题目描述： ​ 生命游戏其实是一个零玩家游戏，它包括一个二维矩形世界，这个世界中的每个方格居住着一个活着的或死了的细胞。一个细胞在下一个时刻生死取决于相邻八个方格中活着的或死了的细胞的数量。如果相邻方格活着的细胞数量过多，这个细胞会因为资源匮乏而在下一个时刻死去；相反，如果周围活细胞过少，这个细胞会因太孤单而死去。 具体规则如下： 1)如果一个细胞周围有3个细胞为生(一个...
java实现蒙特卡洛树搜索_蒙特卡洛树搜索：Tic-Tac-Toe的实施
weixin_39548733的博客
12-23 417
编辑：搜索搜索空间并找到导致丢失的移动 . 但是由于UCT算法，不会经常访问导致损失的移动 .要了解MCTS(蒙特卡罗树搜索)，我已经使用该算法为经典的井字游戏制作AI . 我使用以下设计实现了算法：树策略基于UCT，默认策略是在游戏结束前执行随机移动 . 我在实现中观察到的是，计算机有时会进行错误的移动，因为它无法直接导致特定的移动 .例如：注意动作6(红色方块)的值略高于蓝色方块，因此计算机标...
基于深度学习的蒙特卡洛树搜索五子棋游戏
06-08
现阶段网络上的五子棋游戏主要是剪枝法或者人工标注，这样导致了机器落子具有了局限性，遇到全新的棋形时无法正确落子。基于上面五子棋游戏的漏洞，本文设计一学习型五子棋博弈算法，算法通过深度学习和蒙特卡洛树搜索算法打破既定规则，提高了机器在下棋时的多变性。该软件使用的神经网络将我方落子、敌方落子、当前落子位置以及当前落子玩家，四个矩阵作为输入数据，加强了网络提取特征的速度和拟合效率，并获取每个点的概率值。在蒙特卡洛树搜索算法中使用了快速落子方式，即标注出多个关键点的价值，使得在模拟时，不需要在无胜算的地方随机落子，通过这种方法可以提高落子效率。该算法经过一定规模的训练达到了较好的博弈水平。本软件优点在于，通过使用蒙特卡洛树搜索算法让计算机可以不再依靠人类创造的落子策略，使用深度学习可以加快运算出蒙特卡洛概率值，提高整体游戏落子速度。该算法建立在深度学习的相关知识和计算机博弈的相关知识基础上，实现了基于深度学习与蒙特卡洛树搜索的五子棋博弈算法，并设计出卷积网络接口net。
动手实现并行版AlphaZero五子棋
weixin_33736832的博客
03-20 1143
前言 项目链接：github.com/hijkzzz/alp… AlphaZero算法已经发布了一年多了，GitHub也有各种各样的实现，有一千行Python代码单线程低性能版，也有数万行C++代码的分布式版本。但是这些实现都不能满足一般的算法爱好者的需求，即一个简单的并且单机的可运行的高性能AlphaZero算法。 一图解密AlphaZero 首先我们通过一张图了解一下AlphaZero算法...
alphago zero实现零样本五子棋对战（python代码）
最新发布
06-30
在本项目中，AI的训练过程完全在CPU上进行，并行化处理使得AI能够在短时间内快速学习。经过一天半的训练后，AI的水平已经达到了人类无法战胜的地步。这一成果的出现，不仅标志着算法的高效性，也展现了在资源有限的...
多线程AlphaZero实现五子棋算法Alpha-zero-gomoku
实现AlphaZero五子棋时，使用了多线程技术，这允许算法同时运行多个模拟或搜索过程。这种并行化技术是提高算法效率的关键，尤其是在需要进行大量计算的深度学习和MCTS中。具体来说，该实现采用了具有虚拟损失的树根...
精选资源
alpha-zero-gomoku:AlphaZero的多线程实现
05-08
AlphaZero五子棋 AlphaZero的多线程实现 特征 自由式五子棋 具有虚拟损失/ LibTorch的树/根并行化 Gomoku和MCTS用C ++编写 SWIG wrap C ++扩展 更新2019.7.10：支持Ubuntu和Windows 精氨酸 编辑config.py 环境 ...
Python-TheanoLasagne用AlphaZero类似算法玩五子棋
08-11
在本文中，我们将深入探讨如何使用Python编程语言，结合Theano和Lasagne库，实现一个类似于AlphaZero的算法来玩五子棋游戏。AlphaZero是由DeepMind开发的，它通过自我对弈强化学习，展示了在围棋、国际象棋和Shogi等...
pgol:Conway 的生命游戏并行实现 (MPIOpenMPCUDA)
07-03
pgol 康威生命游戏并行实现
生命游戏MPI并行实现
05-06
生命游戏在C语言基础上的MPI并行实现，运行环境VS+MPICH2
康威生命游戏C语言并行实现（intrinsics)
01-13
康威生命游戏SIMD版本实现，采用C语言的intrinsics实现并行。支持计算繁殖时间和简单的繁殖过程绘图。编译环境为VS2010.
HPC-project:openMP，MPI和CUDA中生命游戏的并行化
04-19
高PPPPPP性能计算项目 openMP，MPI和CUDA中生命游戏的并行化
围棋AI，基于蒙特卡洛树搜索(MCTS)算法 Java版.zip
06-07
围棋AI，基于蒙特卡洛树搜索(MCTS)算法 Java版.zip
java生命游戏并行_Java架构--线程的发展历史
weixin_39689687的博客
11-25 315
专题简介作为一个合格的Java程序员，必须要对并发编程有一个深层次的了解，在很多互联网企业都会重点考察这一块。可能很多工作3年以上的Java程序员对于这一领域几乎没有太多研究。所以在接下来内容中，我会将并发编程整个领域由浅到深做非常全面的分析。内容导航从操作系统的发展了解进程、线程模型线程的优势线程的生命周期线程的应用场景01了解进程、线程模型每次学习一个新技术，我会先去了解这个技术的背景，这个过...
分布与并行计算—生命游戏（Java）
weixin_44560620的博客
01-29 1121
生命游戏其实是一个零玩家游戏，它包括一个二维矩形世界，这个世界中的每个方格居住着一个活着的或死了的细胞。一个细胞在下一个时刻生死取决于相邻八个方格中活着的或死了的细胞的数量。如果相邻方格活着的细胞数量过多，这个细胞会因为资源匮乏而在下一个时刻死去；相反，如果周围活细胞过少，这个细胞会因太孤单而死去。 具体规则如下： 1）如果一个细胞周围有3个细胞为生（一个细胞周围共有8个细胞），则该细胞为生（即该细胞若原先为死，则转为生，若原先为生，则保持不变） 。 2） 如果一个细胞周围有2个细胞为生，则该细胞的生死状态
如何用蒙特卡洛树搜索(MCTS)制作智能五子棋【含源码】_01
热门推荐
bowean的博客
04-17 1万+
近几年来，随着谷歌的阿尔法狗和阿尔法元的问世，蒙特卡洛树搜索(MCTS)，作为一种不需要特定领域的先验知识的搜索算法逐渐被人们重视起来。其可以在无任何已知知识，而仅需要了解模拟规则和结束状态的情况下，得到非常好的策略。但是由于其盲目的搜索，其运行时间和对内存空间的需求成为衡量其性能的主要因素之一。随着计算机的计算能力提升，对于一些特定的状态空间较少的问题，MCTS可以在其中表现优秀。五子棋是初学者...
蒙特卡洛树搜索(MCTS)实现简易五子棋AI
weixin_44169614的博客
07-10 7332
蒙特卡洛树搜索算法可以通过自我对弈模拟得到不同状态分支中获胜的概率，从而获得最优的策略。代码部分可以分为Node类和State类。Node类通过关联父节点和子节点实现树结构，同时保存每个节点的属性；State类描述游戏的规则并判断胜负。 模型结构参考了https://ai-boson.github.io/mcts/ 先导入所需要的模块 import numpy as np import random as rd import copy from collections import defaultd
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值