DRL（八）—— Monte Carlo Tree Search (MCTS)

最新推荐文章于 2024-11-28 11:04:10 发布
原创 最新推荐文章于 2024-11-28 11:04:10 发布 · 474 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了离散环境下的一种规划方法——Monte Carlo Tree Search (MCTS)，它通过树状结构进行搜索。MCTS的选择策略结合了高奖励动作和未探索动作，并通过特定的分数公式来平衡这两者。文章还探讨了MCTS如何在不同状态下选择动作，并提到了相关论文供进一步研究。

一个比较有意思的在离散情况下的 planning 方式。

之所以叫做tree search，我觉得就是因为这种方法就是像树杈一样从根部到树叶不断地搜索。就像下图这样：
在这里插入图片描述
要注意的是：

  • 每个节点的含义，并不是每个state，而是采取某个特定的action后到达的state，这个state可以是不同的。比如说，从 s 1 s_1 s1​开始，我们如果执行action a 1   =   0 a_1~=~0 a1​ = 0，如图所示就会到达左边的 s 2 s_2 s2​
最低0.47元/天 解锁文章
蒙特卡罗树搜索
AI天才研究院
08-06 1042
蒙特卡罗树搜索（Monte Carlo Tree Search, MCTS）是一种用于对复杂决策问题进行快速、准确搜索的方法。它被广泛应用于游戏AI、自动驾驶、网络安全等领域。本文主要基于作者在自然语言处理领域的经验和学习，系统性地回顾了蒙特卡罗树搜索（MCTS）的基本原理和最新进展。希望能为读者提供一个系统性的学习参考。本文简要回顾了蒙特卡罗树搜索的基本原理、算法、应用及局限性，并阐述了MCTS的基本概念和运作方式。
以 Python 的编程语言，结合 TensorFlow 2.0 和 Keras 的 API 来展示如何构建和训练一个简单但是功能强大的 DRL 模型
AI天才研究院
08-06 988
2019年下半年是深度学习领域里的一个重要的高峰期，AI已经逐渐从科幻小说变成现实应用。机器学习、强化学习和监督学习等最前沿的机器学习技术目前都应用在了实际生产中，而2020年刚刚进入深度学习的时代。深度学习可以训练出能够解决复杂任务并且具有学习能力的模型，但同时也带来了新的挑战——如何让机器人或者其他智能体能够像人类一样操控环境并做出反馈？
MonteCarloTreeSearch
12-23
Monte-Carlo Tree Search (MCTS) is a new best-first search guided by the results of Monte-Carlo simulations. In this article we introduce two progressive strategies for MCTS, called progressive bias and progressive unpruning. They enable the use of relatively time-expensive heuristic knowledge without speed reduction. Progressive bias directs the search according to heuristic knowledge. Progressive unpruning first reduces the branching factor, and then increases it gradually again. Experiments assess that the two progressive strategies significantly improve the level of our Go program Mango. Moreover, we see that the combination of both strategies performs even better on larger board sizes.
蒙特卡洛树搜索(The monte carlo search tree)
优快云XXCQ的博客
04-11 2341
蒙特卡洛树搜索又称随机抽样或统计试验方法，属于计算数学的一个分支，它是在上世纪四十年代中期为了适应当时原子能事业的发展而发展起来的。传统的经验方法由于不能逼近真实的物理过程，很难得到满意的结果，而蒙特卡洛树搜索方法由于能够真实地模拟实际物理过程，故解决问题与实际非常符合，可以得到很圆满的结果。这也是以概率和统计理论方法为基础的一种计算方法，是使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。将所求解的问题同一定的概率模型相联系，用电子计算机实现统计模拟或抽样，以获得问题的近似解。 在搜索空间巨大的情
蒙特卡洛树搜索 Monte Carlo Tree Search
x3464的博客
10-08 4407
什么是 MCTS？ 全称 Monte Carlo Tree Search，是一种人工智能问题中做出最优决策的方法，一般是在组合博弈中的行动（move）规划形式。它结合了随机模拟的一般性和树搜索的准确性。 MCTS 受到快速关注主要是由计算机围棋程序的成功以及其潜在的在众多难题上的应用所致。超越博弈游戏本身，MCTS 理论上可以被用在以 {状态 state，行动 action} 对定义和用模拟进行预测输出结果的任何领域。 基本算法 基本的 MCTS 算法非常简单：根据模拟的输出结果，按照节点构造搜索树
Monte Carlo tree search 学习
weixin_33834137的博客
04-17 298
https://en.wikipedia.org/wiki/Monte_Carlo_tree_search 蒙特卡洛树搜索（MCTS）基础 http://mcts.ai/about/index.html UCT_RAVE算法在多人非完备信息博弈中的应用 蒙特卡洛树搜索算法（UCT）: 一个程序猿进化的故事 UCT算法（Upper Confidence Bound Apply ...
Deep-reinforcement-learning-multiplex-hexadiagonal-monte-carlo-tree-search
03-29
在这个项目“Deep-reinforcement-learning-multiplex-hexadiagonal-monte-carlo-tree-search”中，重点在于应用DRL解决多元六边形棋盘游戏的策略问题，通过蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）来优化...
强化学习笔记（七）：蒙特卡洛树搜索（MonteCarlo Tree Search）
LuoMin2523的博客
06-22 5139
如果说多臂赌博机问题被看做单步强化学习任务（只用一步决策玩哪个老虎机，然后就收到回报），那么蒙特卡洛树搜索可以看做是解决多步强化学习任务的工具。树是一种天然的用来刻画或者存储多步决策的数据结构。正如所有的动态规划问题可以被转化为图搜索，而所有的线性规划问题可以被转化为二分图一样。至于蒙特卡洛树搜索，实际上可以分为两步[1]： 利用树结构来重新表达决策问题 利用蒙特卡洛方法来进行搜索 MCTS对游戏进行多次模拟，然后尝试基于模拟结果对最佳下一步进行预测。MCTS的四个步骤，即选择、扩展、模拟...
蒙特卡洛树搜索（MCTS）——AlphaGo / Go Zero的核心算法
Cinderella___的博客
10-14 6537
蒙特卡洛树搜索（Monte-Carlo Tree Search，简称MCTS） 这是许多游戏的核心算法。顾名思义，这是一种常见的数据结构——树。这棵树的每一个节点都代表游戏的一个当前局面的确定状态。在每局游戏过程中，每一步落子前，蒙特卡罗树搜索都会模拟游戏多次，就像人类思考的方式一样（比如职业棋手在每一步落子前都会预测若干步接下来的落子），通过模拟游戏的发展方向，观察每一步可以落子的...
Monte Carlo Tree Search
darknight
03-23 562
The process of Upper Confidence Bounds for Trees (UCT) 1. Selection Starting at the root node R, search a leaf node L. Specifically, we use UCB(upper confidence bound) algorithm to choose the descenda...
Monte Carlo Tree Search (MCTS) 蒙特·卡罗尔树搜索
Steve Wang's blog
11-23 2823
Monte Carlo Tree Search 为什么要学习MCTS 一部分原因是过去12年AI最大的成就莫过于Alpha Go，一个超越任何人类的围棋玩家 引入基于模型的RL思想和规划(planning)的好处 Introudction Model-Based Reinforcement Learning 前面的博文：从经验中直接学习价值函数或者策略 这篇博文：从经验中直接学习模型(Tra...
蒙特卡洛树搜索（MCTS）
qq_42981705的博客
04-18 3143
蒙特卡洛树搜索
机器学习算法之蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）
DeepViewInsight的博客
09-17 7900
蒙特卡洛树搜索，通常简称为MCTS，是一种用于决策制定的算法。它在众多领域中都有广泛应用，包括人工智能、博弈论和自动规划等。MCTS的主要优势之一是它可以在没有先验知识的情况下，有效地搜索大规模的决策空间，因此被广泛应用于复杂的游戏和规划问题中。MCTS的核心思想是通过随机模拟来估计每个可选行动的价值，从而帮助我们选择下一步的最佳行动。它通过建立一颗搜索树来组织这些模拟，并使用统计信息来引导搜索过程，以便更有可能找到最佳的决策。
蒙特卡洛树搜索（Monte Carlo Tree Search）揭秘
Nichkhun的博客
11-14 1万+
MCTS能够非常聪明的去探索胜率较高的路径，和dfs这类暴力穷举算法比起来，可以花费较少的运算资源，就能达到不错的效果，尤其对于围棋这类每步棋都有200种左右选择的游戏，使用MCTS的效果非常显著。但与此同时也要指出，MCTS并不能保证一定找到最佳路径和着法。AlphaGo和李世石比赛就输了一盘，说明不一定能百分百找到最优解。不过论整体胜率，AlphaGo和AlphaGoZero已远远超过了人类。既然围棋的变化(10的360次方)比宇宙中的原子还多，比起dfs或minimax等算法，使用MCTS还是非常有
机器学习系列之蒙特卡罗树搜索（MCTS）
qq_34372112的博客
09-02 2293
蒙特卡罗树搜索（MCTS） 蒙特卡罗树搜索，即 Monte Carlo tree search（MCTS）是一种启发式搜索算法。现在我们来考虑下围棋这个游戏，我们用经典的Minmax搜索会碰到两个问题： 每一步可能有很多中走法，这就导致搜索树太广。 要走很多步游戏才结束，也就是说搜索树特别深。 这时，蒙特卡罗树搜索就能发挥作用，它不遍历整个搜索树，也即找到的不是最优解，但是是一个解决该问题的方...
蒙特卡洛树搜索 MCTS 入门
qq_41033011的博客
10-13 1万+
引言   你如果是第一次听到蒙特卡洛，可能会认为这是一个人名。那么你就大错特错，蒙特卡洛不是一个人名，而是一个地方，还一个赌场名！！！但是这不是我们的重点。   我们今天的主题就是入门蒙特卡洛树搜索，这个算法我个人觉得非常神奇也非常有意思。因为前几年 AlphaGo 就是借助蒙塔卡洛树搜索以及基于深度学习的的策略价值网络击败了人类冠军，赢得了胜利。而今天我们的主角就是蒙特卡洛树搜索它究竟是怎么实现的？它的原理？以及会举出一个例子来告诉大家整个算法的工作流程。 一、什么是 MCTS？   蒙特卡洛树搜索是一
那么蒙特卡洛树搜索(Monte Calro Tree Search, MCTS)究竟是啥
热门推荐
natsu的随笔
03-26 2万+
同时发布于：http://www.longgaming.com/archives/214Intro最近阿法狗和李师师的人机大战着实火了一把，还顺带捧红了柯杰，古力等一干九段。虽然我从小学的是象棋，对围棋也只是略知一二，但是棋魂还是对我影响颇深的启蒙漫画，于是还是凑热闹看了几盘大战。其中蒙特卡洛树搜索（Monte Calro Tree Search， MCTS）就多次被各路砖家提及。想必各位选过AI课
强化学习算法：蒙特卡洛树搜索 (Monte Carlo Tree Search) 原理与代码实例讲解
最新发布
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
11-28 3011
强化学习算法：蒙特卡洛树搜索 (Monte Carlo Tree Search) 原理与代码实例讲解 关键词：蒙特卡洛树搜索,强化学习,决策树,搜索算法,博弈策略,应用场景,代码实现
【详细原理】蒙特卡洛树搜索入门教程！
小小何先生的学习之旅
01-31 9453
我的微信公众号名称：AI研究订阅号 微信公众号ID：MultiAgent1024 公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！   本文是对Monte Carlo Tree Search – beginners guide这篇文章的文章翻译，以及对其代码的解释： 1 引言   蒙特卡洛树搜索在200...
AlphaZero通用实现教程：适用于Othello等游戏的强化学习框架
8. 蒙特卡洛树搜索（Monte-Carlo Tree Search, MCTS）： 蒙特卡洛树搜索是一种在完全信息游戏中寻找最优策略的搜索算法，它被广泛应用于AlphaZero算法中。MCTS能够高效地搜索巨大或连续的动作空间，并且在许多情况下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值