A Unified Game-Theoretic Approach to Multi-agent Reinforcement Learning

最新推荐文章于 2024-07-22 11:07:34 发布
最新推荐文章于 2024-07-22 11:07:34 发布
阅读量1.5k 收藏 2
点赞数 3
CC 4.0 BY-SA版权
分类专栏： AI程序员 算法 强化学习 博弈论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41697507/article/details/93303226
本文深入探讨了《一种统一的游戏理论多智能体强化学习方法》论文中的核心思想，包括双 Oracle 算法、深认知层次（DCH）和策略空间响应oracle（PSRO）。这些概念在#AlphaStar的开发中发挥了关键作用，通过自我对弈和强化学习改进多智能体策略。双Oracle算法利用深度神经网络迭代计算子游戏的支付矩阵。PSRO是对双Oracle的泛化，策略选择为策略而非动作。DCH则通过预先确定的层数来提高可扩展性，以并行方式训练和保存策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
Today we will dig into a paper ripped of A Unified Game-Theoretic Approach to Multi-agent Reinforcement Learning , one of the core ideas that has been used for the development of #AlphaStar . There are several concepts in AlphaStar that won´t be treated here . The aim is to dig in the concepts that what has been as the “Nash League” conceptual functioning and how game theory came to mix with reinforcement learning .

At the end of this article you should have a notion of Double Oracle algorithm, Deep Cognitive Hierarchies and Policy-Space Response Oracles .

For this post you should be familiarized with so

了解本专栏 订阅专栏 解锁全文 超级会员免费看
2020联合作战智能博弈挑战赛之（十五）multi-agent reinforcement testbed
AlphaFinance
10-02 612
2020年9月28日笔记 昨天花了不少时间整理电脑文件，没有备赛。 在笔记本上安装pytorch遇到了问题：ModuleNotFoundError: No module named 'pip'，解决方法： python -m ensurepip python -m pip install --upgrade pip 然后利用上一篇文末介绍的 CPU版安装命令安装torch，这样安装会将torch安装到D:\Programs\Python\Python37\Lib\site-packages下面，之
A Guide Resource for Deep Reinforcement Learning
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
12-24 914
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
[NIPS2017] A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning 笔记
想写就写咯
11-29 1556
文章目录前言 前言 为了实现通用智能，agent需要学会在共享的环境中与彼此交互，这就是MARL的挑战。最简单的形式是independent reinforcement learning (InRL)，但在训练时往往会过拟合到其他人的策略，导致执行时不能有效泛化。 ...
Multi-agent reinforcement learning for Markov routing games A new modeling paradigm ...论文导读
小灰的博客
06-21 1105
小灰一直在想，如何把强化学习和交通流分配结合起来，这份工作中感觉做得非常优秀。顶刊不愧是顶刊，感觉读别人的工作，感觉做得真的非常扎实，感觉作者应该做的方向是交通领域的，但是对于强化学习的相关知识感觉非常扎实，而且非常solid，自愧不如啊。继续努力吧！
Game Theory and Multi-agent Reinforcement Learning 笔记1
想写就写咯
08-02 1843
文章目录前言介绍Repeated Games博弈论Normal form games博弈的类型博弈的解决概念强化学习在repeated games学习目标博弈中的Q-learning梯度上升方法 前言 这是一篇综述性质的文章，里面有个别错字。强化学习最初是针对马尔科夫决策过程（MDP）开发出来的，能使单agent在随机平稳环境（stochastic stationary environment）中...
多智能体强化学习_多智能体强化学习的几种Best Practice
weixin_39812577的博客
11-30 1754
（草稿阶段，完成度40%）这里分享一下A Survey and Critique of Multiagent Deep Reinforcement Learning这篇综述里面介绍的多智能体强化学习Best Practice。这部分内容大部分来自第四章，但是我根据自己的理解加上了其他的内容。1.改良Experience replay buffer1.1 传统的Single-agent场景之下的Re...
多智能体强化学习的相关论文
qq_44852767的博客
04-18 2839
书籍 2018-Deep Multi-Agent Reinforcement Learning 2014-Multi-Agent Machine Learning: A Reinforcement Approach 综述 2008-A comprehensive survey of multiagent reinforcement learning 2019-A survey and critiq...
强化学习与网络安全资源-论文和环境
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-14 287
【代码】强化学习与网络安全资源-论文和环境。
强化学习与网络安全资源
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
05-21 419
【代码】强化学习与网络安全资源。
【论文笔记】policy-space response oracles (PSRO)
Xixoqw的博客
08-18 4010
这是一篇2017年发表的论文，属于多智能体强化学习领域和博弈论的交叉。在了解这篇文章之前，需要先弄清楚NFSP这类自博弈的概念。之前读这篇论文一直感觉有些看不懂，误以为PSRO和NFSP那一系列非常不一样，是自己不太能学会的新方向。在自己用类似RL+三脚猫self-play做了一个扑克AI算法后，再来重读文章就发现，其实很多地方的思想都是很朴素的，理解起来障碍也少了很多。吐槽一句，InRL会对对手的策略过拟合，自己动手做了才深有感触。...
【论文笔记】XDO: A Double Oracle Algorithm for Extensive-Form Games
Xixoqw的博客
08-23 2970
论文发表于NeurIPS 2021，属于多智能体强化学习领域。目前我还没有找到介绍这篇paper的相关博客。写一点自己的心得就当作是抛砖引玉了。
policy-space response oracles (PSRO)含义
qq_42256930的博客
03-05 603
Algorithm 1 维护了一个所有玩家策略的策略池。然后循环地选定玩家，然后从他的策略集中选择出一个策略，固定其它所有玩家此时的策略，然后不断地训练这个策略使得该策略成为一个在别的玩家策略不变的情况下、近似的best respond。然后将其加入策略集合中。
面向星际争霸：DeepMind 提出多智能体强化学习新方法
机器之心
11-05 7710
不久前 DeepMind 强化学习团队负责人、AlphaGo 项目负责人现身 Reddit 问答，其中一个问题是「围棋和星际争霸 2 哪个更难？潜在技术障碍是什么？」近日，DeepMind 发表论文，提出了多智能体强化学习方法，有望为星际争霸等游戏的 AI 技术的开发提供帮助。该论文也将出现在 12 月美国长滩举行的 NIPS 2017 大会上。 深度强化学习结合深度学习 [57] 和强
Game Theory and Multi-agent Reinforcement Learning 笔记2
想写就写咯
08-04 1748
文章目录Sequential GamesMarkov Games马尔科夫博弈中的强化学习值迭代 Sequential Games 多智能体强化学习在有状态转移的环境中进行序列决策。马尔科夫博弈可以看做是MDP在多智能体条件下的扩展，和repeated games到多状态条件下的扩展。如果只有一个agent，马尔科夫博弈变成MDP，如果只有一个状态，马尔科夫博弈变成repeated normal g...
强化学习目前存在的一些问题
热门推荐
热爱可抵漫长岁月
07-18 2万+
最近的深度强化学习（DRL）被吹的天花乱坠，强化学习本身作为一种非常普遍的范例，让大家觉得一个好的鲁棒的强化学习仿佛什么都可以做，然后又结合了深度学习的一些经验主义，让大家觉得DRL仿佛就是真正能实现通用人工智能的有效抓手（毕竟不用像监督学习那样一开始就收集大量数据，只是想我们小时候一样多尝试多探索然后就能学到东西的这个想法是多么像人类啊），这也是为什么这几年来，深度强化学习拿了超级多funding的原因。 然而现实是，DRL并没有真正地work，虽然比如说DeepMind、OpenAI的一些强化学习的de
Multiagent Systems ——Algorithmic, Game-Theoretic, and Logical Foundations（多智能体系统——算法、博弈论与逻辑基础）
jixianhu的博客
12-05 1485
想象一下，一款个人软件智能体代表您从事电子商务。假设该智能体的任务是跟踪一段时间内在各种线上场所可供销售的商品，并代表您以具有吸引力的价格购买其中一些商品。为了取得成功，您的智能体需要体现您对产品的偏好、预算，以及您对其运行环境的总体了解。此外，智能体需要体现您对其与之交互的其他类似智能体的了解（例如，可能在拍卖中与之竞争的智能体，或代表店主的智能体），包括他们自己的偏好和知识。这样的智能体集合形成多体系统。本书的目标是将各种想法和技术整合到一个体系内，提供多智能体系统建模、推理和构建的基础。
【无人水面艇】USV编队控制（Matlab实现）
最新发布
你的Matlab小助手
07-22 656
无人水面舰艇（Unmanned Surface Vehicle, USV）作为海洋观测、环境监测、搜索救援、军事侦察和物资运输等领域的新兴技术，其编队控制已成为实现大规模协同作业的关键技术之一。编队控制涉及多个USV的协调运动，确保它们维持预设的相对位置和航向，同时考虑环境因素（如风浪、水流）和系统约束（如机动能力、通信范围）。随着技术的不断成熟，USV编队将在海洋探索、环境保护和国家安全等方面发挥越来越重要的作用，开启海洋智能作业的新篇章。我就是那艘领航的船，带你乘风破浪，驶向代码的彼岸。
我的常用数据函数总结
实践求真知
01-06 293
一代码 package MyMath; /** * Copyright (C), 2020-2020, XXX有限公司 * FileName: Mymath * Author: cakin * Date: 2020/1/6 * Description: 我的常用数学函数 */ public class Mymath { // 判断一个数是否是素数 p...
【强化学习-13】Multi-Agent+Reinforcement learning
HsinglukLiu的博客
01-28 1988
Multi-Agent+Reinforcement learning术语Convergence 本笔记整理自 (作者: Shusen Wang): https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0 术语 这里，a1,a2,⋯ ,ana^1, a^2, \cdots, a^na1,a2,⋯,an表示nnn个age
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Adam婷

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值