Mastering Complex Controlin MOBA Games with DeepReinforcement Learning

最新推荐文章于 2025-06-04 10:29:10 发布
原创 最新推荐文章于 2025-06-04 10:29:10 发布
· 663 阅读 · 1 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文介绍了腾讯AI Lab如何运用深度强化学习（DRL）解决王者荣耀1v1游戏的智能体控制问题。研究中设计了一个可伸缩的系统结构，包括RL Learner、AI Server、Dispatch Module和Memory Pool，以加速训练和降低IO成本。在算法设计中，采用目标注意力机制、LSTM、控制解耦和动作屏蔽，以及双剪枝PPO策略。实验结果显示，经过大规模训练，AI在6小时内超越行为树AI，70小时达到专业玩家水平。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

简介

腾讯AI Lab 王者荣耀 深度强化学习DRL 解决MOBA 1v1游戏

  • 使用元组（S,O,A,P,r,p,y） 表示无限过程有衰减的马尔科夫决策过程

  • S状态空间 O观测空间 A动作空间

  • P：SxA->S状态转移概率 r:SxA->R 奖励函数

  • p0:S->R初始状态的分布 y衰减因子 随机策略pi被影射到(0,1]

  • 每个agent的目标都是最大化累积奖励
    E [ ∑ t = 0 T ​ γ t r ( s t , a t ) ] E[∑ _{t=0}^T​ γ^tr(s_t, a_t)]

最低0.47元/天 解锁文章
A Guide Resource for Deep Reinforcement Learning
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
12-24 887
A Guide Resource for Deep Reinforcement Learning 1. About this work: This deep intensive learning database was initiated by the 【 Deep Reinforcement Learning Laboratory(DeepRL-Lab) 】and was jointly c...
【强化学习论文合集】二十三.2020AAAI人工智能大会论文(AAAI2020)
计算机科研杂货铺
11-30 2653
强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。 本专栏整理了近几年国际顶级会议中，涉及强化学习（Reinforcement Learning, RL）领域的论文。顶级会议包括但不限于：ICML、AAAI、IJCAI、NIPS、ICLR、AAMAS、CVPR、ICRA等。
Mastering Complex Control in MOBA Games with Deep Reinforcement Learning（论文笔记）
KongCDY的专栏
12-25 2356
本文由腾讯AI Lab跟天美发表，用于王者荣耀1v1的AI训练，达成99.81%的胜率。文章分了几个部分进行讲解。 大系统 整个框架分为四个模块：RLLearner，AIServer，Dispatch module与MemoryPool，如下图： AIServer：此模块用当前的agent与游戏环境进行交互来收集数据，一个AIServer绑定一个cpu，agent会copy到c...
Mastering Complex Control in MOBA Games with Deep Reinforcement Learning翻译
nopSled
01-14 3177
摘要 我们研究了多人在线战斗竞技场（MOBA）1v1游戏中复杂动作控制的强化学习问题。与传统的1v1游戏（例如Go和Atari系列）相比，此问题涉及的状态和动作空间要复杂得多，这使得搜索具有人类水平性能的策略非常困难。在本文中，我们提出了一个深度强化学习框架，从系统和算法的角度来解决这个问题。我们的系统耦合度低且可扩展性高，可实现大规模的高效勘探。我们的算法包括几种新颖的策略，包括控制依赖解耦，动...
【RL论文精读3】Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
m0_73545851的博客
09-08 1346
这篇文章聚焦于使用深度强化学习（DRL）开发AI代理，以处理多人在线战术竞技场（MOBA）1v1游戏中复杂的动作控制，具体以《王者荣耀》游戏为例。作者提出了一个可扩展的DRL框架，并结合了几种新颖的策略来有效训练AI代理
利用Deep Reinforcement Learning训练王者荣耀超强AI
热门推荐
qq_38638132的博客
12-28 1万+
利用Deep Reinforcement Learning训练王者荣耀超强AI（一）知识背景（二）系统架构（三）算法结构3.1 Target Attention3.2 利用LSTM学习技能连招释放3.3 Decoupling of Control Dependencies3.4 Action Mask3.5 Dual-Clip PPO（四）实验配置     ...
腾讯 “绝悟”论文披露技术细节。
小小何先生的学习之旅
12-24 1161
我的微信公众号名称：AI研究订阅号 微信公众号ID：MultiAgent1024 公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！ 腾讯 “绝悟”论文披露技术细节。   这个算法运用强化学习框架，在多人在线战术竞技游戏（MOBA）中1v1击败职业选手。 绝悟难在哪里？   谷歌DeepMind早在20...
前沿RL算法：PPO、GRPO、DAPO的优化策略
最新发布
AI天才研究院
06-04 433
本文旨在为读者提供对PPO、GRPO和DAPO这三种前沿强化学习算法的全面理解。我们将重点分析它们的优化策略、实现细节以及在实际问题中的应用表现。讨论范围涵盖算法理论基础、数学推导、Python实现以及性能比较等方面。文章首先介绍三种算法的背景和基本概念，然后深入探讨它们的核心原理和优化策略。接着提供详细的数学推导和代码实现，最后讨论实际应用和未来发展方向。强化学习(RL)：一种通过与环境交互学习最优行为的机器学习范式策略(Policy)：智能体在给定状态下选择动作的规则。
我是一名 python开发者，我现在想通过AI技术来开发一款应用，这款应用可以自动化、托管打游戏、并且可以同时玩多款游戏，我需要什么学习什么技术
03-01
- 《Mastering Complex Control in MOBA Games with Deep Reinforcement Learning》 - 《Human-level Play in the Game of Gran Turismo》 建议开发路线： 1. 从单个游戏自动化原型开始（建议选择支持API的游戏如...
【论文阅读四】An Efficient Insect Pest Classification Using Multiple Convolutional Neural Network Based Mod
丑小鸭
01-26 287
【论文阅读四】An Efficient Insect Pest Classification Using Multiple Convolutional Neural Network Based Mod
PPO：近端策略优化
weixin_49346755的博客
04-23 1962
基本概念 PPO PPO算法和TRPO算法一样，也是一样常用的策略优化方法。与TRPO不同，PPO算法使用自适应KL惩罚系数β\betaβ来约束KL散度，并且在每次策略更新中动态设置惩罚系数β\betaβ；PPO算法还有另一种实现方式，不将KL散度直接放入似然函数中，而是进行一定程度的裁剪。 PPO训练过程的伪代码如下图所示： PPO with clip 在TRPO中，使用的目标函数为： 如果令rt(θ)=πθ(at∣st)πθold(at∣st)r_t(\theta)=\frac {\pi_\thet
李宏毅强化学习视频学习笔记（三）——PPO与PPO2
weixin_42421591的博客
08-11 1391
讲解PPO与PPO2
【AAAI2020】强化学习玩王者荣耀
Wenrui Xie的博客
03-28 4278
论文题目: Mastering Complex Controlin MOBA Games with DeepReinforcement Learning 主要贡献 提出了一个深度强化学习框架，从系统和算法的角度来解决这个问题。提出的算法包括几种新颖的策略，包括control dependency decoupling，action mask，target action和dual-clip ...
《王者荣耀》发布的绝悟 AI，到底有多强...
GitHubDaily
05-07 4854
公众号关注“GitHubDaily”设为 “星标”，带你了解技术圈内新鲜事！在 5 月 1 日～5 月 4 日期间，玩家通过《王者荣耀》最新版本客户端进入游戏，即可与绝悟 AI 对战。...
(转) Playing FPS games with deep reinforcement learning
a1424262219的博客
12-11 449
Playing FPS games with deep reinforcementlearning 博文转自：https://blog.acolyer.org/2016/11/23/playing-fps-games-with-deep-reinforcement-learning/ When I wrote up ‘Asynchronous methods...
7 Papers | 腾讯王者荣耀绝悟AI；ICLR高分论文Reformer
深度学习技术前沿
12-29 1256
点击上方“深度学习技术前沿”，选择“星标”公众号资源干货，第一时间送达本周 7 Papers 包含多篇 AAAI 2020、ICLR 2020入选论文，如腾讯 AI Lab 游戏 AI...
如何理解PPO算法的核心操作clip
ZYunfei的博客
04-13 5933
回顾 传统的策略梯度算法以下式作为策略网络的损失： g^=E^t[∇θlog⁡πθ(at∣st)A^t]\hat{g}=\hat{\mathbb{E}}_{t}\left[\nabla_{\theta} \log \pi_{\theta}\left(a_{t} \mid s_{t}\right) \hat{A}_{t}\right]g^​=E^t​[∇θ​logπθ​(at​∣st​)A^t​] 具体在代码实现中就是计算log⁡πθ(at∣st)A^t\log \pi_{\theta}\left(a_{t}
Xamarin 2016: Mastering Cross-Platform Development with Efficient Patterns & Tools
《Mastering Cross-Platform Development with Xamarin》一书为想要进入或提升跨平台开发技能的开发者提供了全面而实用的指南，无论你是初学者还是经验丰富的开发者，都可以从中受益匪浅。通过学习本书，你将能够...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值