混合动作空间｜揭秘创造人工智能的黑魔法（4）

已于 2023-06-26 21:37:30 修改
阅读量532 收藏
点赞数 1
文章标签： 人工智能 算法
于 2023-06-26 21:35:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_55289267/article/details/131405439
版权
本文深入探讨混合动作空间中的V函数和Q函数，重点讲解基于V函数的H-PPO算法，包括算法原理、网络结构设计、优化过程及实验分析。H-PPO解决了使用Q函数时的过参数化问题，适用于Parameterized和Hierarchically action space，展现出更好的稳定性和收敛性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

还记得我们的混合动作空间专栏吗？过去的三篇专栏里，我们介绍了混合动作空间的定义，常见的动作空间预处理方法，并将当前学术界解决混合动作空间的方法总结为以下三类：

  • 基于状态-动作值函数Q的方法

  • 基于状态值函数V的方法

  • 基于动作空间学习和转换的方法

错过的看这里：

混合动作空间 | 创造人工智能的黑魔法(1)_面向连续-离散混合决策的游戏ai智能体强化学习方法_OpenDILab开源决策智能平台的博客-优快云博客
混合动作空间｜揭秘创造人工智能的黑魔法（2）_OpenDILab开源决策智能平台的博客-优快云博客
混合动作空间｜揭秘创造人工智能的黑魔法（3）_OpenDILab开源决策智能平台的博客-优快云博客

在混合动作空间（3）中，我们介绍了基于Q函数的算法。而从本篇专栏起，我们将为大家讲解基于V函数的混合动作空间算法，包括H-PPO、HiPPO、腾讯绝悟、OpenAI Five，AlphaStar等。

混合动作空间中的V函数和Q函数

定义

先来简单回顾一下强化学习里面Q函数、V函数这两个价值函数的定义。

  • V函数指状态价值函数V_\pi (s_t)

       表示从状态s_t出发，使用策略所带来的累计奖赏。

  •  Q函数指状态-动作价值函数

         表示从状态s_t出发，执行动作a且之后使用策略\pi所带来的累计奖赏；

由此可知，如果我们用随机性策略\pi(a|s)来表示在状态

最低0.47元/天 解锁文章
揭秘文心一言在AI人工智能领域的智能游戏剧情创作
AI智能探索者的博客
05-04 1388
本文旨在深入分析文心一言大模型在游戏剧情创作领域的技术实现和应用价值。我们将探讨其核心技术原理、算法架构，并通过实际案例展示其在游戏开发中的具体应用。文章首先介绍背景知识，然后深入技术细节，包括核心算法和数学模型。接着通过实际案例展示应用，最后讨论未来发展趋势。文心一言：百度推出的知识增强大语言模型，具备强大的自然语言理解和生成能力叙事生成：自动创建连贯、有意义的故事情节的过程多线叙事：故事中存在多个可选择的剧情发展路径能够生成结构完整、情节丰富的游戏叙事支持多线分支和动态调整的复杂叙事结构。
PPO算法详解
半夏微凉的博客
05-27 2万+
原文：Proximal Policy Optimization Algorithms [arXiv] [GitHub] 1. PPO算法思想 PPO算法是一种新型的Policy Gradient算法，Policy Gradient算法对步长十分敏感，但是又难以选择合适的步长，在训练过程中新旧策略的的变化差异如果过大则不利于学习。PPO提出了新的目标函数可以再多个训练步骤实现小批量的更新，解决了Policy Gradient算法中步长难以确定的问题。其实TRPO也是为了解决这个思想但是相比于TRPO算法PPO
HPPO混合动作PPO算法
qq_45889056的博客
04-18 3985
这意味着动作的选择是通过一组实数或向量来表示的，而不是通过离散的标识符。例如，一个机器人在连续的动作空间中选择它的速度和方向，这两个参数可以是实数，表示机器人在每个时刻的线速度和角速度。参数化动作空间通常出现在需要处理连续动作的问题中，其中动作的可能取值是一个连续的范围，而不是一个离散的集合。在这种情况下，使用参数化动作空间的方法可以更灵活地表示和控制动作，有助于应对连续性动作空间带来的挑战。这是一个离散动作空间的例子。在强化学习中，参数化动作空间是指使用参数来表示和控制智能体可选取的动作的一种方法。
如何选择深度强化学习算法？MuZero/SAC/PPO/TD3/DDPG/DQN/等（2021-04）
u013250861的博客
01-03 5635
高清图片见搜索图中的网址的加粗部分ElegantRL、LilianWeng、EwanLi 策略梯度 就能找到这里的「模型」指：状态转移模型。离散状态空间下的状态转移模型可以用 状态转移矩阵去描述。
PPO算法基本原理及流程图（KL penalty和Clip两种方法）
ningmengzhihe的博客
06-30 2万+
PPO算法基本原理及流程图（KL penalty和Clip两种方法）
HLPP算法 一种高效的网络最大流算法
dav74739的博客
12-14 883
1 #include <algorithm> 2 #include <cstdio> 3 #include <cctype> 4 #include <queue> 5 #define INF 0x3f3f3f3f 6 #define MAXN 10010 7 #define MAXM 300010 8 ...
PPO算法
weixin_35756690的博客
12-21 1841
PPO(Proximal Policy Optimization)是一种强化学习算法，用于训练智能体在某个环境中执行有目的的动作。它通过不断尝试并学习，帮助智能体找到执行有效动作的最佳方式，从而获得最大的回报。 PPO 算法的核心思想是通过计算当前策略的概率，来决定是否接受更新策略的建议。如果接受，则更新策略；如果不接受，则保持原有策略不变。这样做的目的是避免在更新策略时造成过大的损失，并确保策略...
混合动作空间｜揭秘创造人工智能的黑魔法（3）
m0_55289267的博客
06-20 449
我们将从本篇博客开始，揭秘学术界和工业界解决混合动作空间的种种黑魔法。本篇将介绍，基于Q函数的强化学习混合动作空间算法。
混合动作空间｜揭秘创造人工智能的黑魔法（2）
m0_55289267的博客
06-15 369
本文则将以游戏环境为例，介绍如何对强化学习的动作空间进行预处理（action space shaping），以提升算法性能和收敛速度。
混合动作空间｜揭秘创造人工智能的黑魔法（5）
m0_55289267的博客
06-27 651
本期来聊聊更通用的混合动作空间建模方法。
强化学习之混合动作空间
小吴同学的小屋
06-07 8424
在强化学习的动作空间设定中有连续动作空间，离散动作空间和混合动作空间。在大多数的论文中研究的都是连续动作空间和离散动作空间，而混合动作空间研究的比较少。在游戏ai，自动驾驶等一些领域中有时动作空间可以是混合动作空间，因此我阅读了一些相关的文献，资料和代码，计划整理一下混合动作空间中的一些基础知识（主要介绍parameterized action space）。考虑一个简单的场景，假设我们要写一个王者荣耀的游戏ai，我们需要控制英雄的走位，技能释放的方向，这些动作都是属于连续动作空间的。同时我们还需要选择不同
强化学习之 PPO 算法
weixin_63053052的博客
04-06 3万+
简述 PPO PPO 算法是一种基于策略的、使用两个神经网络的强化学习算法。通过将“智体”当前 的“状态”输入神经网络，最终会得到相应的“动作”和“奖励”，再根据“动作”来更新 “智体”的状态，根据包含有“奖励”和“动作”的目标函数，运用梯度上升来更新神经网 络中的权重参数，从而能得到使得总体奖励值更大的“动作”判断。 月球飞船降落 本文根据 gym 来跑强化学习，在该游戏中，“状态”与“奖励”的更新都使用 gym 内部 封装的函数来实行，所以...
深度增强学习PPO（Proximal Policy Optimization）算法源码走读
热门推荐
世事难料，保持低调
05-27 10万+
OpenAI出品的baselines项目是一系列reinforcement learning（强化学习或增强学习）算法的实现。现在已经有包括DQN,DDPG,TRPO,A2C,ACER,PPO在内的近十种经典算法实现，同时它也在不断扩充中。它为对RL算法的复现验证和修改实验提供了很大的便利。本文主要走读其中的PPO（Proximal Policy Optimization）算法的源码实现。PPO是...
强化学习PPO
HSalome的博客
08-01 307
pythom笔记 学习 将字符串变为ASCII码 ord() symbols = ‘$¢£¥€¤’ code = [] for i in symbols: # 这里的i指的是symbols对象的引用 i = $ # print(i) code.append(ord(i)) print(code) 列表推导 symbols = ‘$¢£¥€¤’ codes = [ord(i) for i in symbols] print(codes) symbols = ‘$¢£¥€¤’ beyond_ascii = [
强化学习Proximal Policy Optimization(PPO)算法详解
qq_41626059的博客
03-17 1万+
强烈建议自己拿着笔在草稿纸上划拉划拉，公式推导很简单的！！！ 一、准备知识 1.1、on-policy VS off-policy On-policy:智能体agent（actor）学习并且和环境发生互动。 Off-policy:一个智能体agent（actor）A1A1A1看另外一个智能体A2A2A2和环境互动，然后A1A1A1使用A2A2A2和环境互动的数据来进行学习 例子1：打篮球。 你自己亲自去打就是On-policy,如果把投球的姿势看作一个你要学习的动作， 你发现动作a1a_{1}a1​可以
基础算法篇（六），基于AC框架的PPO算法
samurasun的博客
09-01 7505
我们上一章给大家介绍了经典的策略梯度（PG）算法，但这个经典算法存在两个问题： 一是需要完整序列 我们根据强化学习的目标“最大化总收益”而得到的公式中包含R(τ)=∑t=1TrtR\left(\tau\right)=\sum_{t=1}^Tr_tR(τ)=∑t=1T​rt​，就算我们对其进行添加基线、改变收益计算方式等，都还是没有脱离从ttt时刻起，需要后续所有收益这一问题，这一方法类似于我们在“基础算法篇（二），蒙特卡洛方法解决Model-Free强化学习问题”讲的方法，而这对强化学习本身来说，是很难
垂直智能体：企业AI落地的正确打开方式
最新发布
chainso23的博客
05-18 1019
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
Baklib赋能企业知识资产AI化升级
weixin_51374429的博客
05-18 1308
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
ApiHug 咋变成国外AI工具了呢？
程序员超级伴侣-ApiHug
05-16 1338
摘要：ApiHug是一个专注于API设计和开发的平台，提供高度描述性、模块化和可视化的体验。它集成了API资产的分发、监控和管理功能，支持全语言在IDEA中的智能自动补全、linting和语法高亮等。ApiHug通过标准化的API设计元语言，旨在提高API开发效率和团队协作。其主要功能包括API设计、代码生成、模块共享、版本控制和统一IDE支持。目标受众为API开发者和团队，使用场景涵盖API设计、性能监控和智能提示。用户可通过官网注册、安装插件并开始使用ApiHug的各类功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值