【算法综述】分层强化学习（HRL）

最新推荐文章于 2025-11-01 02:52:06 发布
原创 最新推荐文章于 2025-11-01 02:52:06 发布 · 1w 阅读 · 69 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文深入探讨了分层强化学习（Hierarchical Reinforcement Learning, HRL）的优势及其三种主要研究思路：基于选项（Option）、基于分层局部策略（HAM）和基于子任务（MAXQ）。HRL通过时间抽象和状态抽象提高效率，允许策略跨越多个时间步，并且能够促进迁移学习。Option着重于构建和发现有用的步骤集合，HAM则提供更灵活的抽象层次，而MAXQ则以子任务为导向，将大任务分解为小任务。SMDP作为半马尔可夫决策过程，是这些方法的基础。通过对这些理论的理解，开发者可以更好地设计和应用强化学习算法解决复杂问题。

对比传统的强化学习算法，分层强化学习（Hierarchical Reinforcement Learning）具有很多优势。目前，对其的研究主要集中在三种思路，分别是基于选项的学习（Option）、基于分层局部策略的学习（HAM）与基于子任务的学习（MAXQ）。

HRL更像是一种结构性的框架，而不是具体的算法形式。

分层的优点

  • 时间上的抽象（Temporal abstraction）：由于HRL对时间的抽象，其可以考虑持续一段时间的策略，而不只是一个时间点的策略
  • 迁移/重用性（Transfer/Reusability）：HRL的本质是分解问题。在把大问题分解为小问题后，小问题学习到的解决方法可以迁移到别的问题之上。
  • 有效性/有意义（powerful/meaningful）-状态上的抽象（state abstraction）：HRL存在类似于attention的机制，即当前的状态中与所解决问题无关的状态不会被关注到。

不同的最优

由于问题被分层解决，存在几种不同的最优：

  • 分层最优（Hierarchically optimal）：遵循分层结构，但是每一个子部件不一定是局部最优
  • 回溯最优(recursively optimal)：遵循分层结构，每一个子部件一定是局部最优
  • 平面最优(flat optimality)：不受层级限制，只用最基本的动作去找到一个最优的策略，一般可以给出最多的选择

SMDP

SMDP也就是半马尔可夫决策过程，它与MDP有一定的区别：

  • 动作action可持续，持续时间（holding time/ transition time）为\tau，此期间状态不改变
  • 数学上也是用<\mathcal{S},\mathcal{A},\mathcal{P},\mathcal{R}>表示，但是在这段持续时间内存在不同的理解
    • P(s',\tau|s,a)
    • R=E[r|s,a,s',\tau]

SMDP QL的基本形式

基于SMDP，QL的基本形式也有所变化：

最低0.47元/天 解锁文章
分层强化学习（Hierarchical Reinforcement Learning, HRL）算法详解与Python实现
闲人编程的博客
01-03 1237
分层强化学习是一种将复杂任务分解为多个子任务的强化学习方法。通过引入层次化的策略结构，HRL能够更高效地解决复杂任务。本文详细介绍了分层强化学习的核心概念，并使用Python实现了该算法。我们通过三个实际案例展示了其应用，并为每个案例选择了最适合的设计模式。分层强化学习在处理复杂任务时具有显著优势，能够通过层次化的策略结构提高学习效率和可扩展性。通过本文的学习，读者可以掌握分层强化学习算法的基本原理和实现方法，并能够将其应用于实际问题中。希望本文能为读者在强化学习领域的研究和实践提供有价值的参考。
分层强化学习在复杂任务分解中的应用
AI天才研究院
12-26 877
分层强化学习在复杂任务分解中的应用 关键词：强化学习、分层强化学习、复杂任务分解、算法原理、数学模型 摘要： 本文深入探讨了分层强化学习在复杂任务分解中的应用。首先，我们介绍了强化学习的起源和基本概念
分层强化学习 综述论文阅读 Hierarchical Reinforcement Learning: A Comprehensive Survey
bofu_sun的博客
10-07 3291
分层强化学习可以通过将困难的长期决策任务分解为更简单的子任务，提升强化学习算法的性能。分层强化学习方法主要涉及：使用HRL学习分层策略、子任务发现、迁移学习和多智能体学习四个主要挑战。强化学习算法的一个痛点：如果任务的长度很长，状态空间和动作空间很大，由于难以探索，强化学习算法很难获得好的效果。分层强化学习的优点：分层强化学习将整个任务分成多个子任务。子任务本身更容易学习，所学习的子任务会导致更结构化的探索。分层强化学习效果好的原因：HRL在长期任务中效果优于标准RL，其优势在于改进了探索。
分层强化学习用于自动驾驶
最新发布
l3m4n的博客
11-01 776
本文提出一种基于半马尔可夫决策过程的深度分层强化学习方法，用于解决自动驾驶中交通灯通过场景下的不同行为决策问题。通过分层策略梯度训练，高层策略选择停车或通过，底层策略执行具体动作。实验表明该方法能有效处理延迟奖励与行为分化，显著优于扁平结构。
分层强化学习
civiljiao的博客
02-08 5319
2 分层强化学习算法1 分层强化学习简介分层强化算是强化学习领域比较流行的研究方向。当环境较为复杂或者任务较为困难时，智能体的状态和动作空间过大，会导致强化学习难以取得理想的效果。应对这种状况，分层强化学习应运而生，主要解决稀疏reward以及状态动作空间过大导致难以训练的问题。人类在解决一个复杂问题时，往往会将其分解为若干个容易解决的子问题，分而治之，分层的思想正是来源于此。
【干货总结】分层强化学习(HRL)全面总结
热门推荐
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
11-25 3万+
深度强化学习实验室来源：https://zhuanlan.zhihu.com/p/267524544作者：脆皮咕(S.Q.Yang)编辑：DeepRL最近做分层强化学习的survey，系...
分层强化学习算法综述与项目实现
文章《分层强化学习总结[项目源码]》系统地梳理了HRL的基本原理及其代表性算法。其中提到的关键技术包括Option-Critic架构、MAXQ值函数分解、FeUdal Networks（FuN）、Hierarchical-DQN（HIRO）、Temporal ...
分层强化学习综述：Hierarchical reinforcement learning: A comprehensive survey
qq_47997583的博客
07-24 1万+
分层强化学习 (HRL) 能够将具有挑战性的长期决策任务自主分解为更简单的子任务。在过去的几年中，HRL 研究的前景得到了深刻的发展，产生了丰富的方法。要以有组织的方式研究 HRL，需要对这片广阔的景观进行全面的概述。我们对各种 HRL 方法进行了调查，这些方法涉及使用 HRL 进行learning hierarchical policies, subtask discovery, transfer learning, and multi-agent learning所面临的挑战。...
PyTorch 深度学习实战（24）：分层强化学习（HRL）
m0_60414444的博客
03-25 1207
包含。
（详细）分层强化学习-Random Network Distillation（RND）
qq_43703185的博客
01-27 3402
原文链接：https://zhuanlan.zhihu.com/p/146309991 EXPLORATION BY RANDOM NETWORK DISTILLATION RND这类文章是基于强化学习在解决Atari游戏中蒙德祖玛的复仇的困境提出的。由于在这类游戏中存在非常稀疏的奖励，Agent在探索利用上存在很大的问题。RND也是第一个使用与人类平等的RL算法在蒙特祖玛的复仇上获得人类水平成绩的算法。 为提升稀疏奖励情况下的探索利用，之前有很多类似Curiosity、coun
分层强化学习 Data-Efficient Hierarchical Reinforcement Learning（HIRO）（NeurIPS 2018）
yxh的博客
01-24 2314
\quad 分层的思想在今年已经延伸到机器学习的各个领域中去，包括NLP 以及很多representataion learning。 \quad 近些年，分层强化学习被看作更加复杂环境下的强化学习算法，其主要思想就是将一个大的问题进行分解，思路是依靠一个上层的policy去将整个任务进行分解，然后利用下层的policy去逐步执行。 Contribution: 1）成功地将 off-policy 应用在 HRL 的 high-level policy 中。 2）提出了一种 off-policy correc.
分层强化学习综述
02-21
强化学习(reinforcement learning) 是机器学习和人工智能领域的重要分支，近年来受到社会各界和企业的广泛关注。强化学习算法要解决的主要问题是，智能体如何直接与环境进⾏交互来学习策略。但是当状态空间维度增加时，传统的强化学习⽅法往往⾯面临着维度灾难，难以取得好的学习效果。分层强化学习(hierarchical reinforcement learning) 致力于将一个复杂的强化学习问题分解成几个子问题并分别解决，可以取得比直接解决整个问题更好的效果。分层强化学习是解决大规模强化学习问题的潜在途径，然而其受到的关注不高!本文将介绍和回顾分层强化学习的几大类方法。
深度强化学习综述
02-13
深度强化学习综述,阐述近些年来深度学习方法的脉络，发展和概况，有助于读者快速了解深度强化学习整体概况
强化学习笔记：分层强化学习
qq_40206371的博客
04-11 8075
1 传统强化学习的不足 & 为什么需要分层强化学习？ 传统的强化学习方法会面临维度灾难的问题，即当环境较为复 杂或者任务较为困难时，agent的状态空间过大，会导致需要学习的参数以及所需的存储空间急速增长，强化学习难以取得理想的效果。 为了解决 维度灾难，研究者提出了分层强化学习（hierarchical reinforcement learning，HRL）。HRL的主要目标是将复杂的问题分解成多个小问题，分别解决小问题从而达到解决原问题的目的 2 复习：强化学习&马........
HRL 层级增强学习
啊哈的专栏
06-29 1796
原文地址https://m.chuansongme.com/n/2992112952010 1. 层级增强学习 Hierarchical Reinforcement Learning 层次强化学习(HRL)是一种计算方法，旨在通过学习在不同的时间抽象层次上操作来解决这些问题。 为了真正理解在学习算法中需要一个层次结构，以及为了在RL（增强学习）和 HRL 之间架起桥梁，我们需...
【RL Latest Tech】分层强化学习（Hierarchical RL）
博主关注人工智能、强化学习、嵌入式等||985高校A+学科研究生、猿龄六年||优快云博客专家、2024年博客之星TOP33、华为云享专家、人工智能领域优质创作者。
10-01 2907
分层强化学习（Hierarchical Reinforcement Learning，HRL）是一类旨在通过引入多层次结构来提高强化学习算法效率的方法。其核心思想是将复杂的任务分解为若干子任务，通过解决这些子任务来最终完成整体目标。
什么是分层强化学习
weixin_42579969的博客
12-20 522
分层强化学习是一种机器学习方法，其中机器学习模型在不同的层次之间学习。这种方法的目的是让机器学习模型能够在更高层次的抽象中学习，从而能够更好地应对复杂的环境。 在分层强化学习中，机器学习模型通常被分为两个部分：一个是低层次的学习模型，另一个是高层次的学习模型。低层次的学习模型负责处理基本的动作和感知，而高层次的学习模型则负责使用这些基本的动作和感知来解决更复杂的任务。 通常，在分层强化学习中，低层...
分层强化学习 学习笔记
bobi的博客
05-17 3108
MLSH的idea很自然，简单有效，temporal abstraction的做法和common 的 HRL方法基本一致需要注意的一点是，通常single task中，为了training的稳定性，会keep master policy random，warmup subpolicy，这是希望master policy能在subpolicy有一定level之后，再进行有效learning；
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值