追风赶月莫停留，平芜尽处是春山

空间分层强化学习，Hierarchical Reinforcement Learning with Latent Space (HRL-LS) 是一种分层强化学习（Hierarchical Reinforcement Learning, HRL）算法，旨在通过在隐空间（Latent Space）中进行策略优化，来处理高维复杂任务中的长期依赖问题。该算法提出了一种新的框架，能够同时利用分层结构和潜在变量模型，来提高在复杂环境中的学习效率。

分层强化学习从月初更新到了月中，也准备告一段落了，后续深入研究强化学习，分层的理念多多少少都会涉及。面对复杂场景下的智能体决策问题，如何将复杂问题简单化总是不可避免的。如果后续还有值得分享算法，也会再开单文介绍。

离线策略修正分层强化学习，Hierarchical Reinforcement Learning with Off-Policy Correction (HIRO) 是一种基于分层强化学习的算法，旨在解决长时间跨度和稀疏奖励问题。HIRO 特别引入了离策略（off-policy）校正机制，允许高层策略利用低层策略的经验，而不会因为低层策略的更新而产生偏差。

动态分层强化学习，Dynamic Hierarchical Reinforcement Learning (DHRL) 是一种自适应分层强化学习算法，其目标是根据任务和环境的复杂性动态地构建、修改和利用分层策略。DHRL 不仅仅是预定义层次结构的简单执行，而是允许代理在学习过程中根据需要动态生成和调整分层策略，从而实现更好的任务分解和高效学习。DHRL 扩展了传统的分层强化学习（HRL），通过动态调整层次和策略，使其适应环境中的变化和不确定性。

Options Framework（选项框架）是分层强化学习中的一种经典方法，旨在通过将动作抽象化为**选项（Options）**来简化复杂任务的学习过程。基于Sutton等人提出的选项框架（Options Framework），其中选项是从一个子任务执行到完成的高层决策链。高层决策什么时候调用特定选项，低层负责具体执行选项的策略。选项框架允许智能体在多个时间步内选择并执行较高级别的策略，而不仅仅是在每个时间步选择单个动作。通过这种方式，智能体可以更好地解决长时间跨度的任务。

半马尔可夫决策过程，Semi-Markov Decision Processes (SMDP) 是一种用于分层强化学习的模型，适用于那些包含不规则时间步或长期延迟决策的任务。相比于标准的马尔可夫决策过程（Markov Decision Process, MDP），SMDP 能够处理不同时间间隔之间的决策问题，因此在强化学习中广泛应用于分层结构，尤其是需要长时间跨度或多步策略的复杂任务中。

Hierarchical-DQN (Hierarchical Deep Q-Network) 是一种分层强化学习算法，专门设计用于解决复杂的任务，通过将任务分解为层次化的子任务来学习。它结合了深度 Q 网络（DQN）和分层强化学习的思想，将复杂任务分解为多个具有不同时间尺度的子任务。Hierarchical-DQN 的设计思路和 FeUdal Networks 类似，都是通过层次结构来解决长时间跨度的任务，但 Hierarchical-DQN 的具体实现有所不同，尤其在策略的选择和值函数的更新方面。

Hierarchical Actor-Critic (HAC) 算法是一种用于分层强化学习（Hierarchical Reinforcement Learning, HRL）的算法，由Levy等人在2019年提出。HAC的目的是通过分层结构，将复杂任务分解为不同的时间尺度的子任务，从而更高效地学习策略。该算法使用了两层的Actor-Critic架构来实现策略和值函数的学习，并通过子任务的分解来降低学习的难度。

FeUdal Networks（FuN）是一种分层强化学习（Hierarchical Reinforcement Learning, HRL）算法，由Google DeepMind团队提出。该算法的灵感来源于层级控制结构，将任务分解为高层目标和低层执行细节，从而提高强化学习在复杂环境中的效率。与传统的强化学习算法不同，FeUdal Networks将学习过程分为不同的层次，每个层次的角色不同，但都为共同完成任务服务。

分层强化学习（Hierarchical Reinforcement Learning, HRL）通过将复杂问题分解为更小的子问题，显著提高了强化学习算法在解决高维状态空间和长期目标任务中的效率。Option-Critic架构是分层强化学习中一种非常有影响力的方法，专门用于自动发现和优化子策略（称为“Option”）。它是在经典的Options框架基础上提出的，用来处理分层决策问题，特别是可以在没有明确的子目标定义的情况下自动学习子策略。

分层强化学习（Hierarchical Reinforcement Learning，HRL）是一类旨在通过引入多层次结构来提高强化学习算法效率的方法。其核心思想是将复杂的任务分解为若干子任务，通过解决这些子任务来最终完成整体目标。

MAXQ分解是一种用于分层强化学习（Hierarchical Reinforcement Learning, HRL）的算法，由Thomas G. Dietterich提出。该算法通过将复杂的任务分解成更小的子任务来简化问题，并利用这些子任务来构建更复杂的策略。主要思想是将一个复杂的Markov决策过程（MDP）分解成一系列嵌套的子MDP，以便更容易解决。MAXQ算法引入了一种分层的结构，将原始任务逐步分解为多个子任务，从而形成一个任务树（task hierarchy），并通过各个子任务的求解来最终解决。