29、分层强化学习环境探索与实践

分层强化学习环境探索与实践

1. 分层强化学习概述

传统的强化学习算法以小步长进行操作。对于一个状态，它选择一个动作，将其提供给环境以获取新的状态和奖励，并处理奖励以选择新的动作，一步一步地推进。然而，在现实世界中，当我们计划从 A 地到 B 地的旅行时，我们会使用抽象方法来减少状态空间，以便在更高的层次上进行推理。我们不会考虑每一步的具体动作，而是首先决定接近目标的交通方式，然后再逐步填充旅程的各个部分。

分层强化学习试图模仿这种思想：传统的强化学习在单个状态层面上工作，而分层强化学习则进行抽象，按顺序解决子问题。它利用分治原则，使解决大型问题变得可行。通过在其解决的空间中找到子目标，并使用子策略（宏或选项）来解决这些子目标。

尽管分层强化学习的直觉很有吸引力，但最初的进展较为缓慢。寻找新的子目标和子策略是一个计算密集型问题，其复杂度与动作数量呈指数关系。在某些情况下，除非能够利用领域知识，否则使用传统的“扁平”强化学习方法可能更快。深度学习的出现为分层强化学习带来了推动，在自动学习子目标和寻找子策略等重要任务上取得了很大进展。分层强化学习不仅在单智能体强化学习中很受欢迎，也被应用于多智能体问题，因为多智能体问题中的智能体通常以团队或其他层次结构的形式合作，这种智能体层次结构非常适合分层解决方案。

2. 分层强化学习环境

2.1 常见环境类型

分层强化学习有许多不同的环境，包括迷宫、四房间环境等。虽然 Atari 和 MuJoCo 任务经常被使用，但目前还没有一个明确的首选基准环境。大多数分层环境比无模型扁平强化学习中通常使用的环境要小，但也有一些研究使用了复杂的环境，如《星际争霸》。

2