23、连续动作POMDP的ADVT与混合可观测性下的分层强化学习

连续动作POMDP的ADVT与混合可观测性下的分层强化学习

1. 连续动作POMDP的ADVT求解器

在处理具有高维连续动作空间的部分可观测马尔可夫决策过程（POMDP）时，传统方法往往面临挑战。为了解决这个问题，研究人员提出了一种新的基于采样的在线POMDP求解器——ADVT。

ADVT求解器建立在一系列使用动作空间自适应离散化的工作基础上，并引入了更有效的自适应离散化方法，具体包括：
- 基于Voronoi树的动作空间自适应分层离散化 ：利用Voronoi树对动作空间进行分层离散，使得离散化过程更加灵活和高效。
- 新颖的单元大小感知细化规则 ：根据单元的大小来决定是否进行细化，提高离散化的精度。
- 单元大小感知的上置信界 ：在决策过程中考虑单元大小，更准确地评估动作的价值。

在多个具有挑战性的基准测试中，ADVT与最先进的算法相比，展现出了强大的实证结果。这表明ADVT在处理高维连续动作空间的POMDP问题上具有显著的优势，有望进一步扩展通用POMDP求解器的适用性。未来，研究人员计划将ADVT扩展到处理连续观测空间，以应对更具挑战性的POMDP问题。

2. 混合可观测性下的分层强化学习

在许多机器人领域中，状态空间可以分解为高可观测性和低可观测性子空间，动作主要影响高可观测性的状态分量。例如，机器人导航到未知动态目标、机器人操作以达到未知目标姿态等任务。

为了解决这类问题，研究人员提出了一种基于混合可观测马尔可夫决策过程（MOMDP）框架的方法。