21、基于Voronoi树的连续动作POMDP自适应离散化求解器ADVT

基于Voronoi树的连续动作POMDP自适应离散化求解器ADVT

1. 引言

在具有非确定性动作效果和部分可观测性的场景中进行规划，是自主机器人面临的一个关键且具有挑战性的问题。部分可观测马尔可夫决策过程（POMDP）为这类规划问题提供了一个通用的框架。它将规划问题从状态空间提升到信念空间，使机器人能够系统地考虑随机动作和不完整或有噪声的观测所带来的不确定性，从而计算出最优策略。

尽管过去二十年来，基于采样的POMDP求解器取得了显著进展，但对于具有高维连续动作空间的POMDP问题，仍然是一个挑战。现有的连续动作POMDP求解器通常采用在线方法，结合蒙特卡罗树搜索（MCTS）来寻找最佳动作。这些求解器在动作子集细化方面存在差异，例如一些方法使用渐进扩展策略，而另一些则结合了更复杂的方法。然而，这些方法在处理高维动作空间时效果有限，通常适用于维度较低（≤4）的情况。

为了解决高维动作空间的POMDP问题，我们提出了一种新的在线POMDP求解器，即基于Voronoi树的自适应离散化（ADVT）。ADVT的核心思想是利用动作之间的距离来推断它们的值的相似性，假设动作值在动作空间中是Lipschitz连续的。基于这一假设，ADVT提出了一种新的动作空间离散化机制——Voronoi树。Voronoi树是一种二叉空间划分（BSP）树，通过对动作空间进行分层划分，使得分区和估计每个单元大小的计算成本较低，即使在高维空间中也是如此。

ADVT利用Voronoi树中单元的估计大小来指导信念空间采样和Voronoi树的细化。具体来说，它可以帮助判断一个单元是否需要进一步细化，避免对非有前途的动作空间区域进行不必要的小分区。此外，ADVT采用了一种基于单元直径的上置信界来指导MC