25、混合可观测性下的分层强化学习与组合滤波器的非确定性研究

混合可观测性下的分层强化学习与组合滤波器的非确定性研究

分层强化学习相关成果

不同算法在各任务中的表现

在分层强化学习的研究中，不同算法在多个任务里有着各异的表现。例如，某些算法可以自由提出不切实际的目标，像超出工作空间的目标，这一问题在原始的 HIRO 智能体中也存在。在“Two - Boxes”和“Door - Push”任务中，HILMO - O 的底层策略表现更佳，其性能与 HILMO 较为接近。

其他基准算法方面，没有记忆功能的 SAC 如预期一样，无法解决任何领域的任务。令人意外的是，无记忆的 HAC 在“Ant - Tag”任务中表现出色，这得益于训练良好的底层策略，有时能困住并标记对手。RSAC 仅在“Two - Boxes”任务的某些种子下能取得成功，在其他回合较长的任务中学习困难，奖励稀疏问题严重阻碍了其学习。DPFRL 和 VRM 在各个领域的表现都不佳，因为它们没有处理稀疏奖励的机制，且仅在不需要主动收集信息的部分可观测马尔可夫决策过程（POMDP）中进行了测试，比如闪烁的雅达利游戏，或隐藏速度和位置的运动任务。

训练时间对比

为公平测量训练时间，研究仅在同一 CPU（Intel i7 - 8700K 3.7GHz，12 个处理器）和 GPU（Nvidia GeForce GTX 1080 8GB）上一次进行一个实验，并排除了未学习或未在实现中使用 GPU 的其他基准算法。以下是部分智能体在不同任务中的训练时间（小时）对比：
| 领域 | RSAC | HILMO - O | HILMO |
| — | — | — | — |
| Two - Boxes | 3.31 ± 0.2