文章核心总结与翻译
一、主要内容
本文针对连续部分可观察马尔可夫决策过程(POMDPs)的策略优化问题,提出了一种基于费曼-卡茨(Feynman–Kac)模型和嵌套序贯蒙特卡洛(SMC)算法的全新框架(P3O)。核心是通过概率推理将信念传播与决策制定耦合,明确权衡探索(减少不确定性)与利用(追求即时目标),避免传统方法的次优近似。在LQG、摆锤、黑暗导航等基准测试中,该方法展现出优于QMDP类算法的性能,尤其在需要主动信息收集的任务中表现突出。
二、创新点
- 构建非马尔可夫费曼-卡茨模型,自然融入未来观测的信息价值,无需手工设计启发式规则。
- 提出嵌套序贯蒙特卡洛算法,通过双层粒子滤波(外层轨迹采样+内层信念跟踪)高效采样最优轨迹分布。
- 将策略优化转化为模型内的极大似然估计,推导全新策略梯度方法,相比REINFORCE具有更低方差。
- 直接在信念空间推理,实现主动信息收集,突破QMDP近似忽略未来信息价值的局限。
三、关键部分翻译(Markdown格式)
Abstract
部分可观察环境下的最优决策要求智能体在减少不确定性(探索)和追求即时目标(利用)之间取得平衡。本文提出一种适用于连续部分可观察马尔可夫决策过程(POMDPs)的新型策略优化框架,明确解决这一核心挑战。我们的方法将策略学习转化为非马尔可夫费曼-卡茨模型中的概率推理问题,该模型通过预测未来观测天然捕
订阅专栏 解锁全文
5001



被折叠的 条评论
为什么被折叠?



