2025_NIPS_Real-World Reinforcement Learning of Active Perception Behaviors

文章核心总结与翻译

一、主要内容

文章针对机器人在部分可观测场景下难以学习主动感知行为的问题，提出了一种名为非对称优势加权回归（AAWR） 的强化学习方法。该方法在训练时利用“特权传感器”提供额外信息，辅助训练高质量价值函数，从而更精准地估计目标策略的优势值。通过结合少量非最优演示数据和简单的初始策略，AAWR实现了从离线到在线的高效训练，在3种机器人、8个操作任务中均展现出优于现有方法的性能，能够让机器人在严重部分可观测环境中通过主动搜索、视角调整等行为完成任务（如在杂乱场景中寻找目标物体）。

二、创新点

1. 提出AAWR方法：利用训练时的特权信息构建特权价值函数，为策略提供更有效的监督信号，解决部分可观测马尔可夫决策过程（POMDP）中的策略优化问题。
2. 理论验证：从理论上推导了AAWR目标函数的合理性，证明在POMDP中最大化策略改进会自然导出该目标，而对称版本（SAWR）无法满足贝尔曼方程的不动点条件。
3. 高效实用：支持离线-在线混合训练，仅需少量非最优演示数据，部署时无需特权传感器，仅依赖机器人自身常规感知（如 proprioception、单摄像头图像），适用于真实机器人场景。
4. 广泛适用性：在模拟和真实环境、不同感知限制、多种任务类型中均验证了有效性，还能辅助通用机器人策略（π₀）克服主动感知短板。

---

三、关键部分翻译（Markdown格式）

</