2025_NIPS_Cognitive Predictive Processing: A Human-inspired Framework for Adaptive Exploration in...

文章总结与翻译

一、主要内容

该研究针对开放世界强化学习中智能体探索效率低、难以适应任务阶段变化的问题，受人类决策过程启发，提出了认知预测处理（Cognitive Predictive Processing, CPP）框架。开放世界强化学习的核心挑战在于环境探索空间广阔、交互方式多样且感知信息有限，现有方法多依赖固定探索机制和静态阈值，无法动态适配任务阶段转换。

CPP框架通过三个受神经科学启发的核心组件协同工作：

1. 相位自适应认知控制器：将任务动态分解为探索、接近、完成三个阶段，根据奖励模式和环境特征自适应调整各阶段的探索参数（如探索权重、跳跃偏差），并通过停滞检测机制在行为无效时重置为探索阶段。
2. 双记忆整合系统：模拟人类工作记忆与情景记忆，工作记忆存储近期经验以提供即时上下文，情景记忆基于"惊喜值"（奖励预测误差、观测预测误差、相位转换信号）选择性存储重要经验，平衡即时反馈与历史经验利用。
3. 不确定性调制预测调节器：通过层级预测编码生成环境预测，计算观测误差、奖励误差及奖励趋势误差以量化不确定性，动态调整探索策略——高不确定性时扩大探索范围，低不确定性时聚焦目标。

实验在MineDojo基准（Minecraft环境）的5个资源收集任务（砍树、取水、收集沙子、剪羊毛、开采铁矿石）中展开，对比DreamerV3、LS-Imagine等主流方法，结果显示CPP平均提升任务成功率4.6%，减少任务完成步骤7.1%，尤其在动态目标（