
潜在世界模型与 JEPA
潜在世界模型能让机器人在行动前先推演未来,再据此规划动作。2022 年,图灵奖得主杨立昆团队提出了联合嵌入预测架构(JEPA),推动表征空间预测成为世界模型研究中的重要范式。
现有世界模型的问题
多数世界模型训练完成后参数不再更新,难以及时适应真实场景变化,编码器或预测器失准会导致误差放大、任务失败。而人类能通过感觉运动自适应机制适应环境变化。
AdaJEPA 的提出
受人类自适应机制启发,杨立昆团队提出能在部署过程中持续学习的自适应潜在世界模型 AdaJEPA,将自适应嵌入模型预测控制(MPC)的闭环中,每执行一个动作就校正模型并重新规划。
AdaJEPA 的工作流程
AdaJEPA 是一种自适应潜在世界模型,能在机器人执行任务时持续修正预测。流程概括为四步:规划、执行、校正和重新规划。规划时模型内部推演状态变化选动作序列;执行后观测真实反馈并记录;自适应时将状态转移写入缓冲区检验预测,有偏差就校正;重新规划用更新后的模型预测轨迹生成新动作序列,“规划 - 执行 - 自适应 - 重新规划”循环不断。此外,为避免拖慢实时规划,AdaJEPA 只做轻量更新,包括只更新关键层、维护小型在线缓冲区、沿用预训练阶段的目标函数。
AdaJEPA 的效果
整体来看,AdaJEPA 在分布内任务和多种分布偏移下都能稳定提高规划成功率。研究团队在推物体任务 PushT / PushObj 和迷宫导航任务 PointMaze 上评估,即使每次重新规划前只做一次轻量更新,AdaJEPA 仍普遍优于训练后参数不再更新的世界模型。具体结果如下:1. 分布内任务:测试时自适应不牺牲原有能力,还能提升任务成功率,推物体任务提升明显,迷宫导航任务保持相近水平。2. 分布外任务:在环境变化明显的任务中优势更突出,能利用新反馈更新模型提升成功率,而训练后不再更新的模型成功率易达上限。3. 在多种 JEPA 实现上均有提升:在 PushT 推物体任务上更换多种设置测试,AdaJEPA 都能提高规划成功率,每次重新规划只增加约 0.01–0.03 秒延迟。4. 不是从头学习新世界,而是在校正已有预测:可视化结果显示,自适应更像校准,遇到视觉扰动或未见形状,解码结果倾向保留训练分布中的结构特征。5. 消融实验与分析:AdaJEPA 不需要大范围更新和复杂调参,少量关键层更新、一步梯度更新和近期状态转移缓冲区就能带来稳定收益,不同分布偏移对更新位置需求不同,默认超参数能在效果、稳定性和延迟间取得较好平衡。6. 训练数据规模和形状多样性对 AdaJEPA 的影响:效果取决于训练数据量和多样性,形状多样性更关键,测试时自适应能弥补部分泛化缺口,不同数据规模下都能提升成功率,低数据场景收益明显。
不足与未来方向
尽管 AdaJEPA 在多类规划任务中带来稳定增益,但有效性受预训练表征覆盖范围限制,未来轻量级测试时自适应需与持续学习、主动学习结合,扩展对环境变化的覆盖范围。
586



被折叠的 条评论
为什么被折叠?



