2025_NIPS_Towards Robust Zero-Shot Reinforcement Learning

论文核心总结与翻译

一、主要内容

该论文聚焦零样本强化学习（Zero-shot RL）的核心挑战，针对现有基于Forward-Backward（FB）表示的方法存在的建模表达能力不足、分布外（OOD）动作导致外推误差等问题，提出了名为BREEZE的改进框架。论文通过行为正则化、任务条件扩散模型政策提取、注意力机制增强表示建模三大核心设计，在ExORL和D4RL Kitchen基准测试中，实现了最优或接近最优的性能，同时显著提升了学习稳定性和鲁棒性，尤其在少样本场景和长周期任务中表现突出。

二、创新点

1. 行为正则化优化：重构FB的价值函数和政策学习目标，引入基于期望回归的状态价值函数正则化，通过KL约束锚定行为政策，将离线学习转化为稳定的样本内学习，缓解OOD外推误差。
2. 任务条件扩散模型政策提取：采用扩散模型建模复杂多模态动作分布，通过加权回归目标训练，结合拒绝采样机制选择最优动作，平衡政策的保守性与优化性。
3. 注意力增强表示建模：设计基于自注意力的前向（F）网络和Transformer架构的后向（B）网络，有效捕捉环境动态和任务间复杂关系，提升表示学习质量。

---

三、关键部分翻译（Markdown格式）

Abstract

近年来，零样本强化学习（RL）的发展为学习预训练通用政策开辟了新