2025_NIPS_Reinforcement Learning with Action Chunking

文章核心总结与翻译

一、主要内容

文章提出Q-chunking（动作分块Q学习）方法，针对离线到在线强化学习场景，解决长 horizon、稀疏奖励任务中的探索效率和样本利用率问题。其核心是将模仿学习中的动作分块技术融入时序差分（TD）类强化学习，让智能体在扩展的动作序列空间中学习：

1. 策略预测未来h步动作序列（动作块）并执行，评论家评估整个序列的价值而非单个动作；
2. 借助离线数据中的时序一致性行为提升在线探索效果，通过无偏n步备份优化TD学习的稳定性和效率；
3. 实例化了QC、QC-FQL等算法，在OGBench和robomimic的多个机器人操作任务中，性能超越现有离线到在线强化学习方法。

二、创新点

1. 首次将动作分块技术系统应用于离线到在线TD类强化学习，突破了动作分块在模仿学习的局限；
2. 构建时序扩展的动作空间，实现无偏n步价值备份，兼顾价值传播速度与估计准确性；
3. 通过行为约束机制提取离线数据中的时序一致性动作，避免随机探索的低效问题；
4. 方法通用性强，可仅需少量修改集成到现有离线到在线算法中（如FQL），且实现简单。

---

三、核心部分翻译（Markdown格式）

Abstract（摘要）

我们提出Q-chunking，一种简单却有效的方案，用于改进长horizon、稀疏奖励任务的强化学