文章总结与翻译
一、主要内容
本文针对视觉强化学习(RL)中样本效率低的核心问题,提出了一种名为TACO(Temporal Action-driven COntrastive Learning)的时序动作驱动对比学习框架。该框架通过同时学习状态和动作的潜在表征,解决了现有方法在连续控制任务中忽视动作表征学习、对比损失设计依赖策略导致训练不稳定等缺陷。
核心技术路径
- 学习目标:通过优化当前状态与动作序列的表征和对应未来状态表征之间的互信息,确保学到的表征包含最优决策所需的关键信息。
- 实现方式:基于InfoNCE损失构建时序对比目标,结合CURL损失(增强状态表征鲁棒性)和奖励预测损失(辅助优化),形成复合损失函数。
- 灵活性设计:可作为即插即用模块,无缝集成到在线(如DrQ-v2)和离线(如TD3+BC、CQL)视觉RL算法中,仅需调整预测 horizon K 这一额外超参数。
实验验证
- 在线RL:在DeepMind Control Suite的9个连续控制任务和Meta-world的6个机器人操作任务中,TACO在100万环境交互步后平均性能提升40%,优于DrQ-v2、Dreamer-v3等主流算法,部分任务达到最优性能的步数减少50%。
- 离线RL:在不同质量的离线数据集上
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



