2025_NIPS_For SALE: State-Action Representation Learning for Deep Reinforcement Learning

文章核心总结与创新点

主要内容

本文聚焦强化学习（RL）中低维状态环境的表征学习问题，提出状态-动作学习嵌入（SALE）方法，通过建模潜在空间中的环境动力学，联合学习状态和动作的嵌入特征。将SALE与策略检查点、优先级经验回放（LAP）等技术整合到TD3算法中，形成TD7算法，在在线和离线连续控制任务中均实现性能突破。通过大量实证研究验证了SALE的设计选择合理性，同时解决了状态-动作嵌入带来的外推误差问题，最终在OpenAI Gym和D4RL基准测试中显著超越现有算法。

创新点

1. SALE方法：首次针对低维状态环境提出联合状态-动作嵌入学习，通过双编码器分别生成状态嵌入和状态-动作嵌入，捕捉环境动力学结构与状态-动作交互关系。
2. 关键设计优化：引入AvgL1Norm归一化稳定嵌入尺度、固定嵌入避免训练不稳定性、值裁剪缓解外推误差，通过系统设计研究验证了这些选择的必要性。
3. 策略检查点技术：将深度学习中的检查点机制适配到RL中，固定策略进行多轮评估，保存最优策略用于测试，提升算法稳定性。
4. TD7算法：整合SALE、策略检查点、LAP和行为克隆项，形成兼顾在线与离线场景的通用算法，无需额外集成或环境特定超参数，性能显著优于TD3等基线算法。

---

翻译部分（Markdown格式）