2025_NIPS_Tackling Continual Offline RL through Selective Weights Activation on Aligned Spaces

文章核心内容总结

本文提出向量量化持续扩散器（VQ-CD），解决持续离线强化学习（CORL）中不同任务状态/动作空间不统一的问题，同时缓解灾难性遗忘。VQ-CD包含量化空间对齐（QSA）和选择性权重激活（SWA）两个核心模块，在15个持续学习任务（含相同/不同空间设置）中，相较于17个基线方法实现SOTA性能。

主要创新点

1. 通用任务适配能力：QSA模块通过向量量化将不同任务的状态/动作空间映射到统一空间，突破传统CORL仅支持相同空间任务的限制。
2. 选择性权重激活机制：SWA模块通过任务掩码对扩散模型的卷积核权重进行选择性激活，分离各任务参数，减少历史知识遗忘。
3. 高效权重整合策略：训练后通过权重组装聚合所有任务相关参数，无需额外内存开销，兼顾训练效率与模型性能。
4. 扩散模型与结构隔离融合：结合扩散模型的强表达能力与结构型方法的参数隔离优势，适配多模态任务分布建模。

---

Abstract 翻译

持续离线强化学习（CORL）通过建模轨迹的联合分布，在基于扩散的持续学习系统中展现出令人瞩目的性能。然而，大多数研究仅关注任务具有相同观测和动作空间