2025_NIPS_Contrastive Modules with Temporal Attention for Multi-Task Reinforcement Learning

文章总结与翻译

一、主要内容

本文聚焦多任务强化学习（Multi-task RL）中的负迁移问题，提出了一种结合对比模块与时间注意力机制的方法（CMTA）。核心目标是解决现有模块化方法存在的两大局限：一是模块功能冗余（部分模块学习相似功能，限制模型表达能力），二是任务内负迁移（仅在任务级别组合模块，忽略任务执行过程中不同时间步的功能冲突）。

核心技术方案

1. 对比模块（Contrastive Modules）：采用混合专家（Mixture of Experts）作为共享模块，通过对比学习约束不同模块的输出特征，增大模块间差异，避免功能冗余。
2. 时间注意力机制（Temporal Attention）：利用LSTM编码时间信息，结合任务编码器输出的任务信息，动态计算每个时间步的模块组合权重，实现更细粒度的模块协作，缓解任务内负迁移。
3. 训练框架：基于软 actor-critic（SAC）算法，将对比损失与强化学习损失结合，平等对待所有任务（无损失加权技巧），优化整体性能。

实验验证

在Meta-World基准（包含MT10/MT50等多任务场景，含固定位置和混合位置两种设置）上进行实验，CMTA首次实现了多任务联合训练性能超越单任务独立训练（Single-SAC），且在样本效率和最终性能上显著优于MT-SAC、Soft Modularization、CARE等基线方法，尤其在复杂的混合