2025_NIPS_Decompose a Task into Generalizable Subtasks in Multi-Agent Reinforcement Learning

一、文章主要内容总结

该研究聚焦多智能体强化学习（MARL）中的跨任务泛化问题，核心目标是解决现有MARL模型多针对单一任务优化、跨任务迁移能力弱、重新训练成本高的痛点。

1. 核心背景与问题

• 现有MARL方法（价值型、策略型）侧重单任务渐近性能，忽视跨任务迁移性，大规模多智能体系统中重新训练需海量环境交互，成本极高。
• 现有知识复用方法（网络设计型、任务嵌入型）存在缺陷：前者难以确认源任务知识是否适配目标任务，后者依赖大量任务样本，知识复用效率低。
• 关键挑战：如何分解出“任务无关子任务”（如“分散阵型”“集火攻击”），且需满足两大特性——避免过拟合源任务、跨任务语义一致且可扩展。

2. 核心框架：DT2GS（Decompose a Task into Generalizable Subtasks）

提出分解任务为可泛化子任务的框架，核心由两部分构成：

• 可扩展子任务编码器：基于智能体的{子任务、实体观测}历史（而非{动作、观测}历史）分配子任务，避免过拟合源任务；通过MLP嵌入实体观测，结合GRU生成历史表征，利用Gumbel-Softmax采样子任务。
• 自适应动作解码器：核心为自适应子任务语义模块，基于子任务对实体的影响，通过注意力机制赋予子任务跨任务一致且可扩展的语义；结合实体观测与子任务语义计算动作