Contextual Attention Modulation: Towards Efficient Multi-Task Adaptation in Large Language Models

文章总结与翻译

一、主要内容

本文聚焦大型语言模型（LLMs）在多任务适应中面临的核心挑战——平衡知识保留与任务特异性专精，同时解决传统全参数微调的灾难性遗忘、资源消耗大以及现有参数高效微调（PEFT）方法在复杂多任务场景下性能不佳的问题。

1. 核心机制设计：提出上下文注意力调制（CAM）机制，通过动态调制自注意力模块的表示，选择性放大任务相关信号、抑制无关干扰，在保留预训练通用知识的同时增强任务特异性特征。
2. 框架构建：将CAM整合到混合上下文注意力调制（HyCAM）框架中，该框架包含：
   • 共享全参数CAM模块：捕捉所有任务的通用知识；
   • 多个轻量化专用CAM模块：基于PEFT技术（如SLoRA）捕捉特定任务特征；
   • 动态路由策略：结合负载平衡约束，实现通用知识与专用知识的自适应融合。
3. 实验验证：在问答、代码生成、逻辑推理等异质任务上进行大量实验，结果显示HyCAM在多种骨干LLM（Llama系列、Mistral-7B、Qwen2.5系列）上平均性能提升3.65%，且收敛更快、参数效率更高。

二、创新点

1. 聚焦自注意力调制：基于Transformer组件的功能差异（FFN存储通用知识、自注意力处理上下文信息），首次针对性地通过调制自注意力表示实现多任务适应，避免覆盖预训练知识。</