一、文章主要内容总结
该研究聚焦大型语言模型(LLM)中的门控机制,系统探究了门控增强型softmax注意力变体的效果。通过在15B混合专家(MoE)模型和1.7B稠密模型上(基于3.5万亿token数据集训练)开展30余种变体对比实验,核心发现:在缩放点积注意力(SDPA)后应用特定于注意力头的sigmoid门控(G₁位置),能持续提升模型性能、增强训练稳定性、容忍更大学习率并优化缩放特性。
研究揭示门控机制有效的两大关键因素:一是在softmax注意力的低秩映射中引入非线性,二是通过查询依赖的稀疏门控分数调节SDPA输出。该稀疏门控机制还能缓解“大规模激活”和“注意力沉陷”问题,提升长上下文外推性能,并已应用于Qwen3-Next模型。此外,研究还验证了门控在不同模型架构、训练数据量和超参数设置下的有效性,给出了“在SDPA输出后应用逐元素门控并适度提高学习率”的实用建议。
二、文章创新点
- 系统探究门控变体:全面对比了5个门控位置(Q/K/V投影后、SDPA输出后、最终稠密层后)、多种粒度(逐元素/逐注意力头)、共享方式(注意力头特定/共享)、作用形式(乘法/加法)和激活函数的门控变体,明确了最优配置。
- 揭示门控核心作用机制:首次阐明门控的有效性源于“非线性引入”和“查询依赖的稀疏性”,而非其他架构因素的混淆,填补了现有研究对门控具体作用机理的认知空白。
- 解决关键技术痛点:提出的SDPA输出门控能彻底消除“注意力沉陷”(将首token注意力占比从46.7%降至4.8%)和“大规模激
订阅专栏 解锁全文
581



被折叠的 条评论
为什么被折叠?



