2025_NIPS_MoBA: Mixture of Block Attention for Long-Context LLMs

文章核心总结与翻译

一、主要内容

本文针对大语言模型（LLMs）传统注意力机制在长上下文处理中存在的二次计算复杂度问题，提出了一种新型注意力架构——混合块注意力（MoBA）。该架构借鉴混合专家（MoE）的核心思想，通过将上下文划分为块并采用动态门控机制，让查询令牌选择性地关注最相关的键值（KV）块，在保持Transformer原有框架的同时，实现了稀疏注意力与全注意力的无缝切换。

文章通过多组实验验证了MoBA的有效性：在8K-1M上下文长度的任务中，MoBA的语言模型（LM）损失与全注意力模型相差不超过1e-3，在32K长上下文的尾部令牌损失上虽略有差距但逐步缩小；在CEval、BBH、GSM8K等下游任务中性能与全注意力模型相当，在128K长度的RULER基准测试中接近全注意力表现；计算效率方面，MoBA处理1M令牌时预填充速度提升6.5倍，处理10M令牌时计算时间减少16倍，展现出亚二次复杂度的优势。此外，文章还探索了MoBA与全注意力的混合训练策略、细粒度块分割等优化方向，验证了其在实际生产场景中的适用性。

二、创新点

1. 架构创新：首次将混合专家（MoE）原理应用于注意力机制，提出块稀疏注意力模式，通过块划分与动态门控选择相关KV块，打破传统注意力的全局依赖，在不引入预定义偏差的前提下降低计算复杂度。
2. 兼容性设计：MoBA可直接替代全注意力模块，无需增减模型参数，支持训练过程中在全注意力与稀疏注意力间无缝切换，兼容现有预训练模型，降低迁移成本。
3. 因