Rope to Nope and Back Again: A New Hybrid Attention Strategy

文章提出了一种新的混合注意力策略，通过对不同注意力机制的分析，构建了结合NoPE和RoPE的模型架构RNope-SWA，在长文本和短文本任务中均取得良好性能，同时提升了训练和推理效率。

1. 主要内容
   • 研究背景：长上下文大语言模型发展面临有效建模、训练资源和部署效率等挑战。注意力机制和位置嵌入对长上下文能力至关重要，已有多种改进方法，但仍存在问题。
   • 实验观察：对比RoPE模型、QK-Norm模型和NoPE模型，在多个基准测试和NIAH基准测试评估性能 ，分析注意力模式。发现QK-Norm在长上下文评估中表现最差；随着序列长度增加，各模型在针token上的注意力质量均下降，NoPE在针token上注意力质量最高。提出结合RoPE和NoPE的RNoPE变体模型，实验发现RoPE层的θ值增加会降低模型长上下文能力，限制RoPE层注意力跨度可提升性能。
   • 模型架构：基于分析结果设计新模型架构RNope-SWA，去除QK-Norm组件，引入全注意力跨度的NoPE层增强检索能力，对RoPE嵌入应用4096的滑动窗口，1:3的全注意力层和滑动窗口层交错比例平衡计算效率和性能。
   • 实验结果：训练RoPE架构基线模型和RNope-SWA模型&#x