2025_NIPS_Focused Transformer: Contrastive Training for Context Scaling

文章总结与翻译

一、主要内容

本文聚焦大型语言模型（LLM）在长上下文处理中面临的核心瓶颈，提出了聚焦Transformer（Focused Transformer, FOT）技术及基于该技术的LONGLLAMA模型，核心内容如下：

1. 问题识别：LLM的有效上下文长度受限，且随着文档数量增加，相关键（key）与无关键的比例降低，不同语义的键易重叠导致模型难以区分，即"干扰问题"（distraction issue），这是长上下文扩展的主要障碍。
2. 核心方案：
   • FOT技术：通过受对比学习启发的训练流程，优化（key, value）空间结构，结合k近邻（kNN）算法让部分注意力层访问额外上下文，无需修改模型架构即可扩展上下文长度。
   • 跨批次训练（crossbatch training）：训练时让模型接触当前文档的相关键（正样本）和其他文档的无关键（负样本），激励模型区分语义不同的键。
3. 模型实现：基于OpenLLaMA-3B和7B checkpoint，通过FOT微调得到LONGLLAMA模型，无需长上下文训练数据即可实现上下文长度外推。
4. 实验验证：
   • LONGLLAMA在密钥检索任务中可处理256k上下文长度，100k长度下准确率达94.5%，256k下达73%。
   • 在TREC、WebQS等少样本学习任务中，长上下文带来显著准确