
【导语:在自然语言处理领域,让大模型重点关注提示词某句话存在挑战。爱丁堡大学等团队提出SEKA及其自适应变体AdaSEKA,解决了现有方法的延迟和显存瓶颈问题,为大语言模型发展带来新思路。】

在自然语言处理中,注意力引导是控制大语言模型聚焦行为的核心技术,提示高亮是关键策略。但现有方法需显式存储完整注意力矩阵,与高效实现不兼容,存在严重延迟和显存瓶颈。SEKA另辟蹊径,在注意力计算之前直接编辑Key向量,从源头引导注意力分配。
SEKA分为离线学习和在线推理两个阶段。离线阶段通过构造对比提示对,提取不同条件下的Key嵌入,利用奇异值分解学习“相关性子空间”;在线推理阶段,对需要高亮的token,将其Key向量沿着学到的相关性子空间进行投影和放大,公式为k’ = k + g·P·k,该操作天然兼容FlashAttention等高效实现,无需访问或存储注意力矩阵。

SEKA并非对所有KV头施加引导,而是只选择那些对“相关性”敏感的头。研究发现Qwen3 - 8B所有层和KV头的相关性敏感度中,绿色区域(高ℓ₂距离)集中在中后层的特定头上,与“检索头”分布高度吻合。SEKA利用这一发现,仅对这些敏感的KV头施加引导,避免干扰其他功能头,消融实验证实去掉筛选机制会导致性能大幅下降。

标准SEKA的投影矩阵是固定的,面对不同类型任务可能需手动调参。AdaSEKA引入多专家路由机制,针对不同任务分别学习多组“专家投影”。推理时,利用Query向量与各专家子空间的对齐程度,自动计算动态权重,实时组合出最适合当前提示的引导算子。这一机制无需额外训练,计算代价极低,还降低了超参数调优的负担,新专家可随时模块化加入。

研究团队在多个标准基准上,使用Qwen3和Gemma3进行全面实验。SEKA和AdaSEKA在绝大多数设定下排名前二,在CounterFact上将准确率从30 - 50%提升至接近99%。效率对比方面,SEKA每个样本仅增加0.03秒延迟和0.03 GB显存,效率优势达到PASTA的数十倍,且完全兼容FlashAttention。
编辑观点:SEKA和AdaSEKA的提出为大模型注意力引导提供了高效方案,揭示了Key嵌入中“相关性子空间”的存在,为大语言模型发展带来新视角和思路,在长上下文应用中有重要实用价值。



被折叠的 条评论
为什么被折叠?



