2025_NIPS_Order-Level Attention Similarity Across Language Models: A Latent Commonality

文章核心内容总结

本文聚焦语言模型（LMs）上下文聚合模式的共性，提出阶数级注意力（OLA） 概念，揭示不同LMs间同阶OLA的显著相似性（OLAS现象），且OLA天然编码句法知识。基于此，设计可迁移OLA适配器（TOA） ，实现无需训练的跨模型适配器迁移，在关系抽取、命名实体识别等4类任务中，显著提升未见过目标模型的性能（如LLaMA3-3B训练的TOA迁移到Qwen2-1.5B，关系预测准确率从7.69%提升至34.90%）。

创新点

1. 提出OLA：通过对注意力展开（Attention Rollout）进行阶数分解，统一不同LMs的注意力表示，为跨模型对比奠定基础。
2. 发现两大核心现象：不同LMs的同阶OLA存在显著相似性（OLAS）；OLA隐含编码输入文本的句法知识。
3. 提出TOA适配器：以OLA为统一句法特征，训练后可直接迁移至其他LMs，无需参数更新，首次实现训练无关的跨模型适配器迁移。

---

Abstract 翻译

本文探讨了一个重要但此前被忽视的问题：不同语言模型（LMs）的上下文聚合模式是否存在共性？尽管已有研究关注LMs的上下文聚合或注意力权重，但这些研究通常聚焦于单个模型或注意力头，缺乏对多个LMs的系统性分析以探索其共性。相比之下，我们专注于LMs间的共性，这有助于深化对LMs的理解，甚至推动跨模型知识迁移。本文中，我们基于注意力展开（Attention Rollout）的阶数分解提出阶数级注意力（OLA），并发现