2025_NIPS_Exposing Attention Glitches with Flip-Flop Language Modeling

文章核心总结

主要内容

1. 问题聚焦：大型语言模型（LLMs）在长链推理中存在事实不准确（闭环幻觉），核心原因之一是Transformer架构的「注意力故障」（attention glitches）——自注意力机制的归纳偏置无法稳定捕捉长程依赖推理。
2. 核心方法：提出「触发器语言建模（FFLM）」，这是一个极简的合成基准，要求模型在长序列中忽略中间 tokens，复制二进制符号（模拟单比特内存的读写忽略操作），专门用于探测模型的外推推理能力。
3. 关键发现：Transformer在FFLM任务中存在长尾分布的随机推理错误，而LSTM等循环模型可完美完成；多种正则化（如注意力锐化）能大幅降低错误率，但无法完全消除；训练数据多样性（覆盖稀疏/稠密序列）是最有效的缓解手段。
4. 机制分析：注意力故障源于软注意力的「稀释效应」（序列越长权重越分散）和硬注意力的「位置编码偏差」（非正交参数易导致错误对齐），且过参数化会增加推理路径的复杂性。

创新点

1. 提出FFLM基准：以单比特内存操作为核心，极简且通用，可量化长程依赖推理的长尾错误，补充现有长序列基准的不足。
2. 定义「注意力故障」：首次将Transformer的推理错误归因于系统性架构缺陷，为LLM幻觉提供了可解释的机制假设。
3. 实证与机制结合：通过大规模实验验证Transformer与循环模型的性能差异，同时从数学上分析注意力故障的成因（ Lipschitz限制、非交换性决策难题）。
4. 实用缓解方案：发现注意力锐化、高多样性