2025_NIPS_Lost in Transmission: When and Why LLMs Fail to Reason Globally

文章核心总结与翻译

主要内容

文章聚焦大语言模型（LLMs）在全局推理任务中的失败原因，提出有界注意力前缀预言机（BAPO）模型，量化LLM内部跨残差流的信息传输带宽约束。核心结论是：LLM的有效带宽有限，导致其无法解决需要高带宽的BAPO-hard问题（如图可达性、多数投票），但思维链（CoT）可将这类问题拆解为BAPO-easy步骤，从而突破带宽限制。实验验证了GPT-4o、Claude、Gemini等模型在BAPO-hard任务上的系统性失败，且CoT和专用推理模型（如o3）能显著改善性能。

创新点

1. 提出BAPO模型：首次将LLM的信息传输约束形式化，通过前缀带宽（比特）和注意力带宽（ tokens）量化通信限制，划分BAPO-easy/hard问题类别。
2. 理论证明：明确图可达性、多数投票等关键推理任务为BAPO-hard，且CoT可使常数带宽BAPO具备图灵完备性。
3. 实证验证：跨模型家族验证BAPO对LLM性能的预测能力，揭示真实场景中（如评论聚合、代码变量追踪）BAPO-hard成分的影响。
4. 实用价值：为LLM任务设计提供新视角，指导采用工具调用、CoT等 mitigation策略规避带宽限制。

---

翻译部分（Markdown格式）

Abstract

尽管基于Transformer的大语言模型（LLMs）取得了诸多成功