谷歌DeepMind论文：Transformer架构有缺陷，思维链成本高，下一代大模型需新方向！

思维链成标配但成本高

如今，思维链（CoT）已然成为前沿模型的标配。其机制为用户提一个问题，模型会先输出一大段内部推导过程（有时候长达几千个词），然后才给出正式答案。然而，随着模型能力的提升，思维链越来越长，成本也水涨船高。社交网络上，AI重度用户常望账单兴叹。Claude Fable 5发布后，前沿模型使用成本惊人，有用户感叹「只有开赌场和搞诈骗的才用得起」。

研究撼动行业底层逻辑

近日，谷歌DeepMind的论文《Transformer的拓扑麻烦》以一个看似简单的问题，撼动了整个行业的底层逻辑。该论文指出Transformer架构本身不擅长追踪状态，「思维链」只是给结构性缺陷打补丁。论文第一作者Michael C. Mozer是DeepMind的研究科学家，也是循环神经网络领域的资深研究者，他在1991年提出处理多尺度时序结构的循环网络模型，在1990年代深入研究过RNN的梯度消失问题，这些工作埋下了LSTM（长短期记忆网络）诞生的伏笔。

Transformer工作机制及缺陷

要理解这篇论文，需明白Transformer的工作机制。原初Transformer架构可想象成一座图书馆，每次有人提问，图书馆员把所有对话记录摆在桌上重新翻阅后作答。这就是Transformer把整个对话历史装进「上下文窗口」，通过「注意力机制」检索过去信息的核心策略，该策略催生了GPT、Claude、Gemini、DeepSeek等大模型，但存在「状态追踪（State Tracking）」问题。所谓状态追踪，是指在对话或推理过程中，模型需维护不断更新的「内部状态」。人类思考时自动完成这种追踪，而Transformer每整合一条新信息，「内部状态」就得推送到网络更深层次，网络深度有限，耗尽后便无法可靠追踪状态。论文用把Transformer想象成一栋楼，信息从底层流向顶层，每处理新输入，「状态表示」就得搬到更高一层，楼层有限，搬到顶就搬不动了来解释这一点。

思维链是变通非解决方案

论文中，谷歌DeepMind的作者们用例子展示了Transformer状态追踪失效的日常。一是让模型扮演「猜数字」游戏，Gemini 3（Fast）出现前后矛盾的情况，加入「思考」模块的Gemini 3 Thinking也出问题。二是「河岸还是银行？」歧义测试，模型前后判断矛盾。这不是偶发「幻觉」，而是架构性缺陷的必然结果。通过神经网络可解释性工具Patchscopes观察到，模型对「bank」的语义消歧发生在网络第六层，后续处理时浅层看不到消歧结果，只能基于粗浅词频关联给出反应。目前主流解决方案「思维链」是让模型把埋得深的状态「打印出来」变成可见文字输出再读入，虽有效但代价大，大量计算用于输出「中间思考」，上下文窗口被大量占用，推理成本飙升。论文表示对于人们自动完成的推断，无需诉诸繁复的外显思考。

解决方向：重新拥抱「循环」

论文核心主张是将研究重心从「外显思维链」转向「隐式激活动态」，用循环（Recurrent）架构替代或补充当前的纯前馈（Feedforward）结构。论文建立分类体系，将各类「循环Transformer」按循环发生轴和每个循环步骤处理输入词数两个维度划分。在「深度方向循环」上有「循环Transformer」「通用Transformer」等架构，但深度循环未解决根本问题。真正能做到「无限期状态追踪」的是沿序列方向的循环，这与传统RNN做法一脉相承，结合了现代注意力机制优势。论文列举了MAMBA、RWKV - 7、DeltaNet等状态空间模型（SSM）和线性注意力架构，认为它们代表最新进展。特别关注DeltaNet的改进版本，它扩展特征值范围至负数，在保留并行训练优势的同时，实现超越标准Transformer的状态追踪能力，并在大规模语言建模测试中展现竞争力。论文还提出几个前景看好的研究方向，如在更粗粒度上引入循环、利用残差连接降低循环训练成本、分阶段训练策略。

下一代大模型需流动记忆

「思考」能力如今是顶级AI产品标配卖点，但论文提醒现在的「思考」更像用语言在黑板上演算，而非真正的内心动态。人类读小说无需每翻一页就朗读前面内容来记住线索，大模型目前做不到。论文结论认为，下一代基础模型必须超越「反复检索历史文本」策略，构建「流动的、持续演化的现实表示」，这是通向真正稳定、连贯长时认知的必由之路。从Transformer的「记忆检索」到真正的「状态维护」，路还很长，但已有人看清方向。