谷歌DeepMind论文揭示Transformer架构缺陷：思维链成本高，循环架构或成新方向

原初Transformer架构

如今，思维链（CoT）已然成为前沿模型的标配。其机制是用户提一个问题，模型会先输出一大段内部推导过程（有时长达几千个词），然后才给出正式答案。然而，随着模型能力提升，思维链越来越长，成本也水涨船高。社交网络上，AI重度用户常望账单兴叹，悲叹钱包空瘪。Claude Fable 5发布后，前沿模型使用成本惊人，一些用户感叹：“只有开赌场和搞诈骗的才用得起”。或许，提升思维能力这条路可能走错了方向。近日，谷歌DeepMind的论文《Transformer的拓扑麻烦》以一个看似简单的问题，撼动了整个行业的底层逻辑：Transformer架构本身不擅长追踪状态，而“思维链”只是给这个结构性缺陷打补丁。论文标题：The Topological Trouble With Transformers ，论文地址：https://arxiv.org/abs/2604.17121 。值得注意的是，该论文第一作者Michael C. Mozer是DeepMind的研究科学家，也是循环神经网络领域的资深研究者。他在1991年提出处理多尺度时序结构的循环网络模型，并在1990年代深入研究过RNN的梯度消失问题，这些工作为LSTM（长短期记忆网络）诞生埋下伏笔。几十年后，他重新审视这个问题，这次对手换成了主宰AI时代的Transformer。要理解这篇论文，需先明白Transformer是如何工作的。我们可把Transformer想象成一座图书馆。每次有人提问，图书馆员不会“记住”之前说过什么，而是把所有对话记录摆在桌上，重新翻阅一遍后作答。这就是Transformer的核心策略：把整个对话历史装进“上下文窗口”，通过“注意力机制”检索过去的信息。这个策略很有效，绕开了早期循环神经网络（RNN）难以记住远距离信息的问题，催生了GPT、Claude、Gemini、DeepSeek等一系列大模型。但它有一个根本性缺陷，论文称之为“状态追踪（State Tracking）”问题。所谓状态追踪，指在对话或推理过程中，模型需维护一个不断更新的“内部状态”，如对话进行到哪一步、当前场景里哪个人在哪里、一道逻辑题推理到哪个环节。人类思考时，这种追踪自动完成，无需刻意思考。但对Transformer来说，每整合一条新信息，“内部状态”就得被推送到网络更深层次，而网络深度有限，一旦耗尽，模型便无法可靠地追踪状态。论文用一个比喻解释：把Transformer想象成一栋楼，信息从底层流向顶层。每处理一个新输入，模型的“状态表示”就得搬到更高一层。楼层有限，搬到顶就搬不动了。

「思维链」是个变通，但非解决方案

论文中，谷歌DeepMind的作者用几个例子展示了Transformer状态追踪失效的日常。第一个例子是让模型玩“猜数字”游戏：模型心里默想一个1到100之间的数字，用户来猜，模型只回答“更大”或“更小”。这个游戏关键在于，模型必须记住自己想的那个数，并给出一致反馈。然而，论文展示了Gemini 3（Fast）的失败：用户猜60，模型说“更小”；用户猜41，模型说“更小”；用户猜70，模型却说“更大”，前后矛盾。更耐人寻味的是，加入“思考”模块的Gemini 3 Thinking也出问题了。模型在思考阶段明确写下“我选定了数字42，60比42大，所以应该回答更小”，但当用户猜42时，模型依然回答“更小”，忘了自己刚说的话。第二个例子是经典的“河岸还是银行？”歧义测试。同一个英文单词“bank”，有河岸和银行两种意思。模型第一轮正确判断弗雷德去的是河边，但第二轮被问到“他那里有没有ATM机”时，却改口说“有，大多数银行旁边都有ATM”，前后矛盾且毫无察觉。这不是偶发的“幻觉”，而是架构性缺陷的必然结果。论文通过神经网络可解释性工具Patchscopes观察到：模型对“bank”的语义消歧发生在网络第六层（较深位置），但处理后续输入时，浅层（第1至5层）根本“看不到”这个消歧结果，只能基于粗浅的词频关联（“银行”→“ATM”）给出反应。状态虽被更新，但更新结果埋得太深，后续处理无法访问。目前主流解决方案“思维链”的原理，是让模型把埋得很深的状态“打印出来”，变成可见文字输出，再重新读入。这样，深层信息就被“搬运”到新一轮处理的表层。这确实有效，但代价很大：大量计算用于输出“中间思考”，上下文窗口被大量占用，推理成本飙升。对此，论文表示：“对于人们自动完成、毫无意识的推断，比如判断一个词的含义，根本不需要诉诸繁复的外显思考。”

如何解决：重新拥抱「循环」

论文核心主张是将研究重心从“外显思维链”转向“隐式激活动态”，即用循环（Recurrent）架构替代或补充当前的纯前馈（Feedforward）结构。论文为此建立了一套分类体系，将各类“循环Transformer”按两个维度划分：循环发生在哪个轴（深度方向还是序列方向）、每个循环步骤处理几个输入词。在“深度方向循环”上，研究者已探索出“循环Transformer”（Looped Transformer）、“通用Transformer”（Universal Transformer）等架构，允许同一组网络层被反复使用。但论文指出，深度循环仍未解决根本问题：状态表示仍会随序列增长被推向更深层，只是慢了一点。真正能做到“无限期状态追踪”的，是沿序列方向的循环，即每处理一个新输入，都将前一步的状态向量显式传递进来。这与传统RNN的做法一脉相承，但结合了现代注意力机制的优势。论文列举了MAMBA、RWKV - 7、DeltaNet等状态空间模型（SSM）和线性注意力架构，认为它们代表了这条路线的最新进展。特别值得关注的是DeltaNet的改进版本：通过将特征值范围扩展至负数，它在保留并行训练优势的同时，实现了超越标准Transformer的状态追踪能力，并在大规模语言建模测试中展现出竞争力。论文还提出了几个前景看好的研究方向：在更粗粒度上引入循环（如以句子为单位而非词元）；利用残差连接带来的表示对齐来降低循环训练成本；以及分阶段训练策略——先用标准前馈架构预训练，再引入循环机制进行微调。

下一代大模型，需要会流动的记忆

“思考”能力如今是顶级AI产品的标配卖点。但论文提醒：现在的“思考”更像用语言在黑板上演算，而非真正的内心动态。一个人读小说，无需每翻一页就把前面的事“朗读出来”才能记住故事线索。这种背景性的、流动的状态维护，对人类来说几乎零成本，而大模型目前做不到。论文结论认为，下一代基础模型必须超越“反复检索历史文本”的策略，构建“流动的、持续演化的现实表示”，横跨多个时间尺度。这不仅是效率问题，更是通向真正稳定、连贯的长时认知的必由之路。从Transformer的“记忆检索”到真正的“状态维护”，这条路还很长。但现在，有人已看清了地图上那道弯。