论文解读-潜在思维链推理的全面综述

 一、简要介绍

大语言模型（LLMs）在复杂推理任务中，通过思路链（CoT）提示取得了显著的性能。然而，传统的CoT依赖于用自然语言明确表达的推理步骤，这不仅降低了效率，还限制了其在抽象推理中的应用。为了解决这一问题，研究者们对潜在CoT推理产生了浓厚的兴趣，这种推理方式在潜在空间中进行。通过将推理与语言分离，潜在推理不仅提供了更丰富的认知表示，还实现了更灵活、更快的推理过程。研究者们在这一领域探索了多个方向，包括训练方法、结构创新和内部推理机制。本文全面概述并分析了这一推理范式。首先，论文从四个角度提出了一个统一的分类体系：token策略、内部机制、分析方法和应用领域。接着，论文对代表性方法进行了深入讨论和比较分析，强调了这些方法的设计模式、优势及面临的开放挑战。论文的目标是为LLM推理这一新兴领域的发展提供一个结构化的基础。

二、研究背景

大型语言模型（LLMs）通过思维链（CoT）推理方法在复杂推理任务中展现了卓越的能力，该方法鼓励模型以自然语言形式逐步进行推理。这种方法不仅提升了模型的推理效率，还促进了其在实际应用中的表现。虽然可解释性较低，但通常能提升任务表现。

尽管显式CoT推理具有实用性，但其本质受到依赖自然语言表示每个步骤的限制。这种语言中介带来了两个主要挑战。首先，它导致了计算效率低下，因为并非所有表达思维过程的词语都包含有价值的信息。其次，人类思维往往超越语言的界限。认知的其他方面，如抽象见解、直觉跳跃或高度组合性的思维，难以完全或精确地用语言表达。对于这些任务，强制每个步骤都用语言表达不仅困难，而且对推理过程本身构成了不自然的限制。

自然语言和显式推理的固有限制直接推动了向潜在思维链推理的转变。如图1所示，模型不再通过语言符号进行推理，而是在潜在空间中进行推理，提供了一种更为抽象和高效的思维过程媒介。这种推理方式可以视为“去语言化”的推理，能够实现更丰富的思维表达、通过压缩计算实现更快的推理速度，并且对非语言认知模式具有更大的灵活性。

然而，潜在的CoT也提出了关键挑战：

(1)不可监督的过程，因为它们的内部推理过程发生在人类无法直接理解的潜在空间中；

(2)评估差距，缺乏明确的指标来区分深度潜在推理与输入-输出捷径；

(3)对齐风险，由于无法检查或限制潜在轨迹，这使得伦理控制变得更加复杂。

尽管存在这些未解的问题，潜在推理研究的快速发展却呈现出碎片化的特征，这突显了研究界对清晰、结构化理解的迫切需求。在本研究中，论文首次全面调查了潜在的链式思维推理。论文的主要贡献有三个方面：

(1)系统分类法：论文引入了一种潜在链式思维研究的结构化分类法，将现有研究分为四个不同的类别。在每个类别中，论文将代表性研究组织成一个连贯的框架，以阐明其方法论假设和创新点（如图2所示）；

(2)深度分析：基于这一分类体系，论文对每个类别的代表性作品进行了全面分析，比较了训练策略、设计范式、监督信号及效率权衡；

(3)挑战识别与研究前沿：论文确定了关键的未解问题，并指出了未来研究的潜在方向。

论文的目标是整合潜在推理的碎片化景观，并促进这一新兴方向的未来发展。

三、基于Token的策略

尽管显式CoT通过生成推理步骤显著提升了LLM的推理能力，但同时也增加了计算成本和推理延迟。为了缓解这些限制并进一步扩展推理模型的表现力，近期的研究探索了使用基于token的策略，这些策略不仅简化了推理过程，还促进了更抽象和紧凑的认知机制的发展。论文将这些外部token分为两大类：离散token，它们是符号化的，通常作为显式的控制信号；连续token，则是在潜在空间中学习到的嵌入，有助于实现隐式推理。

3.1 离散token

离散token作为中间推理步骤或认知操作的符号表示，已成为提升大型语言模型推理能力的一种有前景的范式。它们显著提升了任务表现和效率。

早期研究在探索离散token时，引入了诸如“[暂停]”或省略号（“...”）等简单token来分隔推理步骤，这显著提升了多步任务的表现。

在这些研究之前，Goyal等(2024）提出了自适应且可学习的“暂停token”，能够动态分配计算资源。这些token支持延迟预测，使模型在生成输出前进行额外的内部计算，从而提高逻辑密集型任务的准确性。除了这些开创性的探索，研究人员还开发了更复杂的token，用于编码复杂的推理结构。例如，Wang等（2024b）引入了“规划token”，这些token基于启发式方法或变分自编码器 (VAEs），以提高推理的连贯性和精确度。为了分离认知过程并增强可解释性，Jin等（2025b）提出了专门的token，如“记忆”和“推理”，通过隔离特定的认知操作来模块化推理。

为了进一步推进模块化推理，Ze-likman等人（2024）提出了Quiet-STaR方法，该方法通过使用可学习token来界定内部推理的边界。这种方法使语言模型能够推断出未明确表述的推理步骤，从而在不需针对特定任务进行微调的情况下，提高其在复杂任务上的泛化能力。在此基础上，Ruan等人（2025）提出BoLT，该模型将思维过程建模为一个可训练的潜在变量。这一创新使得模型能够在预训练阶段推断并优化认知步骤序列，从而增强其处理复杂推理任务的能力。Ishibashi等人（2025）进一步扩展了BoLT，引入了包含隐藏思维过程的合成数据的持续预训练（CPT）。他们的推理CPT框架能够重建文本背后的隐含认知步骤，显著提升了在不同领域的推理能力。这些进展在STEM和法律等专业领域尤为突出，不仅在复杂任务上表现出显著的性能提升，还展示了推理技能在不同领域的可迁移性。

Pfau等人（2024）指出，token的结构组织比其语义内容更为关键。令人惊讶的是，用中性占位符替换有意义的token几乎不会影响性能，这突显了token结构的重要性。基于这一发现，压缩技术应运而生，旨在解决计算效率低下的问题。例如，Su等人（2025）采用向量量化变分自编码器（VQ-VAE）将推理步骤压缩成离散潜在token。通过减少计算成本，同时保持性能，来处理潜在的token。为了进一步提升基于token的框架，Gong等人（2025）将这种基于压缩的策略扩展到了偏好建模中，利用可学习的潜在代码码本来使推理输出与人类的期望相匹配。平行隐藏解码变换器（PHD-Transformer）系列通过使用隐藏解码token实现了有效的长度扩展，这一创新由Wu等人（2025）提出。这种方法不仅没有增加键值（KV）缓存的大小，还实现了更深层次的推理和更好的任务表现，解决了长上下文推理的问题，并提高了离散token的实用性。

总的来说，离散token已经从简单的token发展成为用于抽象认知建模的多功能工具。它们作为强大的机制，推进LLM推理能力，提高效率和可解释性。

3.2 连续token

与离散的token不同，越来越多的研究开始探索通过连续表示进行潜在推理的方法，其中推理过程被建模为高维嵌入空间中的轨迹，而非显式的文本序列。这一转变标志着从硬性、离散的token到软性、连续的token的重大转变，提供了更灵活和紧凑的中间推理状态表示。论文根据潜在推理是在训练后还是训练前集成的方法，对现有方法进行了分类。

训练后的方法提供了一种有效的方法，使用最少的额外数据为LLM配备潜在推理能力。根据语言模型（LLM）是否生成最终输出以及是否负责生成和消费连续的token，现有的方法可以分为两类：1)内在方法将整个流程保留在单一的LLM中；2)辅助方法引入一个独立的模块来生成连续的token，这些token随后被注入到主模型中。这两种方法都旨在解决一个核心问题：如何引导连续的token朝向正确的推理方向。图3展示了这些方法的对比示意图。

在内在方法中，COCONUT通过将模型的最后一个隐藏状态输入到下一个输入嵌入中，实现了内部推理的开创性尝试，从而有效支持了潜在迭代过程，而无需生成外部数据。

这种内部状态的反复利用支持了广度优先的探索，提高了效率。为了增强这些潜在轨迹的语义方向性，CODI引入了一种自蒸馏损失，以在显式的CoT监督下，使学生模型特定位置token的隐藏激活模仿教师模型的隐藏激活。LightThinker通过训练模型决定何时以及如何将推理压缩成潜在的“概要”token，使用战略性放置的掩码来减少KV缓存的使用。这些研究显示，内在的潜在表示能够激发有效的推理行为。添加结构先验或对齐目标显著稳定了学习过程，提高了泛化能力，证明了内部轨迹从一致的方向指导中受益。

在辅助方法中，HCoT训练了一个专门的辅助CoT模型，用于将完整的思维过程生成并压缩成一个紧凑的特殊token表示，然后将这些表示作为输入传递给主模型，以生成答案。同样地，CCoT使用训练好的CCoT模型将完整的推理序列编码为可变长度的潜在嵌入，用密集且语义丰富的思考token替换了显式的推理链。这些思考token被监督匹配从输入序列中预计算出的一组隐藏状态。通过评分器选择了一组子集，然后将这些子集输入到训练好的解码器中，以生成最终的答案。

为了降低训练成本并确保在不同领域中的稳定性和泛化能力，SoftCoT将冻结的助手模型与训练好的投影层结合，生成可以直接插入冻结的大型语言模型的“软token”。SoftCoT++进一步扩展了SoftCoT，通过在连续空间中实现多样化的探索，将测试时间扩展范式引入。SoftCoT++使用多个专门的初始token来扰乱潜在空间，并应用对比学习来促进软思想之间的多样性。

尽管后训练方法在提高效率、减少token使用和延迟方面表现一致，但它们的推理性能通常与标准基准上的显式CoT提示相当，甚至不优于后者。这表明，如果没有更深层次的目标来塑造潜在的推理路径，连续token推理可能仍然依赖于文本空间中学习到的能力。预训练方法则更进一步，在预训练阶段直接将潜在推理嵌入模型的认知先验中。

这些方法不是将推理视为一种生成过程，而是将其建模为表示的潜在空间中的可内化、可优化的过程。

CoCoMix通过在预训练阶段将连续的高级“概念”融入模型的隐藏状态中，提出了这一创新思路。这些概念是基于预先训练模型的激活数据，通过稀疏自编码器提取，并根据其对下一个预测值的因果影响进行筛选。CoCoMix通过将预测的概念与词嵌入交织，增强了大语言模型，构建了一个潜在的框架，既提升了性能又增强了可解释性。与将潜在推理视为副产品的后训练策略不同，预训练将其作为认知能力的核心部分，从而可能生成更具通用性和认知一致性的模型。

四、内部机制

最近的研究探讨了大型语言模型（LLM）内部计算机制，这些机制支持推理过程。研究重点在于，推理如何通过内部架构和表示隐式地产生，而无需依赖显式的token级追踪。这项研究主要分为两个方向：(1)结构CoT(Structural CoT），探讨架构深度、循环计算和递归如何支持潜在推理；(2)表示CoT（Representational CoT），探索如何将中间推理过程直接嵌入模型的隐藏状态中，而无需显式的中间输出。

4.1 结构CoT

鉴于大型语言模型（LLM）展现出令人印象深刻的推理能力，近期研究开始探索与推理任务相关的特定扩展规律。研究指出，推理的缩放规律比之前认为的更为复杂，模型深度与参数共同起着关键作用。在固定参数预算下，更深层但更窄的模型通常优于更宽的模型。这挑战了传统的缩放规律，但与直觉推理一致：测试时的缩放成功与共享权重策略相似，通过在多个token中重用相同的层，可以有效地构建更深的计算图。进一步的实证研究进一步证实了深度在推理中的重要性。例如，Chen和Zou（2024）发现，最小深度是共时推理出现的必要条件。虽然增加深度是提高推理能力的一种有前景的方法，但通过迭代优化潜在表示，不断添加层会带来显著的计算和内存开销，从而限制了实际应用中的可扩展性。

受“深度思考”文献中反复出现的架构证据启发，这些研究证明了在学习复杂迭代算法方面具有固有优势。近期的研究已转向探索用于高效潜在推理的循环方法，如图4所示。作为这一领域的早期尝试，CoTFormer通过交错和循环表示来模拟CoT推理。这种方法在保持计算效率的同时，模仿了人类推理的逐步性质。为了在测试时实现任意计算深度，Geiping等（2025）提出了Huginn，这是一种新的循环框架，通过类似RNN的迭代计算动态分配资源。Huginn的性能与更大、静态深度的模型相当，但效率更高。基于循环架构的长度泛化能力，RELAY在循环Transformer中明确地将CoT推理步骤与循环迭代对齐。在训练过程中，通过中间监督来指导推理过程，生成的推理链用于微调自回归模型，从而在超出训练序列长度的任务中提升性能。为了进一步提高关键token的推理能力，Chen等人（2025e）引入了内思考Transformer（ITT），其中每个Transformer层被视为一个独立的推理步骤。通过引入自适应token路由和残差精炼技术，ITT能够动态地在token之间分配计算资源，从而在减少参数数量和训练数据量的情况下，实现强大的推理能力。最后，Saunshi等人（2025b）通过实验证明，通过递归加深而非增加参数数量，可以显著提升推理能力，这进一步推动了潜在推理领域中递归策略的发展趋势。

通过引入自适应token路由和残差精炼技术，ITT能够动态地在token之间分配计算资源，从而在减少参数数量和训练数据量的情况下，实现强大的推理能力。最后，Saunshi等人（2025b）通过实验证明，通过递归加深而非增加参数数量，可以显著提升推理能力，这进一步推动了潜在推理领域中递归策略的发展趋势。

4.2 表示CoT

除了探索深度驱动推理之外，另一个有前景的方向是将显式的CoT直接内化到大型语言模型(LLM）的潜在表示中。早期的表征内化CoT实现采用了增强理性的微调策略，明确教导模型预测中间推理结果，而无需生成文本输出。后续的研究通过复杂的知识蒸馏方法进一步优化了这一方法，训练学生模型模仿教师模型在执行显式CoT时所展现的隐藏状态推理轨迹。此外，分阶段微调范式和自蒸馏框架使大型语言模型能够在不明确表达中间推理步骤的情况下，隐式地将复杂的推理路径内化到其潜在表示中。总体而言，这些研究显示，将推理过程压缩成紧凑且计算效率高的潜在结构是有效的。

总之，结构方法和表示方法为大型语言模型（LLM）内部推理提供了两条互补的路径。结构方法通过架构深度（如堆叠、递归或权重共享）支持迭代计算，从而有效地以分层方式模拟多步骤推理。相比之下，表示方法则直接在隐藏状态中编码推理过程，使模型能够在不显式显示中间步骤的情况下进行推理。这些方法共同强调了计算结构和内部表示在实现高效和强大的潜在CoT推理中的双重重要性。

五、分析和可解释性

由于潜在的CoT将推理与显式的语言痕迹分离，这自然引发了一个问题：大型语言模型（LLMs）是内部模拟逐步推理，还是依赖于只能近似这种行为的浅层启发式？这一问题激发了从多个角度进行的分析研究，包括将内部计算视为结构化推理的证据、识别捷径机制以及分析潜在的推理动态。

5.1 内部计算解释

多项研究表明，语言模型（LLMs）能够在隐藏状态中隐式地执行多步骤推理，即使没有提供明确的解释性提示。这些研究试图揭示内部结构，这些结构表明了分解过程的存在。Hou等人（2023年）通过分析注意力模式，恢复了推理树，揭示了跨Transformer层的分布式潜在推理。Brinkmann等人（2024）对一个在符号逻辑任务上训练的Transformer进行了分析，揭示了一种新兴的循环计算机制：尽管模型架构中没有显式的循环结构，但它通过在深度上重用内部表示来模拟迭代推理。Shalev等人（2024）的研究显示，隐藏状态同时编码了多个中间推理路径，表明潜在推理选项可以并行评估。Wang等人（2024a）的研究指出，grokked变换器从记忆模式转变为可泛化的算法模式，形成了隐式推理电路，即使在浅层模型中也能模拟逐步推理，而无需显式的CoT。Yang等人（2024）的研究证明了语言模型可以在没有提示的情况下检索中间桥接事实，提供了潜在多跳推理的行为证据。所有这些发现都支持了推理可以在内部执行，而无需外部语言表达的观点。

5.2 Shortcut机制

一项研究认为，正确的输出可能不是来自潜在的推理，而是来自预训练期间获得的Shortcut策略。这些研究指出，模型的成功往往依赖于表面的相关性或模式的完成，而非真正的推理过程。Yom Din等人（2024）的研究表明，最终答案通常可以通过早期隐藏层的logit视角进行线性解码，这意味着后期的计算可能只是对已存在的信息进行了重新表述。现有的结果挑战了深度与增量推理相匹配的假设。Liu等人（2024a）的研究表明，大语言模型（LLMs）能够通过跳过中间推理步骤来学习专家级的Shortcut。Lin等人（2025a）发现，LLMs依赖于token级别的虚假关联，揭示了脆弱的位置启发式而非组合推理。Yu（2025）指出，LLMs会根据任务的复杂性动态地在Shortcut机制和潜在的多步推理之间切换。这些研究提醒论文，不应将准确的输出视为真实推理的证据。相反，它们强调了基于表面相关性和位置启发式的捷径机制，如何在没有底层推理的情况下产生看似连贯的答案，这突显了识别这些Shortcut何时起作用的重要性。

5.3 潜在推理驱动

结合上述两种视角，近期的研究重点在于通过表征分析和受控干预手段，以更精准地刻画并引导潜在推理机制的动态特性。Kudo等人（2025）通过因果干预识别了混合推理策略，发现简单的答案在进行显式推理之前就已经计算出来，而更复杂的任务则会触发主动的逐步推理。Zhang和Viteri（2025）发现了一个潜在的CoT向量（激活空间的方向）当这个向量被加入到内部状态中时，可以在没有明确提示的情况下引发CoT行为，揭示了潜在的CoT是一种内部可访问的处理模式。此外，Wang等人（2025b）提出了CoE，这是一种表示推理过程中隐藏状态轨迹的方法，能够识别出与推理成功相关的独特模式，从而实现潜在的自我评估。总体而言，潜在推理在激活空间中留下了可测量的痕迹，通过几何和动态分析，这些痕迹可以被控制或解释，为理解和利用潜在的CoT推理提供了新的途径。

六、应用

潜在CoT推理因其推理效率而成功应用于多个领域。下文将探讨潜在CoT推理的代表性应用实例。

文本推理。现有的潜在CoT方法已经在自然语言推理任务上进行了系统评估，包括数学推理，一般常识推理，以及逻辑多跳推理数据集。然而，潜在推理方法尚未在几个高标准的推理基准上进行评估，这些基准已成为评估大型推理模型的标准，以及以代码为中心的数据集。本文全面回顾了基于大语言模型（LLM）的潜在CoT推理。通过将推理从表面语言层面提升至潜在空间，这种推理方式能够实现更加抽象、高效和可扩展的推断。论文总结了关键方法，指出了主要挑战，并展望了未来的发展方向。论文希望这篇综述能为这一新兴领域提供基础支持，并为该领域的进一步探索提供有价值的见解。

多模态推理与生成。近年来，潜在推理技术已扩展至多模态领域，在这些领域中，用自然语言逐步生成解释不仅效率低下，而且在语义上也较为脆弱。Heima引入了紧凑的潜在“思考token”，这些token在多模态任务中总结了中间推理步骤，减少了生成成本而不影响准确性；XS-CoT通过半隐式的token调度隐藏了跨语言的语音推理，加快了非核心语言的响应速度；LatentLM将每个模态视为潜在token，实现了真正统一的生成界面。他们认为，潜在的CoT推理不再局限于文本。随着模态的增多，能够引导和编辑这些隐藏轨迹的能力可能成为实现可控、高效多模态智能的关键。

检索增强生成与推荐。近期的研究在检索增强生成（RAG）框架中集成了显式推理机制，并通过在潜在空间中压缩这些检索-推理步骤，进一步减少了模型的token数量和延迟。关于RAG的可插拔虚拟token的最新研究表明，潜在token可以作为外部知识和隐式推理的轻量级载体。DEBATER在密集检索中引入了“决策链”(Chain-of-Deliberation，简称CoD）机制。该机制通过一系列提示词序列，在文档表示过程中激发大语言模型（LLM）的潜在推理能力。它进一步通过自我蒸馏技术，将多个推理步骤整合为一个统一的嵌入。在推荐领域，ReaRec利用潜在推理来增强用户兴趣模型，通过递归地将用户行为的最终隐藏状态反馈回网络，进行多轮处理，使用特殊的位置嵌入来区分原始行为输入和内部推理步骤。

七、挑战和未来方向

在本节中，论文强调了阻碍潜在推理潜力充分实现的关键障碍，并概述了未来研究的关键领域。

7.1 挑战

尽管当前的潜在推理方法在效率和推理速度上表现出色，但在准确性和解决问题的能力上仍不及显式推理方法。这种差距可能源于训练难度，因为现有的训练方法通常侧重于优化显式推理的输出，而不是直接监督潜在推理的过程。开发能够充分激活LLM内部推理能力的训练方法仍是一个关键挑战。

泛化问题。隐式推理的训练方法主要在固定模式上表现出稳定性，但在面对新问题结构或训练中未遇到的推理模式时，其泛化能力较差。这种脆弱性表明，当前的潜在推理方法可能是在学习压缩特定的推理模板，而不是在抽象空间中发展出真正灵活的推理能力。

可解释性问题。最近的研究表明，模型在“头脑”中进行的推理往往没有体现在其口头表达的CoT中，这引发了对模型内部过程不忠或隐藏的担忧。从显式推理转向隐式推理，进一步增加了识别错误和理解模型如何得出特定结论的上难度。

7.2 未来方向

为了有效推进潜在推理的发展，有几条前景广阔的探索方向值得论文深入研究：

(1)替代架构。这些技术可能在提升潜在推理的表达力和效率方面发挥关键作用。除了传统的 Transformer模型，循环或循环的Transformer变体通过在多个步骤中重用参数，实现了推理过程。在多模态领域，基于扩散模型的架构提供了有吸引力的替代方案，这可能是因为它们能够以并行且噪声感知的方式建模全局依赖关系和非顺序推理。最近的研究成功展示了将扩散模型与潜在CoT结合的有效性。

(2)可解释性和验证性。这些是潜在推理中需要进一步探讨的关键问题。开发方法来探测、解码或验证这些潜在表示，对于提高透明度和校准推理行为至关重要。

(3)训练方法。大多数现有的训练方法不足以有效塑造潜在推理能力。强化学习为探索大语言模型（LLM）通过自我进化发展潜在推理能力提供了有前景的范式，利用奖励信号隐式地构建一个与任务目标相匹配的结构化推理空间。此外，课程学习使模型能够通过从简单到复杂的训练过程逐步获得越来越抽象的推理技能。

(4)LLM代理。这些代理在潜在共情推理方面可能显著受益，尤其是在推理效率上。这些代理通常生成冗长且详细的推理序列，导致显著的计算开销。通过潜在共情推理，这些代理有望实现更紧凑、更快的规划和决策。

(5)社会智能与心智理论。潜在推理为建模心智理论所必需的嵌套心理状态提供了天然基础——心智理论指的是推断他人信念、欲望和意图的能力。将潜在信念建模嵌入推理流程，有望为实现具备社会能力的人工智能提供一条可扩展的路径。

八、结论

本文全面回顾了基于大语言模型（LLM）的潜在CoT推理。通过将推理从表面语言层面提升至潜在空间，这种推理方式能够实现更加抽象、高效和可扩展的推断。论文总结了关键方法，指出了主要挑战，并展望了未来的发展方向。论文希望这篇综述能为这一新兴领域提供基础支持，并为该领域的进一步探索提供有价值的见解。