Training Large Language Models to Reason in a Continuous Latent Space

本文是LLM系列文章，针对《Training Large Language Models to Reason in a Continuous Latent Space》的翻译。

摘要

大型语言模型（LLM）仅限于“语言空间”中的推理，它们通常用思维链（CoT）来表达推理过程，以解决复杂的推理问题。然而，我们认为语言空间可能并不总是推理的最佳选择。例如，大多数单词token主要用于文本连贯性，而不是推理所必需的，而一些关键token需要复杂的规划，并对LLM构成巨大挑战。为了探索LLM推理在不受限制的潜在空间中而不是使用自然语言的潜力，我们引入了一种新的范式COCONUT（连续思维链）。我们利用LLM的最后一个隐藏状态作为推理状态的表示（称为“连续思维”）。我们没有将其解码为单词token，而是将其作为后续输入直接嵌入连续空间，反馈给LLM。实验表明，Coconut可以在多个推理任务上有效地增强LLM。这种新颖的潜在推理范式导致了新兴的高级推理模式：连续思维可以编码多个备选的下一步推理步骤，使模型能够执行广度优先搜索（BFS）来解决问题，而不是过早地采用像CoT这样的单一确定性路径。在某些逻辑推理任务中，Coconut的表现优于CoT，这些任务在规划过程中需要大量回溯，在推理过程中需要