大模型隐空间推理论文阅读笔记

---

Training Large Language Models to Reason in a Continuous Latent Space

一. 简介

机构：Meta
代码：
任务:
特点:
方法:

1.1 摘要

现状：大语言模型往往局限在“language space"进行推理，在解决一个复杂的问题的时候，往往是以COT的方式来表达推理的过程。
观点：用语言空间来表达推理，不是最优的选择。比如：大多数单词token主要用于文本连贯性，而不是推理所必需的，而一些关键标记需要复杂的规划，这对大语言模型是充满挑战的。
方法： 提出了Coconut (Chain of Continuous Thought)，在不受限制的隐空间进行推理。具体而言，用大语言模型最后的hidden state作为reasoing state的特征（也叫做“continuous thought”）。与直接将它解码为词token不同的是，我们重新将它