Efficient Reasoning with Hidden Thinking

本文是LLM系列文章，针对《Efficient Reasoning with Hidden Thinking》的翻译。

摘要

思维链（CoT）推理已成为提高多模态大型语言模型（MLLM）复杂问题解决能力的强大框架。然而，文本推理的冗长性质导致了显著的效率低下。在这项工作中，我们提出了Heima（作为隐藏的llama），这是一种高效的推理框架，利用隐藏潜在空间的推理CoT。我们设计了Heima编码器，使用单个思维token将每个中间CoT压缩成一个紧凑的、更高级的隐藏表示，有效地减少了冗长，减少了推理过程中所需的token总数。同时，我们使用传统的大语言模型（LLM）设计了相应的Heima解码器，将隐藏的表示自适应地解释为可变长度的文本序列，重建了与原始CoT非常相似的推理过程。不同推理MLLM基准的实验结果表明，Heima模型在保持甚至更好的零样本任务精度的同时实现了更高的生成效率。此外，使用Heima解码器对多模态推理过程的有效重建验证了我们方法的鲁棒性和可解释性。

1 引言

2 相关工作

3 方法

4 实验结果

5 结论

在这篇论文中，我们提出了Heima的隐式思维高效推理方法。我们通过将每个CoT编码为单个token来微调Heima编码器，并通过结合解释性提示来对Heima解码器进行微调，以解码思维token中封装的隐藏表示。通过Heima解码器有效地重建推理过程，我们证明了我们的方法的鲁棒性和可解释性。实验结果表明，我们的方法在零样本基准测试上实现了相当甚至更好的精度，token显著减少，突出了效率和可靠性。在未来的研究中