When a language model is optimized for reasoning, does it still show embers of autoregression?

本文是LLM系列文章，针对《When a language model is optimized for reasoning, does it still show embers of autoregression? An analysis of OpenAI o1》的翻译。

摘要

在“自回归余烬”中，我们发现，几种大型语言模型（LLM）有一些重要的局限性，这是由于它们起源于下一个单词预测。在这里，我们研究了o1是否存在这些问题，o1是OpenAI的一个新系统，与之前的LLM不同，它针对推理进行了优化。我们发现，在许多情况下，o1的表现明显优于之前的LLM，在常见任务的罕见变体上有了特别大的改进（例如，从列表中每个单词的第二个字母而不是第一个字母组成首字母缩略词）。然而，尽管有这些定量改进，o1仍然显示出我们在以前的系统中观察到的相同的定性趋势。具体来说，与之前的LLM一样，o1对示例和任务的概率很敏感，在高概率设置中比在低概率设置中表现更好，需要更少的“思考token”。这些结果表明，优化语言模型进行推理可以减轻但可能无法完全克服语言模型的概率敏感性。

1 引言

2 背景：o1

</