When a language model is optimized for reasoning, does it still show embers of autoregression?

本文是LLM系列文章，针对《When a language model is optimized for reasoning, does it still show embers of autoregression? An analysis of OpenAI o1》的翻译。

摘要

在“自回归余烬”中，我们发现，几种大型语言模型（LLM）有一些重要的局限性，这是由于它们起源于下一个单词预测。在这里，我们研究了o1是否存在这些问题，o1是OpenAI的一个新系统，与之前的LLM不同，它针对推理进行了优化。我们发现，在许多情况下，o1的表现明显优于之前的LLM，在常见任务的罕见变体上有了特别大的改进（例如，从列表中每个单词的第二个字母而不是第一个字母组成首字母缩略词）。然而，尽管有这些定量改进，o1仍然显示出我们在以前的系统中观察到的相同的定性趋势。具体来说，与之前的LLM一样，o1对示例和任务的概率很敏感，在高概率设置中比在低概率设置中表现更好，需要更少的“思考token”。这些结果表明，优化语言模型进行推理可以减轻但可能无法完全克服语言模型的概率敏感性。

1 引言

2 背景：o1

3 结果

4 结论

在我们考虑的许多任务中，o1的表现比我们之前评估的LLM要好得多，在常见任务的罕见变体上表现尤为突出。然而，它仍然定性地显示了McCoy等人讨论的两种中心类型的概率敏感性：对输出概率的敏感性和对任务频率的敏感性。
这些结果与我们所主张的目的论观点是一致的。一方面，o1针对推理进行了明确的优化，因此我们应该期望它在我们考虑过的算法任务上表现良好——事实的确如此。另一方面，尽管据我们所知，o1文档中没有明确说明这一点，但o1也可能经过了大量的下一个单词预测训练，因此我们希望它能显示与下一个词预测优化相关的行为特征——我们确实发现了这一点