从错误中觉醒：语言模型的自我反思之旅

在人工智能的世界里，语言模型就像一群勤奋的学生，孜孜不倦地从海量数据中汲取知识。然而，这些“学生”是否能像人类一样，在犯错后停下来反思，调整自己的思路，最终找到正确的答案呢？一项来自Essential AI的研究表明，这种自我反思的能力并非后天训练的专属，而是早在模型预训练的“童年时期”就已悄然萌芽。这篇由Essential AI团队撰写的论文《Rethinking Reflection in Pre-Training》揭示了一个令人振奋的事实：语言模型不仅能在预训练中学会反思，还能随着训练的深入变得越来越擅长自我纠错。让我们一起走进这场关于“反思”的科学冒险，探索这些数字大脑如何从混沌中找到秩序。

---

🌱 反思的种子：从预训练中萌发

想象一下，一个刚学会走路的孩子跌倒后，会皱着眉头思考：“我是不是步子迈得太大了？”语言模型的反思能力也有类似的起点。研究团队发现，这种能力并非如传统观点认为的那样，只在强化学习（reinforcement learning）阶段通过外部反馈形成，而是早在预训练阶段——模型尚未接受任何“考试辅导”时——就已初露端倪。

为了验证这一点，研究者设计了一个巧妙的实验：他们故意在推理链（chains-of-thought, CoT）中植入错误&#