Kimi复现OpenAI o1模型的关键思考过程

DeepSeek R1 的风头让其他大模型暗淡无关。

但我想说，国内的月之暗面，Kimi，他们新出的 1.5 推理模型效果也很不错。只是没有开源，没有在 Twitter 热传，所以被很多人忽略了。

大约半个月前，我看到了 Kimi 技术团队写的这篇文章通俗易懂的解释了自己做的事情，而且读起来很有趣。今天也推荐给你，写的特别好。百度 30 分钟前宣布也要开源自己的看家模型，今年的大模型赛场，会异常激烈。

我愿意多给大家推荐一些这样的好文章。

2024 年 9 月 12 号，o1 发布，震撼，效果爆炸，Long CoT 的有效让我陷入反思 Reflection。

因为 Long CoT 的有效性其实在一年多前就已经知道了，周昕宇很早就验证过，使用很小的模型训练模型做几十位的加减乘除运算，将细粒度的运算过程合成出来变成很长的 CoT 数据做 SFT，就可以获得非常好的效果。我依然记得当时看到那个效果的震撼。我们意识到 Long Context 的重要性，所以率先考虑把 Context 搞长，但却对 Long CoT 这件事情不够重视。其实主要还是考虑了成本问题。

Long Context 主要做的是长文本输入，有 Prefill，有 Mooncake 加持，成本速度可控，而 Long CoT 是长文本输出，成本高很多，速度也要慢很多。在这种情况下，把输出搞长就没有成为一个高优选项。

但是，还有什么比 Performance 更重要呢？成本速度有摩尔定律加持，可以不断下降，只要把 performance 搞上去，剩下的都不是主要问题。

所以，我们得搞 Long CoT，搞 o1。

但具体要怎么搞呢？

我们需要先收集一些信息，来反推 o1 会是怎么做的？RL-LLM 会是怎么做的？（对，这里触发了我的搜索 API）

首先我们观察 o1 官网上的一些例子，我们发现很明显的一些特征：

• o1 可以犯错！！！Long CoT 和以前的 CoT 不一样。

• o1 往往会反复的反思再尝试，有各种 but, wait……

• o1 的思考方法则不局限，可以重述问题，可以联想，可以分治……

然后，两个重要的 OpenAI 的视频出来了，分别是 Noam Brown 和 Hyung Won Chung 的：

• https://www.youtube.com/watch?v=eaAonE58sLU

• https://www.youtube.com/watch?v=kYWUEV_e2ss

我观看了不止一遍，因为他们这些视频并不是近期拍的，但却要等到 o1 发布了才发出来，说明他们的 talk 和 o1 的实现是紧密相连的。

其中，有两张 PPT 我觉得是至关重要的：

Noam Brown 这张，他告诉了我们 Test-Time Search 的重要性，确实回想起之前的 AlphaGo 是这么一回事。很多人以为 Noam Brown 是告诉大家要把 AlphaGo 的 MCTS 用到 LLM 上，那么其实不是，只是说 Search 很重要。至于应用到 LLM 上，那么就是：

我们需要让模型能够自行搜索！

这也让我重新看了一下 Richard Sutton 的 The Bitter Lesson：

https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf

Sutton 早就揭示了一切呀。

接下来就是 Hyung Won Chung 的 Don’t Teach, Incentivize。这个带来的启发就更大了：

Hyung Won Chung 为什么特别强调这个呢？Structure，什么是 Structure？

MCTS 是一种 structure，A* 是一种 Structure。当我们人为加了点 inductive bias 进来强求 LLM 按我们要求的格式进行思考，那么这种思考就是结构化的。而基于我们前面对 o1 的观察，我们就可以把两件事联系在一起了：

o1 没有限制模型如何思考！

这点非常非常关键！因此我们已经可以基于此排除一些带 structure 的工作了，MCTS 就没必要探索，因为一定不 work。

特别的：

现在的各种 Agentic Workflow 就是各种带 structure 的东西，它一定会限制模型的能力。

所以，其实我们还可以直接得出一个结论：

Agentic Workflow 只有短期价值，没有长期价值！早晚会被模型本身能力取代掉。

All in All 我们就是要训练模型能够像我们人一样思考，自由的思考！

然后，Noam Brown 还有一张 PPT 也蛮重要：

这个非常直接的告诉我们：

去做有精确 Reward 的 RL！不要被 Reward Model 给限制住了。

之前 RLHF 相信做过的同学都知道这是一件非常麻烦的事情，因为 Human Preference 并无法精准的建模，训的 Reward Model 又很容易 reward hacking，Lilian Weng 都专门写了个 Blog 来讲这件事：

https://lilianweng.github.io/posts/2024-11-28-reward-hacking/

所以，如果 reward 都不准确的话，那么要做 RL 就很难 work。RL 的 performance 完全取决于 reward。

这不禁就回想起以前做 robot locomotion，game ai 的时候，一堆的 reward shaping。

信息到这里就很明显了：

做题，做题，还是做题！做有标准答案的题，刷起来！

Math 和 Code 就是很直接的两个有标准答案的方向，OpenAI 也是往这上面刷，那么我们当然就往上面刷呗。

怕 context 太长，导致遗忘，我们在这里确认一下前面得到的关键信息：

• 要训练 LLM 通过 RL 做题，有精确 reward

• 不要采取结构化的方法，最终会限制住模型的效果，要让模型自己探索思考范式。

• 思考包含了搜索过程，允许犯错。

好了，接下来我们需要解决如何用 RL 训练 LLM 通过 Long CoT 做题这件事。

很多同学可能会想：那就用 PPO 呗！

问题没有这么简单。Long CoT 对问题的建模产生了很大的变化。

o1 实际上是 In Context RL with Self-Critique。

o1 实际上是把 in context rl 的完整 trajectory 当做一条 message 给训进去了。如下面的 Code:

什么是 In Context RL 呢？下面是论文，你可以看看：

https://arxiv.org/abs/2210.14215

不了解的同学可以看这边，简单的说就是模型做 next token prediction 的过程本身就是一个 rl 探索过程。

模型做一个题，在 Long CoT 下，实际上在做什么呢？

实际上也在学习做这个题，它输出的整个轨迹就是：

s1, a1, r1, a2, r2, a3, r3, ……

其中 a 可以认为是一种解决方法，可以看做 action，而 r 就是 reward，但这里是模型自己做 reflection 得到的 reward，所以我说它是自带 critic/world model 的 in context rl。

最近有相关 Blog 也终于说了这件事，大家也是可以看看：

https://blog.ml.cmu.edu/2025/01/08/optimizing-llm-test-time-compute-involves-solving-a-meta-rl-problem/

但它没有提到 self-critique 这个问题。

所以这个事情变复杂了呀。

如果把 long cot 输出建模成 in context rl with self-critique，那么我们怎么优化它呢？

首当其冲的问题就是每一句话的 value 是多少？

然后你会发现这个 value 已经非常难以估计了。

举个非常简单的例子：计算 1+1=？

然后模型输出 1+1=3，不对，1+1=4 呢？也不对，因为 4-1=3。那么 1+1=1 呢？不对，因 1 不等于 1-1=0… 哦对了，左手有一颗糖，右手也有一颗糖，左手的糖放到右手，那么我右手有两颗糖，我知道了，1+1=2

你会发现：

如果模型不会反思，那么犯错了就是错的，value 就会是负值。但如果模型会反思，那么只要知错能改，最终是对的，那么这些错误都不算错误。value 就不应该为负。

由此，我们进入了 Value 的混沌态，Value 很难估计了。

这让我想到了人生：

o1 即人生。人生就是一条有限的串行轨迹，各种探索，各种犯错，然而除了杀人放火你无法评价某种犯错/挫折的价值会是好还是坏（比如 Steve Jobs 可以被自己创立的公司解雇），最终的结局都取决于自己的目标。

所以，我们可以从逻辑上判断我们不要训 value，不要搞 prm 了，因为不会准的。

所以，看起来用 rl 训 LLM 通过 Long CoT 做题这个问题变简单了：

不管模型中间做错了什么，只要不是重复的，那么最后模型做对了，我们就认为这是一个好的探索，值得鼓励。反之，如果模型一顿探索，最后做错了，那么再努力也是错，要惩罚。

我们把问题变成了 Contextual Bandit 的问题。那么我们就可以用 REINFORCE 的变种来做啦。

上面这就是最基本的 REINFORCE 的公式，简单的说就是做对加梯度，做错减梯度。当然，我们需要让训练更稳定，所以可以加 KL，加 reward 的 normalization 等等一些小 trick，具体可以看下 paper。但基本的思想就是这么简单。

有了基本思路，那么剩下的就是实操了。但这里其实还有一个重要问题：

Long CoT 是如何变长的？这可能是最关键的事情。

惊喜的是在我们实际训练的过程中，我们有了重要的发现：

模型会随着训练提升 performance 也不断增加 Token 数！

也就是这是 RL 训练过程中模型可以自己涌现的！

Fantastic！

这个和友商 DeepSeek 的发现几乎是一样的。看到他们直接做了 zero-sft 的 RL，也是挺 impressive！

OK，理清了整个思考过程，也是不容易。感觉自己像个 AI，哦不，是 AI 太像人了。

我们的思考还在继续，那么未来呢？

ok，还有 o3 在前面，还有很多路要走。

AGI 确实就是近在眼前的事情，这个 Sam Altman 没有乱说。

那么 ASI 呢？

我重新开始思考 ASI。其实对于做 RL 的人来说，从来都不会把 AGI 作为目标呀，因为 AlphaGo，AlphaStar 已经验证了 RL 可以做 superhuman 的事情了，那么现在不过是把场景搬到了现实世界。

给 AI 一个可衡量的目标，然后让其自己去探索，然后通过 RL 提升模型，仅此而已。

未来不过是把这个过程不断的复制到更复杂的场景。

比如给 AI 一本飞机手册，然后让其自己学会模拟驾驶。

比如让 AI 写出 10 万 + 的公众号文章。

比如让 AI 发布一个复制 TikTok 的 App。

比如让 AI 去写一篇文章中 Nature。

让我们一起期待一下接下来的进展吧！加油！

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）