OpenAI Adjusts Strategy as ‘GPT’ AI Progress Slow

注：本文为两篇关于当前大模型方向讨论的文章。

---

OpenAI 大改下代大模型方向，scaling law 撞墙？AI 社区炸锅了

机器之心 2024 年 11 月 11 日 11:57 北京

机器之心报道

编辑：Panda、泽南

大模型的 scaling law 到头了？行业龙头 OpenAI 在转换策略。

有研究预计，如果 LLM 保持现在的发展势头，预计在 2028 年左右，已有的数据储量将被全部利用完。届时，基于大数据的大模型的发展将可能放缓甚至陷入停滞。

• 来自论文《Will we run out of data? Limits of LLM scaling based on human-generated data》*

但似乎我们不必等到 2028 年了。昨天，The Information 发布了一篇独家报道《随着 GPT 提升减速，OpenAI 改变策略》，其中给出了一些颇具争议的观点：

• OpenAI 的下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升；

• AI 产业界正将重心转向在初始训练后再对模型进行提升；

• OpenAI 已成立一个基础团队来研究如何应对训练数据的匮乏。

文章发布后，热议不断。OpenAI 著名研究科学家 Noam Brown 直接表示了反对（虽然那篇文章中也引用了他的观点）。他表示 AI 的发展短期内并不会放缓。并且他前些天还在另一篇 X 推文中表示，对于 OpenAI CEO 山姆・奥特曼的 AGI 发展路径已经清晰的言论（「事情的发展速度将比人们现在预想的要快得多」），OpenAI 的大多数研究者都表示比较认同。

著名 X 博主 @apples_jimmy 甚至直斥之为 Fake News，毕竟奥特曼说过 AGI 很快就要实现了。

OpenAI 的 Adam GPT 则给出了更详细的反对意见。他表示大模型的 scaling laws 和推理时间的优化是两个可以互相增益的维度。也就是说就算其中一个维度放缓，也不能得出 AI 整体发展放缓的结论。

OpenAI 产品副总裁 Peter Welinder 也认同上述看法。

当然，也有人认同 The Information 这篇文章的观点，比如一直有类似观点的 Gary Marcus 表示这篇文章宣告了自己的胜利。

数据科学家 Yam Peleg 也表示某前沿实验室的 scaling laws 出现了巨大的（HUGE）受益递减问题。

大多数吃瓜群众基本认同 OpenAI 相关人士公开发布的意见，毕竟该公司虽然存在无数的争议和八卦，但目前仍旧是当之无愧的行业领导者。也就是说，相比于媒体揣测，OpenAI 的话会更可信一些。

不过有意思的是，The Information 这篇报道也宣称很多信息来自 OpenAI 内部员工和研究者。当然，该媒体没有给出具体的信息源。下面我们就来看看这篇引发广泛的争议的报道究竟说了什么。

使用 ChatGPT 和其他人工智能产品的人数正在飙升。不过，支撑这些产品的基本构建模块的改进速度似乎正在放缓。

为了弥补这种减速，OpenAI 正在开发新技术来增强这些构建模型，即大型语言模型。

据一位知情人士透露，尽管 OpenAI 只完成了 Orion 训练过程的 20%，但奥特曼表示，在智能和完成任务和回答问题的能力方面，它已经与 GPT-4 不相上下。

据一些使用或测试过 Orion 的 OpenAI 员工称，虽然 Orion 的性能最终会超过之前的型号，但相比于该公司发布的最新两款旗舰模型 GPT-3 和 GPT-4 之间的飞跃，质量的提升要小得多。

据这些员工称，该公司的一些研究者认为，在处理某些任务方面，Orion 并不比其前代模型更好。据 OpenAI 的一名员工称，Orion 在语言任务上表现更好，但在编程等任务上可能不会胜过之前的模型。其中一位员工表示，这可能是一个问题，因为与 OpenAI 之前发布的其他模型相比，Orion 在 OpenAI 数据中心运行的成本可能更高。

Orion 的情况可以检验人工智能领域的一个核心假设，即 scaling laws：只要有更多数据可供学习，并有更多的计算能力来促进训练过程，LLM 就能继续以相同的速度提升性能。

为了应对近期 GPT 提升放缓对基于训练的 scaling laws 带来的挑战，AI 行业似乎正在将精力转向训练后对模型进行改进，这可能会产生不同类型的 scaling laws。

包括 Meta 的马克・扎克伯格在内的一些 CEO 表示，在最坏的情况下，即使当前技术没有进步，仍有很大空间在现有技术的基础上构建消费者和企业产品。

例如，OpenAI 正忙于将更多的编程功能融入其模型中，以抵御来自竞争对手 Anthropic 的重大威胁。后者正在开发一种软件，其可以接管用户电脑，通过像人类一样执行点击、光标移动、文本输入来使用不同的应用程序，从而完成涉及网络浏览器活动或应用程序的白领工作。

这些产品是向处理多步骤任务的 AI 智能体迈进的一部分，可能与 ChatGPT 最初发布时一样具有革命性。

此外，扎克伯格、奥特曼和其他 AI 开发商的首席执行官也公开表示，他们尚未达到传统 scaling laws 的极限。因此，OpenAI 等公司仍在开发昂贵的、价值数十亿美元的数据中心，以尽可能多地提升预训练模型的性能。

然而，OpenAI 研究者 Noam Brown 上个月在 TEDAI 大会上表示，更先进的模型可能在经济上不可行。

「毕竟，我们真的要花费数千亿美元或数万亿美元训练模型吗？」 Brown 说。「在某个时候，scaling 范式会崩溃。」

OpenAI 尚未完成对 Orion 的安全性