Ilya 小题大作？「预训练终结」≠ Scaling Law 撞墙？

来源 | 机器之心

前 OpenAI 首席科学家 Ilya Sutskever 在 NeurIPS 2024 会议上作主题演讲，分享了他关于人工智能的未来发展方向，特别是围绕数据峰值的问题、预训练模型的局限性、以及下一代 AI 模型的自主性和推理能力等方面的看法。

他讨论了现有数据资源的限制对 AI 训练方式的影响，并预测了 AI 系统将如何发展出更类似于人类思考方式的推理能力。然而，Ilya Sutskever 在演讲中有关「预训练结束」的判断引发了许多争议。

目录

01. 数据即将枯竭，是「老生常谈」还是「小题大作」？

Ilya哪些观点引起了争议？业内都有哪些论调在反驳Ilya？

02.数据可能是石化燃料，但远远没有告罄

互联网数据真的会告罄吗？有哪些数据尚未得益利用？非互联网数据能用吗？

03. 预训练的终结本质上是 Scaling Law 的范式转移？

预训练终结和 Scaling Law 有何联系？Ilya 和 Sam Altman 的观点有冲突吗？

Ilya Sutskever 在演讲中表示，行业里称得上可用的新数据上已经接近枯竭。他将这一状况比作化石燃料的消耗：正如石油是有限资源一样，互联网中由人类生成的内容也是有限的。然而，在演讲发布后，许多声音都在强调可用于预训练的数据还非常充裕。

「预训练即将终结」在演讲后引来了 AI 社区中许多争议和反驳，认为 Sutskever 判断错误或是「小题大作」。

AI 社区的反驳和讨论大多来自两个层面，其一在于否认「数据即将枯竭」的判断，其二则围绕 Sutskever 口中即将结束「预训练」高度关联的 Scaling Law 撞墙争议展开。

</