“其实，AI 没有新想法……只有新的数据集”

最新推荐文章于 2025-07-09 18:37:23 发布

原创最新推荐文章于 2025-07-09 18:37:23 发布 · 2.1k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

【优快云编者按】在这个 LLM 飞速演进的时代，我们总习惯将“进步”归功于新的模型架构、算法创新或更炫的技术名词。而本文作者提出了一个值得深思的观点：AI 的真正飞跃，或许从来都不是由“新想法”驱动，而是“新数据源”的觉醒。

原文链接：https://blog.jxmo.io/p/there-are-no-new-ideas-in-ai-only

作者 | Jack Morris 翻译 | 郑丽媛

出品 | 优快云（ID：优快云news）

投稿或寻求报道 | zhanghy@youkuaiyun.com

大多数人都知道，过去 15 年里 AI 取得了惊人的进步——尤其是在过去 5 年。很多人都认为这种进步是“不可阻挡的”，尽管真正的范式突破并不常见，但技术还是在一系列缓慢而稳定的进展中不断发展。甚至有人提出了“AI 版摩尔定律”一说，认为计算机完成某类任务（比如编程）的能力正以指数级增长：

尽管出于多种原因，我并不完全认同“AI 摩尔定律”的说法，但必须承认，AI 正在以肉眼可见的速度不断进步。每年，我们的 AI 模型都在变得更聪明、更快、更便宜，这种趋势短期内还看不到尽头。

大多数人都认为，这种持续的进步来自于学术界（主要是 MIT、斯坦福、CMU 等）和工业界（如 Meta、Google以及一些中国研究机构）源源不断的新研究思路。由于这些研究的推动，我们确实取得了很大进展，特别是在系统方面。正是这些改进，让我们能更高效、更便宜地训练模型。以下是我挑选的几项近几年比较重要的研究成果：

● 2022 年，斯坦福提出 FlashAttention：一种优化语言模型内存利用的算法，如今几乎所有主流模型都在用；

● 2023 年，Google 提出“推测解码”（Speculative Decoding）：几乎所有模型厂商都用它来加速推理（我记得DeepMind 也在同期做过类似研究）；

● 2024 年，一群互联网爱好者推出 Muon：一种比 SGD 或 Adam 更高效的优化器，可能会成为未来训练 LLM 的主流方案；

● 2025 年，DeepSeek 推出 DeepSeek-R1：一款开源模型，其推理能力与 Google 和 OpenAI 等公司推出的类似闭源模型相当。

可以说，我们的研究体系正在不断探索新路径，而且事实比你想象的还要酷：我们正在进行一场去中心化、全球化的科学实践，研究成果在 ArXiv、学术会议、社交媒体上公开分享，每个月我们都在变得更聪明一点点。

既然研究做得这么多，为什么还有人说 AI 进展“放缓”了？前阵子发布的Grok 3 和 GPT-4.5，与它们的前代产品相比，能力提升非常有限。一个特别明显的例子是：当这些大语言模型被拿去做最新的国际数学奥林匹克的题目时，得分只有 5%——换句话说，那些看起来很“炸裂”的发布会可能夸大了模型真实的推理能力。

如果我们把视野拉远，只关注真正意义上的范式转变，你会发现它们出现的频率其实很低。下面我来列举几个我能想到的。

LLM 的四次范式转变

（1）深度神经网络（DNN）：2012 年，AlexNet 在 ImageNet 图像识别竞赛中获胜，正式揭开深度神经网络的时代。

（2）Transformer 架构 + 大语言模型：2017 年，Google 发表论文《Attention Is All You Need》，提出 Transformer 架构，随后推出 BERT（2018）和 GPT（OpenAI，2018）。

（3）基于人类反馈的强化学习（RLHF）：最早由 OpenAI 在 2022 年的 InstructGPT 论文中系统提出。

（4）推理能力模型的崛起：2024 年OpenAI 发布了 o1，随后DeepSeek推出了 R1。

你可以粗略地把这些过程总结成一条主线：DNN → Transformer → RLHF → 推理模型。一开始我们只是做图像识别，接着进入文本分类时代，再到能聊天的模型，现在则有了推理模型。

现在问题来了：如果我们希望促成第五次这样的重大突破，那得从这四次中吸取哪些经验？

从技术的本质来看，这四次飞跃其实都不是“从天而降的新思想”。甚至可以说，它们的基础理论早在1990 年代就已成型。所谓的深度神经网络和 Transformer，本质上都是简单的神经网络架构，训练方式要么采用监督学习，要么采用强化学习。

我们今天用于预训练语言模型的主要方法——基于交叉熵的监督学习，源于Claude Shannon在 20 世纪 40 年代的研究。而通过 RLHF 和推理训练对语言模型进行微调的主要方法——强化学习，则稍新一些，可以追溯到 1992 年提出的策略梯度法（这些想法在 1998 年Sutton & Barto的《强化学习》教材第一版中就已有详解）。