GPT 之父 Alec Radford：横跨多领域的科研天才，离开 OpenAI 后搞出“老头 AI”！

【GPT 之父：Alec Radford】

最新访谈中，奥特曼给出罕见评价：「他可能是 AI 历史上最重要、却不太为人所知的研究者。」这个人就是 Alec Radford ，真·GPT 之父。你可能没听过他，但大概率用过他发明的东西，GPT - 1、GPT - 2、CLIP、Whisper，他都是论文第一作者。此外，他还参与了 GPT - 3、DALL·E、Scaling Law、GPT - 4 和 GPT - 4o 等一系列关键工作。

【低调的幕后功臣】

奇怪的是，履历几乎横跨大模型每次关键转向的他，没有博士学位，也很少接受采访。ChatGPT 红遍全球时，聚光灯下几乎看不到他。但顺着过去十年的 AI 论文往回翻，会发现每当模型获得此前没有的通用能力，Alec Radford 的名字往往已提前出现在作者栏里。OpenAI 真正起飞，从招进 Alec 开始。最新一期《Invest Like The Best》节目中，主持人问奥特曼：「这家公司一路走来，你最欣赏的幕后功臣是谁？」奥特曼脱口而出是 Alec Radford。Alec 做出的工作演变成了 GPT 系列，他还启发、引导身边人把研究推向重要方向。《连线》也判断：OpenAI 的崛起始于聘用当时默默无闻的 Alec Radford。

【初入 OpenAI 的探索】

2016 年，23 岁的 Alec 加入 OpenAI。那时他是半夜吃菠萝洋葱披萨、和同学打 Kaggle 比赛的毛头小子，还在波士顿宿舍创办了小型 AI 公司 Indico。加入 OpenAI 后，他觉得这份工作「有点像读研究生」，没太多短期压力和必须立即做成的产品，可自由寻找问题：语言模型究竟能干什么？他第一次拿 20 亿条 Reddit 评论训练语言模型，结果失败。但 OpenAI 让他继续，时任 CTO 的 Greg Brockman 回忆：「我们当时就觉得，Alec 很厉害，就让他做他想做的事吧。」后来他受限于算力不足，缩小范围，用约 1 亿条亚马逊商品评论让模型预测下一个字符，意外出现了「无监督情感神经元」，这次实验给出答案：模型在足够多数据上完成预测任务时，可能自行学会训练目标里未明确的能力。Ilya Sutskever 鼓励他让模型学习更大规模、更多样的文本。

【迎来转机与 GPT 诞生】

2017 年，谷歌《Attention Is All You Need》论文出世，Ilya 看中 Transformer 架构。Alec 把它接到此前实验路线上，用 BooksCorpus 数据集让模型预测下一个词，取得很大进展，这套实验成为 GPT - 1 的预训练基础。他们开始谈论「Big Transformer」方向，2018 年这条路线有了正式名字：Generative Pre - trained Transformer（生成式预训练 Transformer），简称 GPT。第一篇 GPT 论文 Alec 排在第一位，GPT - 1 虽未立即轰动世界，但给 OpenAI 带来了方向。

【GPT 系列的发展】

Alec 取得突破后，OpenAI 管理层收拢研究资源到语言模型。一年后，GPT - 2 发布，参数量从 1.17 亿增加到 15 亿，训练数据扩展到约 800 万个网页，Alec 与 Jeffrey Wu 为共同一作。2020 年初，Alec 参与《神经语言模型的 Scaling Laws》论文。同年 5 月，OpenAI 做出 GPT - 3，论文作者从 4 人增加到 31 人，Alec 排在第 29 位，署名位置变化暗示 GPT 项目性质改变。

【跨领域研究：图像与语音】

GPT - 3 发布后，Alec 回到图像领域。加入 OpenAI 前他的 DCGAN 很有影响力，解决了 GAN 模型难以稳定训练的问题。2016 年黄仁勋展示 DCGAN 生成图像却归功给 Facebook 实验室，Alec 受伤后不久加入 OpenAI。2020 年，OpenAI 发布 Image GPT，Alec 排在第二位，证明 GPT 可用于图像。半年后，DALL·E 改进方法，与 DALL·E 同一天发布的 CLIP，Alec 回到共同第一作者位置。图像之外，他还尝试声音，2020 年的 Jukebox 到 2022 年的 Whisper，Alec 又排在论文作者第一位。这些工作源自他的判断：少规定规则，多提供数据和算力，通用能力可能自己出现。

【OpenAI 最神秘的男人】

Alec 几乎不经营个人品牌，有 X 账号坐拥 7 万粉，但很少围绕自己发东西，置顶还是 2018 年发布 GPT - 1 的消息。关于他的公开长篇采访寥寥无几，个人网站简单近乎空白。公众谈起 OpenAI 和 GPT 先想到奥特曼和 Ilya Sutskever，但研究者谈起关键论文很难绕过 Alec Radford。奥特曼形容与 Alec 共事过的人会说他是「几十年一遇的天才」、极具创造力的思考者，也是最善良、最好的人之一。

【离开 OpenAI 后的新尝试】

2024 年 12 月，Alec 离开 OpenAI 从事独立研究。今年 4 月，他和 Nick Levine、David Duvenaud 推出 Talkie，这是有 130 亿参数的「古董语言模型」，预训练语料有规矩：1931 年 1 月 1 日之后出版的英文材料不准进。研究人员让它解决 HumanEval 编程题，它居然写出简单代码。这个实验测试的是：未接触现代计算机的语言模型底座，获得少量新示例和后训练后，能多快吸收陌生技能？GPT 之父把模型「断网」近百年，若模型没见过答案能现学现用，靠的是记忆还是学习？也不知道他这次提前押注了什么，按照惯例，等外界看懂题时，他可能已去做下一道了。