
【导语:GPT 之父 Alec Radford 带队发布了总参数 130 亿的大模型「talkie」,其训练数据被冻结在 1930 年 12 月 31 日。这个「活在 95 年前」的 AI 竟能写出 Python 代码,引发了业界的广泛关注。】

GPT 之父 Alec Radford 发布的「talkie」,总参数 130 亿,其「世界观」被冻结在 1930 年 12 月 31 日,当时没有互联网、维基百科和现代代码。但通过少样本学习,它能写出正确的 Python 程序,虽然目前只能完成简单的单行程序,却展现出对「逆函数」的理解。

团队手动 OCR 近百年前的物理文献,用 2600 亿 Token 训练「talkie」,目的是回答 AI 领域核心问题:LLM 的能力是推理还是背诵。结果证明,LLM 可以用 19 世纪的知识做推理,实现了真正意义上的「泛化」。
不过,训练过程中遇到了数据质量瓶颈,传统 OCR 系统转录的旧文本训练模型,学习效率只有人工转录的 30%,简单正则清洗后提升到 70%,但仍有差距。

在「后训练」阶段,团队从 1930 年之前的结构化参考书中提取指令 - 回答对做第一轮 SFT,用在线 DPO 提升指令遵循能力,Claude Sonnet 4.6 作为裁判。最终精调阶段,用 Claude Opus 4.6 生成多轮对话数据打磨对话能力,Claude 对 talkie 指令遵循能力的评分从 2.0 提升到了 3.4(满分 5 分)。
团队也承认这存在「时间污染」,长期目标是用复古基座模型自身作为裁判,实现完全「自举式」的后训练流水线。

研究团队通过计算 talkie 对历史事件的「惊讶度」,发现 1930 年之前的事件它不太惊讶,1930 年之后惊讶度攀升,到 1950 - 1960 年代达到峰值后趋于平稳。这为预测能力实验提供了参考。
团队路线图激进,今年夏天将发布 GPT - 3 级别的复古模型,远期目标是将语料扩展到超过一万亿 Token,训练出能力接近初代 ChatGPT 的模型。
编辑观点:「talkie」的出现为 AI 领域带来了新的思考,证明了 LLM 的推理能力。尽管面临数据质量等问题,但团队的探索精神值得肯定,未来发展值得期待。



被折叠的 条评论
为什么被折叠?



