
突发:AGI 判定标准引出有趣项目
今年年初,哈萨比斯给出一个极其硬核的 AGI 判定标准:「一个训练数据截止到 1911 年的模型,能不能自己推导出爱因斯坦 1915 年提出的广义相对论 ?」没想到真有人尝试,其中一位作者还是 GPT 之父 Alec Radford。
项目详情:训练「来自 1930 年」的模型
最近,Alec Radford 和「神经常微分方程」提出者之一、陈天琦导师 David Duvenaud 以及量化专家 Nick Levine 一起做了个有趣项目,用 1931 年以前的数据训练了一个 13B 模型 —— Talkie,然后和这个模型对话。这个「来自 1930 年」的模型切断了所有现代知识的污染,为研究者提供了一个测试 AI 理解能力的诚实参照系,也是探索哈萨比斯问题的很好起点。
模型用途:探索知识边界与未来「预感」
Talkie 的训练数据全部来自 1931 年以前的英文文本,包括书籍、报纸、期刊、专利、法律文书,总计 2600 亿个 token。选 1931 年作为截止点,是因为在美国,在此之前的作品已进入公共领域,可以合法使用。模型训练好后,研究者开了一个 24 小时的直播频道,让 Claude Sonnet 4.6 全天候地去和 talkie‑1930 聊天,探索其知识边界,对话记录公开,其他人也可试用。
研究者提出问题:一个只活在过去的模型,能在多大程度上「预感」到未来?他们从《纽约时报》的「历史上的今天」栏目里抓了将近 5000 条历史事件的描述,测量这些描述对 talkie 来说的「惊讶度」。结果显示,1930 年之前的事,talkie 不觉得意外;1930 年之后,惊讶度明显爬升,在五六十年代达到顶峰,之后趋于平稳。
研究者还引用 DeepMind 创始人 Demis Hassabis 提出的问题,并举例西科斯基的直升机专利(1935 年)、图灵关于可计算数的论文(1936 年)、卡尔森的静电复印专利(1942 年),探讨模型能否凭借已有知识推演到未知领域,这个问题目前尚无答案。
研究动机:解决污染与数据多样性问题
评估大模型能力存在污染问题,即难以判断模型是真的「会」,还是在训练数据里见过答案。Talkie 天然绕开了这个问题,研究者用 HumanEval 标准编程测试评估它,结果显示 talkie 能学,且随着规模扩大,表现会缓慢但稳定地提升,但与训练在现代网页数据上的同等规模模型相比仍有差距,答对的题目多为极简单的单行程序或对示例程序的小幅改动。研究者认为这说明模型对「逆函数」概念有所理解。
当今主流大模型训练数据都源于互联网,引出一个问题:研究的是「语言模型的普遍规律」,还是「训练在互联网上的模型」的特殊性质?Talkie 提供了一个对照组,研究者通过比较它与现代孪生模型(架构相同,训练数据为现代网页数据集 FineWeb)的异同,希望剥离出语言模型的普遍属性和「互联网训练」的特有产物。结果显示 talkie 全面落后,但过滤掉「超纲」题目后,差距大约缩小一半,在语言理解和数字计算维度上与现代孪生模型相当接近,剩余差距可能源于历史文本 OCR 识别质量差和训练语料主题分布差异。
训练难题:时间泄漏、数据质量与对齐问题
训练复古模型并不简单,最棘手的问题是「时间泄漏」。训练数据截止到 1930 年,但「1930 年以前出版」不等于「内容只涉及 1930 年以前的事」,早期 7B 版本就出现过模型知晓后来世界的情况。研究者开发了基于 n-gram 的异常词检测分类器,但 13B 版本的 talkie 仍对二战后的某些事情有模糊感知。
数据质量也是个麻烦,1930 年没有数字出版,文本需从纸质原件扫描、识别,传统 OCR 系统对版式复杂或保存不善的旧书识别效果差,研究者开发专门针对历史文献的 OCR 系统来弥补差距。
训练后的对齐也存在问题,现代大模型的指令微调依赖现代对话数据,会让 talkie 失去 1930 年代的风格。研究者从历史文本入手,构建后训练流程,用 Claude Opus 4.6 扮演用户、talkie 扮演助手,Claude Sonnet 4.6 做裁判,训练后裁判打分从 2 分升到 3.4 分。他们也承认用现代 AI 做裁判存在「时代污染」,下一步想尝试用 talkie 的基础模型来评价 talkie 的对话。
未来计划:训练 GPT - 3 级别模型
目前,研究者正在训练一个 GPT - 3 级别的模型,并希望在今年夏天发布。初步估计表明,他们可以将语料库扩展到超过 1T 个历史文本 token,有望创建一个 GPT - 3.5 级别的模型,其功能与最初的 ChatGPT 类似。
128



被折叠的 条评论
为什么被折叠?



