
跨越世纪的AI奇迹
一个生活在1931年之前,在训练数据里没见过任何一台计算机的AI——talkie-1930-13b,居然写出了Python代码。其操盘手是AI研究员Nick Levine、多伦多大学副教授David Duvenaud,以及GPT系列之父Alec Radford。该模型训练数据有严格限制,1931年1月1日之后的任何内容都不准进入,它的世界永远停在了1930年12月31日的午夜。
魔幻表现引发关注
这个本不该知道罗斯福新政的AI,却能把新政立法说得头头是道,连年份都能准确报出。更令人惊讶的是,当团队扔给它一道Python编程题时,它竟然写出了人生中的第一行Python代码。这一事件引发网友关注,有人甚至想出了「穿越提问清单」。
模型的训练与特点
talkie是一个130亿参数的模型,在2600亿tokens的1931年之前的英文文本上训练而成,训练样本包括书籍、报纸、期刊、科学杂志等。选择1930年作为模型的知识截止点,是因为这是美国版权法中作品进入公有领域的边界。
研究发现
团队从《纽约时报》的On This Day栏目里翻出近5000个历史事件喂给talkie,观察其惊讶值变化。结果显示,1930年之前,talkie惊讶值稳定;刚跨过1930年,惊讶值开始爬升;1950 - 60年代,晶体管、电视机普及,惊讶值陡峭飙升;之后则趋于平和。此外,团队还发现,talkie学会了写Python代码。在测试中,它将加密函数里的 +5 改成 -5,答案完全正确,且模型规模越大,能解出的编程题越多。
1930年模型与2026年模型对比
为了评估talkie的能力,团队用相同架构和算力训练了一个喂现代互联网数据的双胞胎——talkie-web-13b,并将两个模型放进各种标准LLM评测里PK。结果显示,talkie-1930在实际表现上落后于现代孪生兄弟,但剔除超出知识范围的题目后,差距缩小一半。在核心语言理解和数学计算任务上,新老模型表现几乎一样好,这说明「理解语言」和「算数」能力似乎不依赖现代互联网内容。剩下的差距主要来自OCR转录质量差和语料题材分布不同。
将模型调教成聊天助手
要让talkie变成能对话的AI助手,传统做法会注入现代元素。团队从1930年之前的故纸堆里考古出训练数据,用Claude Sonnet 4.6做强化学习训练,将talkie调教成聊天助手。但早期7B版本的talkie学会了用现代互联网的列表体说话,原因是Claude老师喜欢列表体,这反映出AI反馈训练方式会让模型沾上现代风格。团队的下一个目标是让talkie自己当自己的老师。
Alec Radford其人
talkie背后的团队成员之一Alec Radford,是AI圈的技术大神。在OpenAI近十年里,他是初代GPT系列的奠基者,包揽GPT - 1和GPT - 2论文一作,也是GPT - 3、GPT - 4的核心贡献者,还是多模态模型CLIP的主导者之一,深度参与了Whisper、DALL·E。他在2018年提出的基于Transformer的生成式预训练方法,奠定了后续ChatGPT和所有大模型的基础。2024年底,他告别OpenAI转做独立研究,2025年3月,以顾问身份加入Thinking Machines Lab。
未来展望
按团队路线图,今年夏天将发布GPT - 3级别的复古模型,未来还想把语料扩展到一万亿tokens、扩展到非英语世界。不知道当它再次醒来,看到现代世界的景象时,是否会再次眩晕震撼瘫坐。
245



被折叠的 条评论
为什么被折叠?



