
【Transformer八子的传奇开端】
2017年夏天,在谷歌大脑(Google Brain)一间平常的办公室里,八个年轻人完成了论文《Attention Is All You Need》。当时,几乎没人意识到这篇论文会在接下来几年引爆万亿美元的AI革命。用卢卡斯·凯泽(Łukasz Kaiser)的话说:“对我们来说,那不过是办公室里极其普通的一天(just another day in the office)。”这八位作者后来成为了硅谷历史上最传奇的“Transformer八子”。
【卢卡斯的研究与思考】
将近十年后的今天,身为OpenAI资深科学家的卢卡斯每天用Cursor协助研究。他让AI做的第一件事,是花两天时间复现十五年前因丢源码而无法运行的学术论文。他坦言:“我们其实根本还没有参透 ‘学习’ 本身的真正奥秘。”在他眼里,如今的行业陷入盲目狂热,大模型像个极度低效的学习者,要吞噬万亿级语料、穷尽错误表象规律才去“理解”底层概念,这与人类学习方式背道而驰,也让当前的Scaling Law撞上效率冰山。去年,他与优快云高级副总裁李建忠对谈时指出“推理模型目前仅相当于极早期的RNN阶段”,如今时间正印证着他的“冷思考”。
【对话要点速览】
大语言模型能学会概念,但要穷尽所有可能,它用“外星人”式思维泛化,目前还无法觉察自己是否走进死胡同。随着更多人将系统融入日常工作,积累真实人类工作流数据,若有人把强化学习应用到这些工作流中,或许会带来惊喜。AI行业会经历技术海啸,要押注代表“明天”的趋势,而非贪恋“今天”的繁华。离开主力实验室,采购显卡的成本和稀缺性是现实难题。Anthropic在OpenAI被ChatGPT牵制时,明智地将重兵压在“代码”战场,筑起护城河。
【泛化问题探讨】
主持人以“泛化”为开场话题,询问卢卡斯看法有无变化。卢卡斯认为现在Transformer结合推理和智能体,能力惊人,与两年前甚至Transformer诞生前相比,进展不可思议。他每天和Cursor交流,它表现出色,但总觉得它和人类有差距,应能凭借更少数据实现泛化。大语言模型要穷尽所有可能才理解底层逻辑,这与人类学习方式不同,背后可能存在提升泛化效率的机制,但目前只是直觉。如今不少实验室探寻“后Transformer时代”新架构,双方博弈引人入胜。
【新兴实验室探索】
主持人询问新兴实验室探索替代方案的原因,卢卡斯认为很大程度是直觉,虽氛围部分在派对和闲聊中发酵,但也包含本质内容。杨立昆多年前就有类似观点,现有模型虽称“神经网络”,但与人类大脑有本质区别,人类能用少数据做复杂事情,模型缺失人类的核心学习能力,这里存在未发掘的科学规律。反方认为模型训练消耗大量Token,人类接触数据少,若有等量算力和数据限制,微调Transformer能有更好性能。目前很难给出科学结论,但直觉告诉我们机器学习领域有未知领地待开发。
【Transformer的魅力与不足】
Transformer推理能力能解决前沿数学问题,这让卢卡斯惊叹,但他认为我们未参透“学习”奥秘,模型学习需大量数据和算力,距终极真理还差一步,这有待时间验证。
【模型与人类学习差异】
有人认为模型和人类不同也无妨,有海量数据且方法有效就行,但有些领域数据匮乏,如新药研发,高效利用有限数据很重要。卢卡斯认为所有瓶颈将演变成数据受限问题,物理世界数据扩展效率低是挑战,Waymo自动驾驶汽车取消高速公路驾驶就是例子,人类不会出现类似困惑。
【Transformer改进方向】
主持人询问能否通过改进Transformer解决问题,卢卡斯表示机器学习研究方向广,可能需调整架构、数据、损失函数或优化过程。Transformer伟大但离不开损失函数,也可结合强化学习和思维链。未来若有颠覆性新路径,各环节需重新推敲,注意力机制可能保留。卢卡斯从循环神经网络(RNN)开始机器学习生涯,“循环”结构在他心中有特殊位置,推理能力让循环机制回归舞台中央,一些循环模型在测试中表现亮眼,前沿“后Transformer架构”尝试融合循环机制和大语言模型。
【AI提升工作效率】
主持人询问AI提升工作效率的量化指标,卢卡斯称用Cursor复现老论文,以前手动需三周,现在两天完成,效率提升5到10倍,还带来多线程并行能力。他认为使用智能体不影响思维敏锐度,反而能提高对研究项目的底层掌控力,让研究更享受。
【AI达到研究员助理水平】
主持人询问AI达到研究员助理水平的进度,卢卡斯认为它接近实习生,但需紧盯产出,目前还未达到独立研究员高度。
【实现突破的路径】
主持人询问实现突破的可行路径,卢卡斯提到他曾研究“长上下文”和“记忆机制”,现在grep等工具是长上下文的解法,加入少量强化学习,如Cursor的上下文压缩能力就很出色。对于AI能否进化为独立研究员,有人悲观,认为需新架构;有人乐观,认为收集交互数据进行强化学习训练,AI会像学者。目前大家在这方面投入心血不足,系统发挥威力时间短,难以从理论解释其飞跃,且在“元层面”研究时间长、成本高。人类学习方式或许能给机器学习启示,随着积累真实人类工作流数据,应用强化学习可能带来惊喜。
【强化学习的挑战与突破】
主持人提出强化学习在“不可验证”领域的问题,卢卡斯认为在法律、医学等领域已取得进展,“不可验证”标签不完全客观,可验证性是渐变的,大模型在诗歌翻译等主观领域能捕捉细节,但缺乏“品味”。强化学习可通过收集人类喜好提升模型品味,但目前模型缺乏深度体验和正确处理机制。目前强化学习方法似乎无不可逾越的障碍,但要考虑商业和经济成本,依赖闭源基座模型有局限。
【大模型的通用泛化能力】
主持人询问大模型在强化学习维度能否自发涌现跨领域通用泛化能力,卢卡斯表示已有迹象,如法律领域,但边界比预期窄,模型泛化曲线呈“锯齿状”,与人类泛化常理有错位,决策者使用时需谨慎。
【应用型公司的抉择】
主持人询问应用型公司的选择,卢卡斯认为强大的基座模型能让应用开发更顺利,但攻克复杂难题需超级模型,其训练和推理成本高。
【硬件对算法的影响】
主持人询问硬件对算法的影响,卢卡斯表示硬件性能升级体现在每秒浮点运算次数(FLOPs)和内存访问带宽上,如今硬件门槛降低,拓宽了学术研究广度,释放了科研人员创造力,“硬件架构跟不上科研思路”的瓶颈在消融。
【大众化科研的未来】
主持人询问大众化科研能否延续,卢卡斯表示取决于心情,科学史证明优美思想诞生于纯粹研究,行业实验室生态多元,小规模研究也能有前沿成果,虽不是所有灵感都能成功,但现在研究起点已远超五年前。
【多模态模型的发展】
主持人询问多模态模型的发展,卢卡斯认为目前虽有突破,但解法可能指向联合嵌入预测架构(JEPA)方向,现有模型机制未触及人类交互学习核心精髓,行业有新的思路,如多流Transformer架构,但目前缺乏支持“并行吸收”的革命性架构升级。
【OpenAI的抉择与发展】
主持人询问OpenAI的关键抉择,卢卡斯表示任职期间公司决定全力押注“推理”,虽初期模型有问题,但最终取得领先优势。他希望OpenAI等实验室保持魄力,未来若有新架构,要有勇气拥抱。新兴实验室有合理性,但离开主力实验室会面临显卡采购难题,行业生态多元健康。
【代码产品的竞争与发展】
主持人询问代码产品的关键和未来,卢卡斯认为关键是跨越到其他工作领域,Anthropic在代码领域成功是战略选择,AI行业变化快,要押注“明天”的趋势。
【平衡当下与未来】
主持人询问如何平衡当下业务和未来探索,卢卡斯表示取决于团队基因、体量、资金和战略眼光,Google多线布局有优势也有不足。
【开源与闭源模型】
主持人询问开源与闭源模型的差距,卢卡斯认为目前模型体量决定实力上限,蒸馏版与完整版有差距,但开源生态有支持,闭源实验室也会开拓前沿,两者相互牵制是行业主旋律。
【对AI看法的改变】
主持人询问对AI看法的改变,卢卡斯表示没想到这么快拥有媲美人类助理的代码生成实力,这改变了他的科研范式。
【对安全风险的担忧】
主持人询问对安全风险的担忧,卢卡斯认为应关注现实安全隐患,同时不忽视“存在性风险”,要捍卫核心控制权。
【Andrej Karpathy的合作】
主持人询问Andrej Karpathy与Anthropic的合作,卢卡斯认为开发者助手有学术价值,但寻找“后Transformer”突破艰难,需洞察力和运气,他对此保持理性淡然。
【创业的考虑】
主持人询问是否考虑创业,卢卡斯表示对自己的选择欣慰,他迷恋硬核技术,尊重创业者。
【寄语与期望】
主持人请卢卡斯推荐内容或寄语,卢卡斯鼓励研究人员勇敢检验奇思妙想,相互学习,学术界应发表更多探索性论文,不要盲从主流范式,利用好时代机遇,探索未知荒野。
344



被折叠的 条评论
为什么被折叠?



