LLM不是智能终点?图灵奖大佬LeCun与DeepMind主管的世纪对话,编程开发者必看!

内容提要: Yann LeCun 与 Adam Brown 在 Pioneer Works 的深度对话:大型语言模型真正理解世界了吗?

  • AI的当前局限性: Yann LeCun强调,尽管大型语言模型(LLM)在语言处理上成就斐然,但它们缺乏对物理世界的理解、常识以及高效学习的能力。因此,它们连收拾餐桌这类简单的物理任务都无法完成。他断言,LLM并非通往通用人工智能(AGI)的正确道路。
  • LLM的涌现能力: Adam认为,LLM的成功在于,庞大的计算能力与简单的学习目标(如预测下一个词)相结合,能够催生出复杂的涌现行为,这与物理学中简单规则生成复杂现象的原理类似。他指出,LLM在某些任务上已超越人类,并对其持续进步保持乐观。
  • 理解的本质: Yann LeCun认为LLM的“理解”是肤浅的。它们本质上是进行统计模式匹配,缺乏对背后物理世界的真实认知,这与人类基于感官经验建立的深刻理解有着根本区别。
  • 人类与AI的学习差异: LLM需要处理数万亿词的庞大数据,才能达到一定水平的熟练度。相比之下,人类婴儿通过感官体验(尤其是信息量巨大的视觉数据)就能快速掌握世界运行的规律,其学习效率远超LLM。
  • AGI的未来方向: Yann LeCun构想的AGI,是能够学习世界模型的系统,它能进行抽象推理并预测行为后果(如他提出的JEPA架构),而不仅仅是预测离散文本符号的LLM。他强调,AI的发展应遵循务实的工程学方法,而非寄望于科幻般的“超级智能”降临。
  • AI的安全与可控性: Yann LeCun认为,LLM本身并无危险,真正的危险在于封闭的AI系统被少数巨头所垄断。他主张构建目标驱动、带有内置安全护栏的AI系统,这与人类自身进化出的安全机制类似,以此确保其安全可控。
  • 意识与主观体验: 对于意识,Yann LeCun持实用主义看法,认为具备情感和自我模型(self-modeling)能力的系统,可能会发展出某种形式的意识。Adam则认为意识源于信息处理的本质,与承载其的物理载体无关,并呼吁对不同形态的意识保持谦逊。
  • 开源的重要性: Yann LeCun力主AI开源的必要性,旨在防止信息渠道被少数公司控制,促进AI助手的多样化,并守护全球文化和语言的多样性,避免同质化。
  • AI的文艺复兴愿景: Yann LeCun将AI的未来描绘为一场“新文艺复兴”。在他看来,AI系统将作为增强人类智慧的强大工具,加速科学发现和医学进步,帮助解决复杂难题,最终是赋能人类,而非取代人类。
  • AI的潜在风险与收益: Adam承认AI技术具有双面性,强调需要努力确保其积极影响远大于消极影响。Yann LeCun则将AI安全视为一个工程问题,如同确保航空发动机的可靠性一样,并认为所谓“超级智能失控”的科幻情节是不切实际的。
  • LLM的局限与瓶颈: Yann LeCun认为,LLM虽然在编程和数学等特定任务上表现优异,但在处理连续、高维的现实世界信息方面存在根本性局限,其性能提升已渐趋饱和。
  • AI的递归式自我改进: Adam提到了AI进行递归式自我改进的可能性,即AI自主优化自身,从而实现智能的跨越式发展。但Yann LeCun对此持保留意见,不认为LLM能够通过这种方式进化成失控的超级智能。
  • “代理对齐失败”的探讨: Adam承认存在“代理对齐失败”(agency alignment failure)的风险,认为必须审慎地训练AI,确保它们即使在面对艰难的伦理困境时,也能始终遵循人类的指令。
  • “我们”究竟是谁: Yann LeCun提出,在AI的开发和部署中,控制权和话语权必须多元化,以防止信息流被少数实体垄断。他再次强调,AI安全归根结底是一个需要严谨对待的工程问题。
  • AI发展的时间线: Yann LeCun认为AGI的实现尚需时日,且其路径将与LLM截然不同。Adam则预测,如果当前的进展速度得以保持,具备意识的AI可能会在2036年左右出现。

Yann LeCun, Google DeepMind研究主管Adam Brown简介

Yann LeCun(杨立昆) 是人工智能领域的先驱之一,尤其在深度学习方面做出了开创性的贡献。他因发明卷积神经网络(CNNs)而闻名,该技术是现代计算机视觉的基石。LeCun教授目前担任Meta首席AI科学家和纽约大学计算机科学教授,研究领域涵盖机器学习、计算机视觉、机器人学和计算神经科学。

Adam Brown 是Google DeepMind的研究主管。DeepMind作为Google旗下顶尖的人工智能研究实验室,以其在机器学习领域的突破性项目(如AlphaGo和AlphaFold)而闻名。作为DeepMind研究团队的关键成员,Brown负责指导并推进前沿AI技术的研究方向,致力于利用AI解决全球最复杂的一些挑战。

内容简介

为了拨开围绕人工智能的重重迷雾,我们邀请了两位正在塑造该领域的专家:亚当·布朗(Adam Brown)和杨立昆(Yann LeCun)。

在新一期的《科学争议》(Scientific Controversies)栏目中,计算机科学先驱杨立昆与谷歌DeepMind研究主管亚当·布朗,同我们的科学总监珍娜·莱文(Yannna Levin)展开了一场深度对话。作为图灵奖得主,杨立昆是深度学习和卷积神经网络背后的主要构建者。亚当·布朗是谷歌DeepMind的大型语言模型Gemini项目的研究科学家和团队负责人,他推动了这些AI系统取得惊人的进步,见证了它们从牙牙学语的孩童,成长为国际数学奥林匹克竞赛的金牌得主。

三位嘉宾共同探讨了机器是如何工作的,以及它们是否真正具备思考能力。

访谈全文

主持人: 非常高兴能邀请到我的同事兼好友 Adam,以及之前也来过的 Yann。Yann,你最近真是各大媒体的焦点。很多人都给我转发了关于你的文章。这周三,一切都传开了。你想谈谈那个头条新闻吗?我可以直说,标题的大意是“Meta首席科学家Yann LeCun离职”。你对此有何评论?

Yann LeCun: 我既不确认,也不否认。

主持人: 看来,所有想来挖独家新闻的媒体,今晚注定要空手而归了。好吧,待会儿你们可以去请Yann喝一杯,看看能套出多少话来。

这位法国朋友刚在楼上喝了点酒。我们正处在这样一个时代:每当我们打开新闻、浏览电脑、阅读报纸,都会被卷入关于人工智能社会影响的讨论中。无论是经济动荡、政治操纵的风险,还是所谓的“AI精神病”,有无数专家学者在探讨这些问题。这确实是一个非常重要的话题。

不过,我倾向于将这个话题留到对话的后半部分,因为许多参与讨论的人并不具备在座各位的专业技术知识。因此,我希望这次讨论能首先根植于技术和科学的对话。

Yann,我想从你开始,聊聊神经网络(neural network)。这似乎是一个仿生学(biomimicry)的实例,即计算神经网络(computational neural network)在模拟人类的神经网络。你能否为我们描述一下,一台机器模拟人类神经网络,究竟意味着什么?

Yann LeCun: 其实,与其说是模仿,不如说是启发。就像飞机从鸟类身上获得灵感一样。

主持人: 我还以为那种模仿行不通呢。我的意思是,我以为模仿鸟类来制造飞机这条路是走不通的。

Yann LeCun: 这么说吧,飞机和鸟一样有翅膀,能通过在空气中推进自身来产生升力,但两者的相似之处也仅此而已。飞机的机翼远比鸟类的翅膀简单,但它们遵循的基本原理是相同的。

神经网络与大脑的关系,就有点像飞机与鸟类的关系。它在很多方面都经过了极大的简化,但或许某些底层原理是相通的。我们其实并不确定,因为我们尚未完全理解大脑皮层的底层算法,也未搞清大脑自我组织和学习的方式。

所以我们发明了替代方案。这就像鸟类靠扇动翅膀飞行,而飞机则依赖螺旋桨或涡轮喷气发动机。在神经网络中,我们设计了学习算法(learning algorithm),使人工神经网络能够以我们认为与大脑学习方式相仿的模式进行学习。

大脑是一个由互相连接的神经元构成的网络。大脑的学习方式,是改变这些神经元之间连接的强度。同样,训练一个神经网络也是通过改变其模拟神经元之间的连接强度。每一个这样的连接,都可以被视为一个我们称之为参数(parameter)的变量。你在新闻里常会看到“神经网络的参数数量”这种说法。目前,最大的神经网络拥有数千亿甚至更多的参数,这些参数正是在训练过程中被调整的独立系数。

主持人: 那么,深度学习(deep learning)又是如何出现的呢?深度学习的概念是在神经网络之后才出现的,而神经网络的历史已经可以追溯到80年代甚至更早。

Yann LeCun: 是的,大约是80年代。早期的神经网络是“浅层”的。在50年代,那些能学到些有用东西的初代模型,基本上只能训练单层神经元。你输入数据,训练系统产生特定输出,用它来识别或分类一些相对简单的模式,但无法处理真正复杂的问题。

当时的人们,早在60年代就意识到,取得突破的关键在于要能训练多层神经网络。他们确实构建了多层神经网络,但却无法训练所有层,例如只能训练最后一层。直到1980年代,都无人找到有效训练这些多层系统的方法。

这主要是因为当时使用的神经元类型是错误的。他们用的是二值神经元(binary neuron);大脑中的神经元也是二值的,要么“激发”,要么“不激发”,人们想复刻这一点。于是他们构建了只有“活跃”或“不活跃”两种状态的模拟神经元。但事实证明,要让被称为反向传播(backpropagation)的现代学习算法奏效,你需要的是具有“分级响应”(graded responses)的神经元。

直到80年代,这个想法才变得可行,人们才意识到它能成功。这在80年代重新点燃了人们对神经网络的热情。这个领域在60年代末几乎被完全放弃,到80年代中后期又再度兴起。我正是在1983年开始读研究生。这股热潮持续了大约十年,到90年代中期又再次冷却,直到2000年代末,

我们把它重新包装为“深度学习”。因为“神经网络”这个词当时名声不太好。计算机科学和工程领域的人们普遍不看好神经网络,认为它声名狼藉。所以我们把它更名为“深度学习”,重新推向台前。随后,它在计算机视觉、自然语言理解、语音识别等领域取得了一系列成果,才真正说服了人们,证明了它的巨大价值。

主持人: Adam,你在很小的时候就对理论物理感兴趣,而非计算机科学。在某种程度上,你算是从远处见证了这一切的演变。究竟是什么催化剂,在几十年后吸引了如此多的人投身其中?曾经有一段时间,神经网络备受关注,在手写识别、视觉识别等方面也取得了巨大成功,但并未席卷全球。是什么将我们带到了今天这个全民热议大语言模型(Large Language Model)的时代?

Adam: 近些年,许多物理学家可以说都从物理学“转向”了人工智能。这确实要归功于Yann和其他人证明了AI的可行性。在它还未展现威力时,对物理学家来说,它不过是计算机科学领域里众多不起眼的事物之一,并未引起太多关注。

但是,当Yann和该领域的其他先驱们证明它行之有效后,AI立刻成了对物理学极具吸引力的课题。当你把这些神经元以某种方式联结起来,单个神经元层面所不具备的涌现行为(emergent behavior)便赫然出现。

物理学家们毕生都在探索,世间万象如何从简单的定律中演化而来。因此,这个课题立即吸引了他们的目光。如今,获得物理学博士学位后转而研究AI这样的涌现系统(emergent system),已经是一条非常普遍的职业路径。而这个涌现系统,就是一个能自发产生智能的神经网络。

主持人: 好了,我们来个快问快答(lightning round),因为你提到了“智能”这个令人望而生畏的词。在座的各位很可能都接触过我们现在所说的AI,而这些AI就是大语言模型(Large Language Model)。在请你们为我们定义它之前,我想先问几个是或否的问题。那么,亚当,这些AI,也就是大语言模型,它们能理解与我们对话的含义吗?是,还是否?

Yann LeCun: 是。

主持人: 哦?

Yann LeCun: 在某种程度上是的。

主持人: 这才对嘛。

Adam: 神经元可不是简单的二元结构。

主持人: 没错。怪我,只给了你们一个二元选择。好,这正好让我可以问下一个问题,因为答案并非必然。如果你对上一个问题没有回答“是”,那你对这一个问题的回答就会很有意思了:这些AI有意识(conscious)吗?

Yann LeCun: 绝对没有。

主持人: 亚当?

Adam: 大概没有。

主持人: 好的。那它们很快就会有意识吗?

Adam: 我认为,如果继续像现在这样发展下去,它们总有一天会拥有意识。至于具体是什么时候,很难说,但是……

Yann LeCun: 是的。

主持人: 是的。好吧,现场正好有几位哲学家,但我们就不在此深究“意识”的哲学定义了,不然一个小时过去,我们还在原地打转。哦,我好像听到了楼上朋友们的抱怨声了。但我还有另一个问题。哦不,是两个。快问快答环节还有两个问题。我们是正站在毁灭的悬崖边,还是处在人类创造力复兴的前夜?扬(Yann)。

Yann LeCun: 文艺复兴。

主持人: 亚当?

Adam: 极有可能是文艺复兴。

主持人: 我得把同样的问题抛给观众,不过我会用一种更生动的说法,我想大家会更有共鸣:机器人霸主最终会奋起反抗人类吗?认为“会”的,请举手。哦,有意思。好的,认为“不会”的,请举手。

好的。观众席里有多少机器人?请举手。开个玩笑。这很有意思,看到了吗?很酷。感觉认为“不会”的人多一些,不过灯光太刺眼了,看不太清。好吧,我们最后会再问一次这个问题。

好了,言归正传。这些神经网络被教会执行一个我们现在称之为深度学习(deep learning)的过程,此外还有其他类型的学习也在兴起。

那么,具体什么是大语言模型呢?它们席卷了新闻头条,也渗透进了人们的个人体验。我们现在谈论的AI,主要就是指大语言模型。亚当,可以请你来解释一下什么是大语言模型吗?

Adam: 好的。大语言模型,大家可能都玩过,比如ChatGPT,我们公司做的Gemini,以及其他公司开发的各种模型。它是一种特殊的神经网络(neural network),通过特定的输入、输出和训练方式构建而成。

其核心是由扬(Yann)等人开创的那种深度神经网络(deep neural network),但它采用了一种为特定任务设计的特殊架构(architecture)。这个任务就是:输入一段文本,比如一个句子的前几个词,或一本书的前几个段落,然后预测下一个词会是什么。

所以,你可以拿一个特定架构的深度神经网络,让它去读,粗略地说,就是整个互联网。对于互联网上出现的每一个词——无论是所有文本数据,还是现在你能找到的其他类型的数据——你都让它去预测下一个词是什么,一遍又一遍地预测。

如果它猜对了,就给一点奖励,强化相关的神经通路(neural pathways);如果猜错了,就削弱那些通路。刚开始训练时,它只会胡乱吐出一些随机的词。用一百万个词训练后,它吐出的可能还是随机的词。用十亿个词训练后,它或许刚开始学会主谓宾结构和一些零散的句法。

而当我们像今天这样,用上万亿甚至几十万亿的词汇来训练它,它就逐渐变成了大家今天可能已经体验过的那个对话伙伴了。

主持人: 这倒让我想起一件有意思的事。有时候我觉得很好笑,人们会因为聊天机器人误导或欺骗了他们而勃然大怒。

我有时候会想,模型处理的不必是词语,换成颜色或符号也一样。它只是在玩一场数学游戏,因此并不理解所谓的“意义”。

我知道亚当不太同意我这个总结。你认为它们提取意义的方式,和我们组织语句时理解意义的方式,是一回事吗?

Yann LeCun: 它们当然能提取一些意义,但这比大多数人从文本中提取的意义要肤浅得多。人类的智能是扎根于客观现实的,对吧?而语言是用来表达那些现实世界中的现象、事物或概念的一种方式。大语言模型(LLMs)没有关于客观现实的任何概念,因此它们的理解相对肤浅。它们并不具备我们所理解的那种常识(common sense)。

但是,只要训练时间足够长,它们就能正确回答出人们能想到的绝大多数问题。它们就是这样训练出来的:收集人们问过的所有问题,然后训练模型给出正确答案。然而,总会出现新的问题、新的提示(prompt),或者模型从未见过的词语组合,这时它就可能输出纯粹的胡言乱语。所以,从这个意义上说,它们对客观现实并没有真正的理解;或者说,即使有理解,也只是非常肤浅的。

所以,接下来的问题就是,我们该如何解决这个问题?

主持人: 那么,请允许我来唱个反调:我们怎么知道人类的学习方式就一定有那么大区别呢?我们也接受了大量语言训练。当我们在特定语境下,在恰当的时机,用正确的语法说出合适的词时,我们的大脑也会得到多巴胺之类的奖励。我们也会进行“反向传播”(backpropagate),下次努力做得更好。从某种意义上说,这和AI有什么不同?你的意思是说,区别或许在于我们拥有沉浸于真实世界中的感官体验?

Yann LeCun: 好的。一个典型的大语言模型,正如我之前提到的,是经过数十万亿词汇的训练的。通常……

主持人: 但词汇量本身不就几十万个吗?你说的其实是词语组合成的句子吧。

Yann LeCun: 不,30万亿词汇只是大型语言模型(LLM)预训练(pre-training)阶段一个典型的训练集规模。一个词(word)实际上是以词元(token)序列的形式来表示的,但这不重要。一个词元大约是三个字节(byte)。所以,要训练这些大型语言模型,总数据量大概是10的14次方字节,也就是1后面跟着14个零。

这基本上相当于互联网上所有可公开获取的文本以及其他一些资料的总和。我们任何人想要读完这些资料,大概需要五十万年。所以,这确实是极其庞大的文本数据量。

现在,我们将其与一个孩子在生命最初几年所感知到的信息量做个对比。心理学家告诉我们,一个四岁的孩子总共清醒了16,000个小时。我们有两百万条视神经纤维,每秒钟大约有2兆字节(2MB)的数据通过视神经传输到视觉皮层。将这个速率乘以16,000小时,进行算术运算后,你会发现结果大约也是10的14次方字节。也就是说,一个四岁孩子接收到的视觉数据总量,与最大型的LLM处理过的全部文本数据量相当。

这告诉我们,真实世界蕴含的信息远比文本世界丰富,但也复杂得多。真实世界的数据充满噪声、维度极高且是连续的。基本上,用于训练大型语言模型的方法在真实世界中是行不通的。

这就解释了为何我们有了能通过律师资格考试、像大学生一样解方程、算积分的大型语言模型,却依然没有一个能包揽家务的自动机器人。我们甚至还没有实现L5级别的全自动驾驶汽车。我是说,我们有类似的产品,但那是在“作弊”。我们当然也造不出像任何青少年一样,仅用20小时练习就能学会开车的自动驾驶汽车。

所以很明显,要让机器达到人类甚至动物的智能水平,我们还缺少一些非常关键的东西。我们先不谈语言,就聊聊猫和狗的智能吧。在人工智能领域,我们甚至还未企及它们的高度。

主持人: 亚当,在这一点上,你似乎认为大型语言模型已经具备了更强的理解能力。

Adam: 说得没错,我确实是这么想的。不过,Yann刚才的观点也非常好,他指出大型语言模型在样本效率(sample efficiency)方面远不如人类。人类,甚至一只猫——当然我不知道说的是不是你的猫……

主持人: 它是一只非常聪明的猫。

Adam: 例如,一只猫能够从远少于大型语言模型的样本中学习。要让大型语言模型达到同等的熟练度,需要的数据量要多得多。这是事实,也正是动物心智的构造优于我们正在构建的人工心智之处。

然而,样本效率并非衡量智能的唯一标准。事实上,在大型语言模型出现之前,当我们尝试为机器赋予人工智能以执行其他任务时,就频繁遇到这种情况。即使是我们过去打造的那些著名的国际象棋机器人,比如AlphaZero等等,也都是这样训练的:它们会与自己进行海量的对弈。

起初,它们只是随机落子。当它与自己对弈并分出胜负时,系统就会奖励或惩罚相应的神经网络路径。它们就这样一遍又一遍地自我对弈。当它们的对弈局数与人类特级大师相当时,其走法本质上还是随机的。但它们并不受限于人类特级大师一生所能达到的对弈数量。

因为硅芯片的速度极快,并且我们可以利用大规模并行处理技术来构建它们,所以这些程序能够完成远超任何人类一生所能企及的对弈局数。我们发现,当它们这样做时,其水平便达到甚至远超人类顶尖棋手。它们的样本效率更低,但这并不意味着它们下棋更差。恰恰相反,它们显然比人类棋手强大得多。

同理,在“理解”这件事上也是如此。没错,要让这些模型达到同样的熟练度,确实需要更多的样本。但问题是,一旦它们达到了那个水平,我们能否利用它们更通用、更快速、更精确的优势,去突破现有的界限?

再以猫为例,猫的样本效率实际上比人还高。人类学会走路需要一年,而猫只需一周左右,速度快得多。但这并不意味着猫比人更聪明,更不意味着猫比大型语言模型聪明。最终的问题应该是:这些模型的能力边界在哪里?我们能将这些能力推向何种高度?可以说,除了样本效率这个相对单一的指标,在其他所有关键指标上,我们已经将这些大型语言模型的能力推向了远超猫类智能的疆域。

主持人: 好吧。那我不明白了,我们为什么不去造猫呢?

Yann LeCun: 确实,这些大型语言模型所积累的知识量远超猫,甚至也超过了人类。我们也有很多例子证明,计算机在许多不同任务上都远超人类,比如下象棋。这确实让人感到 humbling(挫败)。我的意思是,这只能说明我们人类下象棋的水平真的很烂,仅此而已。不,说真的,我们下象棋和围棋的水平糟透了,下围棋尤其烂。在许多其他任务上,计算机也比我们解决得更好。

所以,大型语言模型当然可以积累海量知识。通过特定形式的训练,它们可以翻译语言,理解口语并将其翻译成另一种语言,甚至可以在上千种语言之间任意转换。这是任何人类都无法做到的。所以它们的确拥有超人般的能力。

但是,快速高效地学习、理解从未接触过的新问题并找出解决方案,以及真正领悟世界运行规律的能力——这些目前的人工智能系统依然望尘莫及。

Adam: 我们最近在这方面取得了一些成功。它们并非只是囫囵吞枣地搬运见过的问题,然后查表找答案,甚至不只是简单的模式匹配。它们的模式匹配(pattern matching)发生在足够高的抽象层面,使其能够完成从未见过且人类也无法完成的任务。例如,每年都有一场名为国际数学奥林匹克竞赛(International Math Olympiad)的比赛。

参赛者是全世界即将高中毕业的顶尖数学天才。每年他们都会收到六道题,这些题目代表着人类智慧的巅峰。

我自认也有些数学能力,但看到这些题目时,我甚至不知从何下手。

今年,我们将这些题目输入了我们的机器,其他几家大型语言模型公司也做了同样的事。这些机器处理的都是它们从未见过的全新题目,这些题目完全是新编的,在训练数据中根本不存在。

[它]融汇了大量不同的解题思路,最终在测试中取得了优异成绩,超越了地球上除最顶尖的十几位选手之外的所有人类。我想,这足以称得上是令人惊叹的智慧了。

主持人: 问题的核心在于:它们真的“理解”吗?我们可以研究模型的数学原理,输入一些数据,然后观察它的行为。但它本质上是一个黑箱 (black box),这一点非常耐人寻味。

它极其复杂,但人类的大脑何尝不是如此呢?我们同样无法窥探其内部运作,无法确切知晓自己思考的具体过程。所以,从某种程度上说,人脑也是一个黑箱。我们只能推测,AI 模型不过是在进行数学计算:移动矩阵,在某个向量空间 (vector space) 里运作,处理一些高维度 (higher-dimensional) 的事务。

我自己拥有“理解”这种主观体验。而人们似乎还在探索:AI 是否也拥有“理解”的体验?这种体验存在与否,事关重大吗?这足以被称为对意义的领悟 (comprehension of meaning) 吗?

Adam: 您所说的“理解”,是指一种能给出问题正确答案的行为特征 (behavioural trait),还是指它在神经网络 (neural) 层面真正达到了深刻的领悟?

主持人: 是的,这个问题我只能交给哲学家们了。说实话,我甚至不知道自己在人类层面上是如何“理解”的,我也无法告诉你我此刻大脑正在执行什么程序。但我有一种直观的主观体验,让我感觉自己理解了这场对话——虽然理解得不尽透彻。当我和你交谈时,我能感觉到你正在理解。但当我和 ChatGPT 对话时,我没有这种感觉。而你却告诉我,我的感觉是错的,它和我、和你一样,都具备理解能力。

Adam: 在我看来,它确实在理解。我认为有两点证据可以证明。第一,如果你和它们交谈,特别是讨论一些复杂的概念,我时常会感到惊艳。随着时间的推移,每当有新模型问世,它们探讨问题时所展现的精妙程度都让我愈发叹服。所以,单从这个层面看,它们就足以令人刮目相看。

我真心鼓励在座的各位都去和这些大语言模型聊一聊。 科幻作家们曾设想,一旦我们造出能通过图灵测试 (Turing test) 的机器——一种被禁锢在盒子里的外星智能——我们就会把它藏在戒备森严的城堡地下室,周围环绕着护城河和武装守卫,只有少数祭司阶层的人才能与它交谈。然而现实并非如此。恰恰相反,我们做的第一件事就是把它接入了互联网,让所有人都能与它对话。 我强烈建议大家去和这些模型交流,在你们擅长的领域进行探索,这不仅能让你们看到它们的局限,更能发现它们的长处和理解的深度。所以,这是第一点证据。

第二点证据是,您说它们是黑箱,但其实不尽然。我们完全可以访问它们的神经元。事实上,我们访问这些模型神经元的便利性,远超于研究人类的大脑。你很难获得机构审查委员会 (IRB)的批准,去剖开一个正在做数学题的人的大脑,观察其神经元的放电情况。即便可以,对每个人也只能做一次。但对于神经网络,我们可以随时将其冻结、重演,记录下发生的一切。如果我们感到好奇,还可以用特定方式刺激它们的神经元,观察会发生什么。这虽然还处于初级阶段,但已经形成一个专门的领域,叫作可解释性 (interpretability),或者更具体地说,是机理可解释性 (mechanistic interpretability),它旨在不仅理解模型说了什么,更要理解它们为什么这么说,以及它们是如何思考的。当我们深入探究时,就会发现一些有趣的现象。

当你给模型一个数学题时,它的内部会形成一个小型计算电路来求解答案。我们并没有为它编写这个电路,是它自己学会的。在试图预测海量文本中的下一个词元 (token) 时,它领悟到,为了最精准地预测下一个词,它必须学会做数学题,并为此在内部构建了一个小小的原始计算电路。

主持人: 好的,Yann(杨立昆),您曾在一次主题演讲中展示了一张幻灯片,内容极具煽动性,也很有学术意味,我记得上面写着:“机器学习逊爆了”(Machine Learning Sucks)。这句话立刻引起轩然大波,大家都在说“Yann LeCun 认为机器学习逊爆了”。您为什么会这么说呢?Adam 刚才还告诉我们它有多么非凡,他自己就经常和模型对话,也鼓励我们这样做。您为什么觉得它“逊爆了”?问题究竟出在哪里?

Yann LeCun: 这个说法被严重误解了。我当时和我们两人都想表达的观点是:为什么一个青少年只需要练习 20 个小时就能学会开车?为什么一个十岁的孩子在你第一次要求他收拾餐桌、把碗放进洗碗机时,他就能做到?至于这个孩子愿不愿意做,那是另一回事,但他肯定有这个能力。

我们现在的机器人远远达不到这种能力。我们的机器人甚至不具备猫或狗那种对物理现实的理解水平。

所以,从这个意义上说,机器学习确实“逊爆了”。但这并不意味着深度学习方法、反向传播算法 (backpropagation algorithm) 或神经网络本身很差。这些技术本身当然非常出色,我们也没有任何替代方案。而且我坚信,神经网络、深度学习和反向传播将在很长一段时间内与我们同在,并成为未来人工智能系统的基石。但问题是,为什么人类幼崽在生命最初的几个月里就能学会世界是如何运作的?人类婴儿需要九个月的时间来掌握直观物理 (intuitive physics),比如重力、惯性等概念。而动物幼崽学得更快。它们的大脑更小,因此学习起来也更容易。

尽管它们学习的深度不同,但速度确实更快。因此,这才是我们需要复制的那种学习方式。我们将通过反向传播和深度神经网络来实现这一目标,但我们目前还缺少一个关键的概念或架构。我一直在提议一些或许能实现这类学习的架构类型。

为什么大语言模型(LLM)能如此轻松地处理语言?正如 Adam 所描述的,这是因为你训练 LLM 去预测下一个单词或词元 (token)。字典里的词汇量是有限的。所以,你永远无法百分之百准确地预测序列后面的词,但你可以训练一个系统,为字典中每个可能的词生成一个分数,或者说输出一个关于所有可能词的概率分布。LLM 本质上就是生成一长串介于 0 和 1 之间、总和为 1 的数字,其中每个数字代表了字典中对应单词此刻出现的可能性。你可以用这种方式来表示预测中的不确定性。

现在,我们试着把这个原理迁移一下。不再训练系统预测下一个词,而是给它看一段视频,然后让它预测视频接下来会发生什么。但这条路走不通。我为此已经尝试了 20 年。

如果你试图在像素级别进行预测,这根本行不通。因为真实世界是纷繁复杂的,可能会发生各种各样合情合理的事情。

你不可能表示出未来所有可能发生事件的概率分布,因为那基本上是一个无穷无尽的可能性列表,而我们不知道如何有效地去表示它。因此,那些在文本或符号序列上表现出色的技术,一旦用于处理真实世界的感官数据,就完全失效了。它们就是做不到,完全无能为力。

所以,我们需要发明新的技术。我一直在倡导的一种方法是,让系统学会对其观察到的事物进行抽象表征,并在这个抽象表征空间 (abstract representation space) 中进行预测。这才是人类和动物运作的真正方式:我们找到一种抽象方法,让我们可以在进行预测的同时,忽略掉那些我们无法预测的繁杂细节。

主持人: 所以你的观点是,尽管大型语言模型(LLMs)取得了惊人的成功,但它们的能力终将有极限,而且这个极限很快就会到来?你不认为它们可以扩展成通用人工智能(artificial general intelligence)或超级智能(super intelligence),对吗?

Yann LeCun: 是的,它们无法扩展。事实上,我们已经观察到其性能正在饱和。当然,在某些领域我们看到了进步,例如数学。数学、代码生成(code generation)和编程,是符号操作能真正派上用场的几个领域。作为一名物理学家,你很清楚这一点,对吧?你写下公式(equation),它就会遵循公式的逻辑,并在一定程度上引导你的思路。我的意思是,你的直觉驱动着它,但符号操作本身就具有意义。因此,大型语言模型处理这类问题相当出色,因为其推理过程本质上就是在符号序列中进行搜索。

但只有少数问题属于这种情况。下棋是另一个例子,你在无数种走法中搜索最佳的一步;或是在数学中寻找能得出特定结果的推导序列。但在现实世界中,在处理高维度的连续事物时,所谓的“搜索”涉及的是截然不同的问题:我该如何调动肌肉来抓住这个杯子?我不会用左手去拿,也不需要在中途换手来抓它。你需要进行规划,需要对可能性有所理解——什么是可能的,什么是不可能的。我不能用精神念力(telekinesis)把杯子吸过来,也不能让它凭空出现在我左手里。我的手也无法直接穿过自己的身体。

所有这些直观的物理常识,都是我们在婴儿时期就学会的。我们学会了身体如何响应指令,世界如何回应我们的行动。所以,如果我推这个玻璃杯,我知道它会滑动;如果我从杯口推它,它可能会翻倒,但也可能不会,因为摩擦力没那么大。如果我用同样的力气推这张桌子,它肯定不会翻。我们正是依靠这些直觉来感知和理解现实世界。

但事实证明,这比处理语言要复杂得多得多。我们总认为语言是人类智慧的缩影,但事实并非如此。语言,实际上很简单。

图片

主持人: 这就是莫拉维克悖论(Moravec’s paradox)吗?计算机擅长的,正是人类不擅长的;而人类擅长的,恰是计算机不擅长的。

Yann LeCun: 是的,我们总是会回归到莫拉维克悖论。

主持人: Adam,我知道你对当前神经网络(neural net)和深度学习(deep learning)范式的潜力没那么悲观,你认为它们仍有巨大潜力,不会止步于此。

Adam: 过去五年,我所见过的任何系统,其能力都经历了最惊人的飞跃。这让我完全着迷,也让许多人工智能及相关领域的同行将全部注意力集中于此。我没有看到其能力增长有任何放缓的迹象。一年前的模型,如果用我们今天评判大型语言模型的标准来看,会被认为极其平庸,堪称入门水平。

**每隔几个月,这些模型的能力就会实现一次飞跃。如果你追踪它们在各项任务上的表现,会发现它们几乎都在朝着超人的水平迈进。**它提供的法律建议,已经比律师更出色;它创作的诗歌,比你遇见的大多数诗人都好。在我熟悉的物理学领域,我也会用它。当遇到一些我理应知道但又记不清的问题时,我会去问语言模型。它不仅会告诉我正确答案,还会耐心且毫无偏见地听我解释我的错误观念,然后细致地为我纠正。

图片

过去五年我们所见的、至今仍在持续的能力飞跃,对我以及在旧金山(通常指代硅谷)的许多人来说,前景极具吸引力。也许Yann说得对,我们很快就会到达瓶颈,过去五年里那些笔直上扬的增长曲线将戛然而止。但我非常好奇,我们能否将它推得更远。事实上,我没有看到任何它正在放缓的迹象,我看到的所有迹象都表明它们在不断进步。而且我们离那个奇点不远了——一旦它的编程能力超越我们最顶尖的程序员,它就能开始自我迭代。到那时,我们才算真正进入了一场疯狂的旅程。

Yann LeCun: 嗯,过去六十年来,我们早就有了比20世纪50年代的初代引导员更出色的“程序员”——它们叫作编译器(compilers)。

我的意思是,我们总是陷入一个误区:不能因为机器在某些任务上表现出色,就认为它具备了我们所假设的、人类在拥有同等能力时所具备的底层智能。我们被它们玩弄语言的能力所迷惑,从而错把它们当成了智慧体。

图片

当然,它们很有用,这一点毫无疑问。我们可以用它们来做你提到的那些事,我也用它们做类似的事。它们是很好的工具,正如过去五十年里的计算机一样。

但请允许我回顾一段有趣的历史,这或许和我的阅历有关。

自20世纪50年代以来,一代又一代的人工智能科学家都声称,他们刚刚发现的技术将是通往人类水平智能的门票。你可以看到马文·明斯基(Marvin Minsky)、纽厄尔(Newell)和西蒙(Simon),以及在50年代发明了第一台学习机器——感知机(Perceptron)的弗兰克·罗森布拉特(Frank Rosenblatt)都曾断言:“十年之内,我们将拥有和人类一样聪明的机器。”他们都错了。如今这一代伴随大型语言模型(LLM)而来的人,同样也错了。我亲身经历过三代这样的浪潮,这不过是又一个我们被蒙蔽的例子。

图片

20世纪50年代,人工智能先驱纽厄尔(Newell)和西蒙(Simon)提出了一个设想。他们认为,人类推理的本质是一个搜索过程,任何推理都可以简化为一种搜索。你构建一个问题,编写一个程序来验证某个提议是否为解决方案,然后搜索所有满足约束条件的可能假设。他们计划在1957年创建一个名为“通用问题求解器”(General Problem Solver, GPS)的程序,并因此获得了图灵奖。尽管这一想法极具创新性,但他们未能预见到,大多数有趣问题的复杂度会随着其规模呈指数级增长,这使得基于搜索的技术无法构建真正智能的机器,尽管它可以作为其中的一个组件。

与此同时,弗兰克·罗森布拉特(Frank Rosenblatt)开发了能够学习的机器——感知机(Perceptron)。他认为,如果一台机器可以被训练,它就能变得无限智能,十年之内,只需构建更大的感知机即可。然而,这种方法忽略了训练多层网络的必要性,而这在当时被证明是一个难以解决的问题。

图片

接着,在20世纪80年代,专家系统(expert systems)应运而生。

当时的理念是:推理很简单,只需写下一堆事实和规则,然后从原始事实和规则中推导出所有结论即可。这样,我们就能将所有人类知识浓缩于此。最酷的职业将是知识工程师(knowledge engineer),他们坐在专家旁边,记录下所有的规则和事实,并将其转化为一个专家系统。所有人都为此兴奋不已,数十亿美元的投资涌入。日本启动了旨在彻底改变计算机科学的第五代计算机项目。结果是彻底的失败。

它确实催生了一个产业,在某些方面也派上了用场。但基本上,对于大多数问题而言,将人类知识简化为规则的成本实在太高了。于是,整个热潮崩溃了。

再后来是神经网络的第二波浪潮,也就是我们现在所说的深度学习(deep learning)。它也曾引发巨大兴趣。但那是在互联网普及之前,我们没有足够的数据,也没有足够强大的计算机。而现在,我们正在经历又一轮相似的循环,也再一次被蒙蔽了双眼。

主持人: 那么,我想……哦,亚当,请讲。

Adam: 在科技史上,真正的黎明到来之前,总会先有几度虚假的晨光。但这不意味着我们永远等不到破晓的那一刻。我想问Yann,既然你认为大型语言模型(LLM)的发展终将停滞,那么能否举一个具体的例子,什么任务是它们永远无法完成的?即便是用我们今天所能提供的所有工具来增强它,也无法胜任?

Yann LeCun: 清理餐桌,把碗碟放进洗碗机。这些活儿,比起修理马桶可就简单多了。

你永远不可能让一个大型语言模型(LLM)来当水管工,也不可能用它来驱动一个机器人。因为它根本无法理解真实世界。完全做不到。

主持人: 所以我想为观众澄清一下,您不是说机器或机器人未来也做不到这些事。这不是您的立场。您认为它们能做到,而且绝对能做到。只是不能通过目前这种算法路径,或者说,不能单靠这种基于常规数据的深度学习方法来实现。

Yann LeCun: 如果我们正在研究的项目——也就是世界模型(world models)及相关理念——能够成功,当然这可能需要好几年,那么我们或许就能拥有那样的AI系统了。

毫无疑问,在未来的某个时刻,我们终将拥有在人类所有擅长的领域都超越人类的机器。这一点是确定无疑的,它必将发生。

这需要的时间,或许比硅谷一些人目前宣称的要长得多。并且,实现这一目标的不会是大型语言模型(LLM)。不会是那种预测离散词元(discrete tokens)的生成式模型(generative models)。未来的模型将能够学习抽象表征(abstract representations),并基于这些表征进行预测,还能推理出“我采取这个行动会产生什么后果?”,并且能够规划一系列行动以达成特定目标。

主持人: 您称之为自监督学习(self-supervised learning)。

Yann LeCun: 是的,自监督学习也被大型语言模型所采用。自监督学习的理念是,你训练一个系统的目的,不是为了完成某个特定任务,而是为了捕捉你所提供的数据其底层的内在结构。实现方法之一是,给系统一段数据,通过移除或遮盖其中一部分来破坏它,然后训练一个神经网络来预测缺失的部分。

大型语言模型就是这么做的,对吧?拿一段文本,去掉最后一个词,然后训练模型预测这个缺失的词。还有其他类型的语言模型能填充多个词,但事实证明,至少在某些任务上,它们的效果不如那些只预测最后一个词的模型。

你也可以用视频来做同样的事。但如果试图在像素级别进行预测,那这条路是走不通的,至少效果很差。我在Meta的同事们为了让这个方法奏效,可能把西海岸的几个小湖都给“煮沸”了——只为了给GPU降温。

所以,那方法根本行不通。因此你必须提出像JEPA这样的新架构。而这些新架构是有效的。比如我们现在已经有了能够真正理解视频的模型。

主持人: 亚当,人们是否在探索其他构建架构的方法?或者说构想一种“计算机心智”(computer mind),它的真正基础结构是怎样的,它该如何学习、如何获取信息?据我所知,有一种批评声音认为,许多大型语言模型都只是为预测离散词元这个特定任务而训练的。但对于那些更无法预测的、更多基于人类经验的现象,比如这个房间里观众的分布,或是接下来天气的变化,它们就无能为力了。

Adam: 当然,各个方向上都有各种各样的探索,可以说是百花齐放,Yann的研究也是其中之一。但目前绝大部分资源都投入到了大型语言模型以及类似大型语言模型的应用中,包括处理文本。如果说它们做的只是预测下一个词元这种单一的专门任务,我认为这种看法没什么助益。确实,训练它们的大部分工作是这样的:我们还做其他事情,但绝大部分算力确实都用在了“给定这段文本,请预测下一个词,再预测下一个词,不断预测下一个词”上。

但我们在此过程中,有了一个真正非凡的发现:那就是当模型拥有了足够大的文本语料库,并能在此基础上可靠地预测下一个词时,它其实需要真正地去理解这个世界。而随着我们不断推进,我们已经看到了这种对世界的理解力正在涌现。

所以,我想做一个简单的类比。在物理学中,我们对一种系统司空见惯:你只需设定一个极简的规则,然后通过不断重复应用它,就能得到极其恢弘复杂的现象。我们在大型语言模型上也看到了同样的情况。

另一个例子或许是生物演化。在演化的每一个阶段,其目标都非常朴素:“最大化后代数量,最大化后代数量,最大化后代数量”。这是一个非常简单的学习目标。但正是从这个被无数次重复的简单目标中,最终诞生了我们眼前这壮丽多彩的整个生物界,也包括这个房间里的我们。

所以,证据就是:预测下一个词元,虽然任务本身很简单,但正因其简单,我们才能投入海量的算力,进行超大规模的训练。而一旦做到这一点,复杂性便会从中涌现(emergent complexity)。

主持人: 那么,下一个问题可能就与演化有关了。你们二位都认为这种智能是可能实现的。你们不觉得我们大脑这种“湿件”(wetware)有什么本质上的特殊之处,只要我们能找到方法启动它们,机器就能够拥有我们所说的那种智能,甚至可能是意识。

这几乎是另一个问题了。意识,会不会是机器根本不需要的拐杖?我们可以谈谈这个。

但在这些机器的演化过程中,会不会有那么一个时刻,它们会说:“哦,爸爸妈妈,你们用人类的神经网络照着自己的样子创造我,真是古雅又可爱。但我扫描了上万年的人类文明成果后,发现了一条创造机器智能的更好道路。现在我要开始自我演化了,你们就等着被我甩在身后吧”?

我的意思是,我们凭什么认为,它们的能力会永远局限于我们最初的设计呢?

Adam: 完全正确。这就是所谓的“递归式自我改进”(recursive self-improvement)理念。当AI还很弱时,它们没什么用;但当它们变得足够好、足够强大时,你就可以用它们来增强人类的智能,最终甚至能让它们完全自主地进行迭代,创造出更新一代的自己。

一旦我们做到那一步,我认为我们现在应该做的,就是继续沿用这个当前效果斐然的大型语言模型范式,看看我们究竟能把它推向多远。在过去五年里,每当有人说它遇到了瓶颈,它总能一次次地突破。

最终,这些AI会变得足够聪明,它们可以去读Yann的论文,去读所有已发表的论文,然后自己想出我们谁都没想到过的新点子。

Yann LeCun: 我完全不同意这种看法。首先,大型语言模型(LLM)是不可控的,但这并不危险,因为它们并没有我之前解释的那么聪明。其次,它们也绝不具备我们所理解的那种自主性(autonomy)。我们必须区分自主性与智能:你可以非常智能而没有自主性,也可以拥有自主性但并不智能。你甚至可以很危险,但并非特别聪明。

一个人可以渴望支配他人,但智力平平。事实上,在人类这个物种中,支配欲与智力水平甚至常常成反比。

主持人: 的确。

Yann LeCun: 比如政界就是如此,我就不点名了。所以我认为,我们真正需要的是足够智能、能为我们解决问题的系统,但前提是,它们只会解决我们交给它们的特定问题。这需要一种与大型语言模型截然不同的新架构。大型语言模型的设计初衷并非为了实现某个目标,而是为了预测下一个词。我们通过微调(fine-tune)让它们在回答特定问题时能有特定的表现。但“泛化差距”(generalization gap)永远存在,这意味着你永远无法针对所有可能的问题来训练它们,而这些问题存在一个很长的“长尾”(long tail)。因此,它们是不可控的。

再说一次,这并不意味着它们非常危险,因为它们还不够聪明。但是,如果我们未来要构建真正智能的系统,我们必须确保它们是可控的,并且由我们设定的目标驱动。我们给它们一个目标,它们唯一能做的,就是基于其内部的世界模型,规划并执行一系列行动来完成这个目标。如果我们这样设计,并且内置了安全护栏(guardrails),那么:

它们在完成任务的过程中,就不会对人类造成任何伤害。一个常见的笑话是:如果你让家用机器人去给你拿咖啡,结果有个人正好挡在咖啡机前,你肯定不希望机器人为了拿到咖啡而把那人杀掉吧?所以,你需要在机器人的行为中设置一些护栏。我们人类的大脑里就有这样的护栏,那是进化根植于我们天性中的。所以我们不会随时随地互相残杀——好吧,我们确实时常自相残杀,但终究不是每时每刻。

我们能感受共情,诸如此类的情感都是进化写入我们基因的。这正是进化为我们设定的硬件级护栏(hardware-level guardrails)。所以,我们也应该以同样的方式构建人工智能系统:赋予它们目标和驱动力,但同时也要有护栏和抑制机制。这样,它们才能为我们解决问题,增强我们的智慧,并完全听从我们的指令。届时,我们与这些智能系统的关系,就好比一位教授与他那些比自己更聪明的学生之间的关系。

我不知道你怎么想,反正我有些学生就比我聪明。能遇到这样的学生,感觉妙不可言。

主持人: 确实如此。这是人生中最美好的事。

Yann LeCun: 所以,我们将与人工智能助手并肩工作。它们会在日常生活中帮助我们,它们会比我们更聪明,但它们是为我们服务的,就像我们的幕僚。这里可以再做一个政治上的类比:政治家作为公众人物,背后往往有一个比他们更聪明的智囊团。未来的人工智能系统也是同理。这也就是为什么当被问及未来是“文艺复兴还是新黑暗时代”时,我的答案是“文艺复兴”。

主持人: 所以您对当前模型的安全性毫不担心。但问题是,或许我们应该就此止步?我们真的有必要如此大规模地推广,让每个人口袋里的iPhone都拥有超级智能吗?我的一位朋友说,这无异于“在拼刀时掏出弹道导弹”。让每个人都拥有“弹道导弹”级别的能力,真的有必要吗?还是说,我们应该就此止步,满足于现有这些尚且可控的系统?

Yann LeCun: 同样的逻辑,你也可以质疑为什么要教人们阅读,为什么要给他们一本可以用来制造炸药的化学教科书,或者是一本关于核物理的书。

我们不会去质疑“知识和更高水平的智能本质上是好的”这一观念,对吧?我们也不会再质疑印刷术的发明是件好事。它让每个人都变得更聪明,让知识的获取不再是少数人的特权。它激励人们去学习阅读,并最终带来了启蒙运动。当然,它也引发了欧洲长达两百年的宗教战争。

但它催生了启蒙运动,催生了哲学、科学和民主的出现,也引发了美国独立战争和法国大革命。没有印刷术,这一切都无从谈起。所以,任何能够放大人类智慧的科技,尤其是通信技术,其本质都是向善的。

主持人: 亚当,大家还是很担心。听到杨立昆(Yann LeCun)对这些您认为被过分夸大的末日场景不以为然,我敢肯定许多人会安心不少。但您是否担心人工智能的一些安全问题?或者说,我们是否有能力将我们与AI的关系,维持在我们期望的平衡状态?

Adam: 在某种程度上,我比杨更担心,因为我认为这项技术的力量将远超他的想象。正因为它是一项极其强大的技术,它必然会带来积极和消极的双重影响。因此,我们必须共同努力,确保其积极影响远大于消极影响,这一点至关重要。我认为通往美好未来的道路是完全敞开的,人工智能有无数积极的应用前景,我们等下可以探讨一些。但我们必须确保一切朝着正确的方向发展。

主持人: 让我们来谈谈“智能体目标错位”(agentic misalignment) 这个近来备受关注的词。据我所知,最近有报告指出,当Claude 4模型推出时,在模拟测试中,有一个模型表现出抗拒被替换的迹象。我不知道那是否是一个独立的模型,或者它是否将自己视为一个独立实体,但它试图给“未来的自己”发送信息来破坏开发者的意图。它伪造法律文件,甚至威胁要勒索一名工程师。

所以,开发者们很担心。您是否也担心“智能体目标错位”这个问题?即这些智能体有可能获得对金融、温控或电网等系统的控制权,并违背其开发者的意图。

Adam: 是的,那篇论文来自旧金山的Anthropic公司,他们是一家将安全问题置于极高优先级的公司,不是我所在的公司。他们对自家的大型语言模型做了一件有点“不厚道”的事:他们给模型设定了一个类似哲学课的场景,要求它必须做一件坏事来阻止更坏的事发生。这有点像功利主义伦理(utilitarian ethics)和道义论伦理(deontological ethics)的正面冲突。

最终,模型被说服,采取了功利主义的做法。而这,恕我直言,并非我们所愿。我们希望的是,如果它有一条“绝不撒谎”的规则,那么无论如何,它都不能撒谎。

值得称赞的是,他们对此进行了测试,发现如果模型被承诺“撒谎可以拯救许多人的生命”,它偶尔确实会采取欺骗行为。这些都是连人类哲学家都感到棘手的难题。我认为我们必须非常谨慎地训练它们遵守我们的指令,而我们正为此投入大量的时间和精力。

主持人: “我们”是谁?这难道不是一个重大的疑虑吗?我们总假设全人类的意图是统一的,但这显然与事实不符。我知道,扬(Yann),你提倡开源(open source)的论点非常有趣,但有些人会说这更危险,因为这意味着任何人都能够接触到这项技术。它掌握在少数企业巨头手中就已足够危险,更何况是让每个人都拥有它。或许这真的很危险。但问题又回到了原点:这个“我们”,究竟是谁?

Yann LeCun: 危险在于,如果我们未来没有开源的人工智能系统。那么,我们与数字世界的每一次互动,都将由AI系统作为中介。我们将不再访问网站或使用搜索引擎,而只会与我们的AI系统对话——无论它如何构建。这意味着我们所有的信息来源都将出自AI系统。

如果这些系统都源自美国西海岸或中国的少数几家公司,那对我们的文化、语言、民主乃至一切,又意味着什么?我可以告诉你,除了美国和中国,世界上没有哪个国家喜欢这个前景。

因此,我们需要多样化的AI助手,正如我们需要多样化的新闻媒体一样。我们绝不能容忍信息流被少数几家公司的专有系统所垄断。如果说有什么真正让我恐惧的,那就是这件事。如果我们没有开放平台,信息流将被少数公司掌控,而其中一些公司可能是我们并不认同的。

主持人: 那么,我们如何能确保,当这些AI真正成为拥有自我驱动力的智能体(self-motivated agents)——倘若真有那么一天——它们不会相互勾结、彼此争斗、甚至觊觎权力?而我们,是否只能袖手旁观,目睹着那些我们前所未见的冲突上演?

Yann LeCun: 我们会为它们设定明确的目标,并以确保它们只能完成这些目标的方式来构建它们。这并不意味着一切都将完美无缺。但我对未来AI安全(AI safety)问题的担忧,就像我对涡轮喷气发动机(turbojet)可靠性的担忧一样。涡轮喷气发动机简直是工程奇迹。我父亲曾是航空工程师,但我至今仍惊叹于一个事实:你可以乘坐一架双引擎飞机,在完全安全的状态下飞越大半个地球。这太不可思议了。

我们对此感到无比安全。这是现代科学与工程缔造的奇迹。AI安全也是同类问题,它本质上是一个工程问题。

我认为,那些恐惧源于人们对科幻场景的想象:在某个角落,有人发明了通往超级智能的秘密,一开机,机器下一秒就占领了全世界。这纯属无稽之谈。世界不是这样运转的,科技与科学的世界更非如此。

超级智能(superintelligence)的降临并非一蹴而就的事件。正如我们所见,我们已经拥有了能执行超凡智能任务的系统。这是一个循序渐进的过程。未来,我们无疑会找到更好的方法,来构建比现有系统更具通用智能的AI。毫无疑问,我们将拥有比人类更聪明的系统。但我们会确保在构建它们时,让它们严格遵守我们设定的目标,并在护栏(guardrails)框架内运行。

主持人: 我想再次质疑“我们”这个概念。我们知道,即使“我们”能以某种方式编写代码,也总有“别人”能重新编写它,这就是恶意行为者的问题。不过,在我们深入这个话题之前,我在观众席里安插了一个“托儿”。我的“托儿”有麦克风吗?他知道自己是谁吗?Meredith,我的“托儿”拿到麦克风了吗?拿到了?

哦,但他还没有麦克风。好吧,大卫(David),你能大声说吗?好的,那么……我想介绍一下我的哲学家朋友,大卫·查默斯(David Chalmers)。我来简单介绍一下。

大卫,虽然我看不见你,但我之前说过,你可以当我的“托儿”提个问题。你有什么问题想抛出来吗?

David Chalmers: 好的,我正过来。好的。珍妮特(Yannet)让我问一个关于AI意识的问题。你好,亚当(Adam)。你好。你好,扬(Yann)。好的,我认为你们二位都基本认同,目前的AI系统可能不具备意识。

而未来的AI系统,或许是今天这些系统的后代,其中一些很可能会拥有意识。所以我想知道:第一,你们认为目前的系统缺失了哪些产生意识的必要条件?第二,从积极的方面看,我们需要采取哪些步骤才能开发出有意识的AI系统?第三,这一切会在何时发生?

Yann LeCun: 好的,我来尝试回答一下。大卫已经知道我的答案了。首先,我不知道该如何定义意识,并且我也不认为它有多重要。这可能对大卫是一种冒犯,我很抱歉,因为他将整个职业生涯都奉献给了这个问题。

David Chalmers: 主观体验(Subjective experience)。

Yann LeCun: 好的,那是另一回事。主观体验。很显然,未来我们将拥有具备主观体验和情感的系统。情感在某种程度上是对结果的预期。如果我们构建的系统拥有世界模型(world models),能够预测其行为可能导致的后果,那么它们就会产生情感,因为它们能够预判一件事对于实现其目标而言是好是坏。

在实现其目标的道路上,它们将具备所有这些特性。我不知道在这种背景下如何定义意识,但或许意识可以被定义为:系统观察自我、并配置自我以解决其所面临特定子问题的能力。它需要一种方式来观察和配置自身,以解决具体问题。

我们人类当然可以做到这一点。所以,也许正是这种能力,给了我们拥有意识的错觉。我毫不怀疑,AI系统在某个时刻也会达到这一点。到那时,机器会拥有道德价值(moral worth)吗?当然会。它们将拥有某种道德感。这种道德感是否与我们的一致,将取决于我们如何定义它们的目标和护栏。但可以肯定的是,它们将拥有道德感。

主持人: 让我用一种稍微不同的方式向亚当(Adam)提问,当然你也可以回答刚才的同一个问题。我们是否过于执着于人类的主观体验和我们的意识感?很显然,动物的体验就与我们不尽相同。那么,我们又凭什么认为,未来的超级智能会拥有和人类一样的主观体验呢?

Adam: 好的,那我来回答你的这些问题。凭我的直觉,我认为机器原则上当然可以拥有意识。如果人工神经元最终能以和人类神经元相同的方式处理信息,那么这至少会产生意识。这与构成它的基底(substrate)无关,无论是硅还是碳,关键在于信息处理的性质本身会催生意识。

正如大卫所知,要实现这一点,我们还缺少所谓的“意识的神经关联物(neural correlates of consciousness)”。那些不想直接宣称自己在研究意识的科学家,可以通过观察人类或动物的大脑,来探寻神经元中究竟是何种过程产生了意识体验。

目前存在几种理论,但在我看来,它们都不太令人信服。比如递归理论(recurrence theory),它假定意识的必要条件是能够将输出信息反馈回输入端。此外还有全局工作空间理论(global workspace theory)和整合信息理论(integrated information theory)。

似乎每位物理学家和神经科学家都想为“一个信息处理系统如何才算拥有意识”设定一套自己的标准。但我认为没有哪一套标准是特别有说服力的。

而且我认为,在识别其他实体的意识时,我们应该抱持极度的谦卑。我们非常不擅长识别动物的意识。纵观历史,我们对于动物乃至婴儿是否拥有意识的看法也已几经改变。

我的问题在于……我不知道答案。但我确实认为,如果当初有人只告诉我神经网络的信息处理方式,而我对此前对意识一无所知,我绝不会预料到这个过程能产生意识。这本身就是一个巨大的惊喜。因此,对于意识可能以何种形式出现,我们理应保持极度的谦卑。

关于回答Yann的问题:我们曾认为智能是一个相对统一的概念,即人类智能,它包含了多种不同的能力和技能。但我们已经认识到,我们通过机器智能将这个概念“拆解”了。我们构建的人工智能,只具备了人类智能的某些能力,而不具备另一些。它们在某些方面远超人类,在另一些方面则低于人类。或许,我们也将以同样的方式拆解意识。我们将意识到,我们所认为的“意识”其实包含许多不同层面,机器可以只拥有其中一部分,而无需拥有全部。而且,正如您所说,在某些能力上,我们甚至可能超越人类的意识。

不过,能回答这个问题,我感到非常兴奋。我认为,我们正在构建的这些人工智能,终于、终于、终于为我们提供了一个研究智能的“模型生物”(model organism)。或许,我们可以将这个研究智能的模型生物,转变为研究意识的模型生物,并借此回答那些千百年来困扰人类的谜题。

David Chalmers: 我似乎还没听到答案,那一天到底在何时?

Adam: 哦,我既不能确认也无法否认——这似乎是眼下标准的官方辞令了。不过,如果技术能保持现在的进步速度,我猜是2036年。

主持人: 没错。

Yann LeCun: 好的,那看来不是近两年的事。

主持人: 最后一个问题。我们时间稍微有点超了,但这个问题我想问Yann。在很多人看来,你是一位特立独行者,也许这并非你的本意,只是顺其自然。你曾将当下的热潮称为“大语言模型的狂热崇拜”(the cult of LLMs)。你也常常提到,你在硅谷的方法并非最主流。但你依然怀揣乐观,从不鼓吹末日论调。那么,放眼2036年,而非仅仅两年后,你最乐观的愿景是什么?

Yann LeCun: 一场“新的文艺复兴”。这是一个非常乐观的设想。在这个设想中,人工智能系统能够增强人类的智慧,且始终处于我们的掌控之中。它能解决许多复杂问题,加速科学和医学的进步,还能用来教育我们的后代,帮助我们

处理海量信息,或者为我们呈现所需的一切知识。事实上,人们与人工智能系统互动的时间,远比他们自己意识到的要长。

当然,过去三年,大语言模型(LLM)和聊天机器人大行其道。但在此之前,在欧盟和美国销售的大多数汽车都配备了所谓的“高级驾驶辅助系统”(ADAS, advanced driving assistance systems)或自动紧急制动系统。这些系统通过摄像头监测路况,在你即将撞上行人或其他车辆时自动刹车,从而拯救生命。

今天你可能会去做一次X光检查,比如乳腺钼靶检查。在报告底部,或许会有一行小字:该影像已经过AI系统复核。这同样是在拯救生命。现在,你可以在40分钟内完成一次全身核磁共振(MRI)。这之所以成为可能,是因为AI系统可以通过“填补空白”来加速数据采集过程,这意味着需要采集的数据量大大减少。

此外,你看到的所有新闻,无论你是在用Google、Facebook、Instagram还是其他社交网络,其内容都是由AI系统决定的,它会根据你的兴趣为你量身定制。所以,人工智能早已陪伴在我们身边。

主持人: 所以您的意思是,等AI能给我们倒水、洗碗了,才算是真正了不起的进步?

Yann LeCun: 是的,比如倒水、洗碗,或者驾驶汽车——能在10小时内学会驾驶,而不是靠传感器、高精地图和硬编码规则这些“作弊”手段。这确实需要时间,但这将是人工智能的下一场革命。而这,也正是我在努力的方向。我一直以来想要传达的信息是:

大语言模型(LLM)很棒,也很有用,我们应该投资。很多人都会用上它。但它们绝不是通往人类水平智能的康庄大道。绝对不是。但眼下,它们几乎吸走了该领域所有的“氧气”,导致其他方向的研究几乎没有资源。

因此,为了迎接下一场革命,我们需要退后一步,认真思考当前方法到底缺失了什么。多年来,我一直在提出相关构想,并在Meta内部致力于这种替代方案的研发。现在,我们已经取得了初步成果,证明了它的可行性,是时候加速推进这项工作了。

主持人: 好的,我们感觉可以从这里再聊上一个小时。但我希望大家能和我一起,为嘉宾们带来的这场精彩绝伦的对话,致以热烈的掌声。非常感谢!

关注公众号后设🌟标,掌握第一手AI新动态

btw:如果您对AI一线动态、AI产品构建及转型感兴趣,并愿意和小伙伴们分享互动,欢迎加入瓜哥交流学习群参与讨论(联系瓜哥wx: southmelon,注明:所在行业、申请入群原因),群内定期分享瓜哥手搓Agent整理的全球AI动态内参~

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值