2036年机器意识觉醒？｜杨立昆 VS Gemini负责人

最新推荐文章于 2025-12-19 10:41:59 发布

转载最新推荐文章于 2025-12-19 10:41:59 发布 · 60 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=MzIwOTA1MDAyNA==&mid=2650043887&idx=1&sn=aedaeec52bbe64d88879b8ea4b82c321&chksm=8e1291f427ff5dc88c2c66b8b3ec093adf32d92251ae711c3cdbf7e272dc157cd67228763366&scene=126&sessionid=0

文章标签：

#人工智能

近日，图灵奖得主 Yann LeCun 与 Google DeepMind 研究负责人、Gemini 团队负责人Adam Brown 在Pioneer Works的会议上进行了一场对谈。本次对话探讨了神经网络的仿生学本质、大语言模型的理解力边界、样本效率的物种差异、 Yann LeCun 关于“机器学习弱爆了”的真实语境、从“文本预测”向“世界模型”的架构转型、开源 AI 与民主多样性的关系、递归自我进化的可能性，以及关于机器意识实现的时间预言。

Yann LeCun指出，尽管当前的大语言模型在商业上取得了巨大成功，但在智能本质上却“不如一只猫”。他指出，现有的 LLM 缺乏对物理现实的底层理解，所谓的“理解”不过是基于概率统计的肤浅模仿，无法处理真实世界的复杂连续性。

Yann LeCun 指出，我们必须走出单纯依赖预测下一个 Token 的“大模型崇拜”，转向探索能够学习抽象表征的“世界模型”。他强调，人类极高的样本效率证明了生物大脑拥有比当前深度学习更优越的底层架构。

对此，Adam Brown 虽然承认生物架构的优越性，但他认为简单的预测目标（如进化中的繁衍或 AI 的 Token 预测）在海量算力和数据的加持下，足以像物理定律一样，从简单规则中涌现出对宇宙规律的深刻理解。

针对 AI 安全与发展的战略，Yann LeCun 反对封闭研发，认为只有通过开源才能避免信息流被少数科技巨头垄断，从而保障未来的民主与文化多样性。Adam Brown 则表达了对“递归自我改进”的担忧，认为随着模型能力的提升，必须警惕“代理错位”风险，主张在通过 AI 增强人类智能的同时，必须建立严格的护栏。

关于未来图景，Yann LeCun 认为 AI 将作为比人类更聪明的“研究生”，在可控范围内极大放大人类的智能与创造力，推动科学革命。而 Adam Brown认为硅基底并不妨碍意识的产生，并预言如果进展顺利，机器有望在 2036 年具备意识，届时我们将拥有一种全新的“智能模式生物”。

神经网络受大脑启发但被大大简化

关于Yann LeCun离开Meta的传闻，你想对此回应吗？以及神经网络作为仿生学例子的本质含义。你说过计算神经网络在模拟人类的神经网络，这是否意味着机器正在真正模拟人类？

Yann LeCun：关于离职传闻，我既不确认也不否认。

至于神经网络，这其实不算是真正的模仿，更多是一种启发，就像飞机受鸟类启发一样。飞机像鸟一样有翅膀，通过在空气中推进产生升力，但类比也就到此为止。飞机的翅膀比鸟翼简单得多，不过基本原理一致。神经网络也是如此，它们与真正大脑的关系，就像飞机与鸟类的关系。它们在许多方面被大大简化，但也许底层原理是相同的。其实我们并不确定，因为我们真的不知道皮层的底层算法，或者说大脑自我组织和学习的方法，因此我们发明了替代品。

鸟类靠扑打翅膀飞行，而飞机使用的是螺旋桨或涡轮喷气发动机。同理，在神经网络中我们有学习算法，允许人工神经网络以一种我们认为类似于大脑的方式进行学习。大脑是一个神经元网络，神经元彼此互连，大脑通过修改神经元之间连接的强度来学习。神经网络则是通过修改模拟神经元之间连接的强度来训练。每一个连接都是一个参数。你在新闻中看到的最大神经网络拥有数千亿甚至更多的参数，这些就是通过训练被修改的单个系数。

深度学习的复兴

深度学习是如何出现的？它是在80年代甚至更早就开始了吗？此外，Adam，你年轻时对理论物理感兴趣，是什么催化剂在几十年后让物理学家也卷入其中？这期间发生了什么把我们带到了今天，让我们都在谈论大语言模型？

Yann LeCun：大概是80年代。50年代第一批能够学习有用东西的早期神经网络是浅层的，基本上只能训练单层神经元。你输入数据，训练系统产生特定输出，这可以用来识别或分类相对简单的模式，但无法处理复杂事物。直到60年代人们才意识到，要取得进步必须训练多层神经网络。

直到1980年代才真正找到训练多层系统的好方法。主要是因为当时使用的神经元类型不对，那时候用的是二进制神经元，模仿大脑神经元的放电与否。事实证明，为了让现代学习算法反向传播奏效，你需要具备分级反应的神经元。这引发了80年代对神经网络兴趣的复兴，但这股浪潮持续了约10年，90年代中期兴趣减弱，直到2000年代后期，我们将它重塑为“深度学习”。神经网络之前的名声不太好，计算机科学界认为它是个坏东西。我们将其重塑品牌带回主流视野，随后在计算机视觉、自然语言理解、语音识别方面取得成果，真正说服了人们。

Adam Brown：过去几年很多物理学家转型研究AI。这可以追溯到Yann和其他人证明了它确实有效。当它还没奏效时，它只是计算机科学那边的东西。但当先驱们证明它有效后，这对物理学界变成了一个迷人的主题。将神经元以某种方式连接，突然得到了个体神经元层面上不存在的涌现行为。对于那些花一辈子想象世界丰富景象如何从简单定律中涌现出来的物理学家来说，这立即吸引了他们的注意。如今攻读物理学博士然后将其应用于涌现系统是非常常见的道路。这个系统就是神经元的涌现网络，集体产生智能。

预测Token是否等同于理解现实？

我们来个快问快答：这些大语言模型理解它们与我们对话的意义吗？它们有意识吗？我们是处于世界末日的边缘还是人类创造力的复兴？回到技术本身，大语言模型的具体定义是什么？Adam你认为它有意义，但Yann你认为它们真的在像我们组造句子那样提取意义吗？

Adam Brown：（快问快答）它们理解意义。目前没有意识，但如果按现有路径发展，终有一天会有。我们极有可能处于复兴之中。

（关于LLM定义）大语言模型，比如ChatGPT或Google的Gemini，是一种特殊的神经网络。它本质上是Yann等人开创的深度神经网络，但具有特定的架构设计。它接收文本，比如读句子的前几个词或书的前几段，并尝试预测下一个词是什么。你构建一个深度神经网络，让它阅读整个互联网。对于所有的文本数据，你问它：“你认为下一个词是什么？”如果猜对了，你就给它奖励并强化那些神经通路。如果猜错了，就削弱那些神经通路。起初它只会吐出完全随机的词。但在一百万个词上训练后，它仍然是乱语。在十亿个词上训练后，它开始学会主语、动词、宾语和句子结构。如果你像我们今天这样在万亿甚至数十万亿个词上训练它，它就会成为你现在使用的对话伙伴。

Yann LeCun：（快问快答）算是有理解吧。绝对没有意识，但基于适当定义的话未来会有。是复兴。

（关于意义提取）它们肯定在提取一些意义，但这比人类从文本中提取的要肤浅得多。人类的智能与物理世界经验相关，即现实。语言是表达扎根于现实的现象或概念的方式。LLM没有任何底层现实的概念，所以它们的理解是肤浅的，没有我们理解的那种常识。但如果训练时间足够长，它们会正确回答大多数问题。因为你收集了所有人问过的问题并训练它产生正确答案。总会有新问题或新提示词，系统没受过训练，可能会产生完全的胡言乱语。在这个意义上，它们没有对底层现实的真正理解。

AI效率极低 VS AI靠算力超越生物极限

人类也在语言中被训练，通过多巴胺奖励反向传播，这与AI有什么区别？Yann你提到数据量的差异，LLM是在多少数据上训练的？与之相比，人类或动物的学习效率如何？为什么你说我们的AI甚至还没达到猫或狗的智能水平？Adam，你似乎赋予了LLM更多的理解力，你也同意这一点吗？

Yann LeCun：一个典型的LLM是在30万亿个Token上训练的。这对应了互联网上所有公开文本。我们要读完这些材料需要大约50万年。这是海量的文本数据。将此与一个四岁孩子感知的数据比较。心理学家告诉我们，四岁孩子总共醒了16,000小时。视神经每秒传输约两兆字节的数据到视觉皮层。算一下大约也是 10^14 字节。一个四岁孩子看到的视觉数据量，和在所有文本上训练的最大LLM一样多。这说明现实世界的信息量更大，但也复杂得多。它是嘈杂、高维、连续的。用于训练LLM的方法在现实世界中不起作用。这解释了为什么LLM可以通过律师考试、解微积分方程，但我们仍然没有能做家务的机器人，甚至没有真正的L5级自动驾驶汽车。我们现有的自动驾驶是靠投机取巧实现的，肯定无法像青少年那样在20小时练习内学会开车。显然我们错过了一些非常大的东西，让机器达到人类甚至动物的智能水平。别说语言了，就谈论猫或狗的智能，我们的AI系统甚至还没达到那个水平。

Adam Brown：我觉得这一观点是正确的。Yann讲得很有道理，大语言模型的样本效率确实远不如人类。举个例子，人类，或者是你的猫,都能从比大语言模型少得多的样本中进行学习，而大语言模型则需要海量的数据才能达到同等的熟练度。这是事实，也说明在架构层面，动物的心智确实优于我们目前构建的这些人工心智。

（关于能力超越）但另一方面，样本效率并非衡量一切的标准。事实上，在大语言模型出现之前，当我们尝试构建机器或人工心智去执行其他任务时，也常看到这种情况。即便是我们基于类似大语言模型技术构建的著名国际象棋机器人，比如AlphaZero等，它们的训练方式是自我博弈。它们会自己跟自己下无数盘棋。起初它们只是随机乱走。但每当在自我博弈中分出胜负，它就会相应地奖励或惩罚相关的神经通路。它们就这样反复对弈。当它们下过的棋局数量达到人类特级大师的水平时，它们本质上还只是在随机移动。但它们不受人类特级大师一生能下多少盘棋的限制。得益于硅芯片的超高速度和并行处理能力，它们能下的棋局数量远超任何人类一生的总和。

我们发现，当它们达到那个量级后，其水平不仅赶上并最终远远超越了人类棋手。虽然它们的样本效率较低，但这并不意味着它们下棋水平差。显而易见，它们下得好多了。理解力也是同理。确实，要让这些模型达到同等的熟练度比较困难，需要更多的样本。但问题是：一旦它们达到了那个水平，我们能否利用它们更通用、更快速且更具内在潜力这一事实，来推动能力的进一步突破？

我想再说一个关于猫的例子，猫在样本效率上其实比人类还高。人类学走路要花一年，猫只需要一周左右，猫快得多。但这并不意味着猫比人类聪明，也不意味着猫比大语言模型聪明。归根结底，真正的问题应该是：这些东西具备什么能力？我们能将这些能力推向多高的高度？除了样本效率这个略显单一的指标外，在其他所有重要的指标上，我们已经将这些大语言模型的能力推进到了远超猫类智力前沿的水平。

我不明白我们为什么不直接造猫。Yann，你刚才想说什么？

Yann LeCun：我是说，毫无疑问，我们讨论的大语言模型所积累的知识远超猫，甚至也远超人类。我们确实有很多例子证明计算机在许多任务上远胜人类，比如下国际象棋。这挺让人挫败的，但这只说明人类下棋很烂，仅此而已。说实话，我们下棋真的很烂。顺便说一句，围棋也是，我们在围棋上更烂。还有许多其他任务，计算机都比我们解决得好得多。所以，大语言模型当然可以积累海量知识，其中一些模型经过训练可以翻译语言，理解口语并将其翻译成另一种语言，支持数千种语言之间的任意互译。没有人类能做到这一点。所以它们确实拥有超人类的能力。但是，那种快速、高效地学习，理解一个从未受训解决过的新问题并提出解决方案，以及真正理解世界运作规律的能力，目前对于AI系统来说仍然是触不可及的。

Adam Brown：我想说的是，我们最近在这方面已经取得了一些成功。情况不再是它们只是死记硬背以前见过的题目，或者在查找表里翻答案。甚至它们也不仅仅是在做简单的模式匹配，它们是在足够高的抽象层面上进行模式匹配，以至于能够处理以前从未见过的事物，甚至做到了人类做不到的事情。每年都会举办国际数学奥林匹克竞赛。这是全世界最聪明的高中毕业班数学天才参加的比赛。每年会有六道题，代表了人类智力的巅峰。我自认有些数学底子，但看着这些题，我甚至不知道从何下手。今年我们和其他几家大语言模型公司一样，把这些题目喂给了我们的机器。这些是它们从未见过的题目，完全新鲜，没有出现在任何训练数据中，完全是新出的题。模型综合了一大堆不同的思路，将它们结合起来，最终在测试中取得了比除了全球顶尖的前十几名人类选手之外所有人都好的成绩。我认为这是相当惊人的智力表现。

Adam提到模型在奥数竞赛中表现优异，这是否意味着它们真的“理解”？我们知道它是一个黑盒，在处理高维数据，但它是否有某种主观体验或真正的意义领会？我们能否窥探其内部运作，还是只能假设它在计算？

Adam Brown：（关于黑盒与理解）在我看来，它是理解的。我有两方面的证据支持这一点。首先，如果你跟它们交谈，比如问它们一些困难的概念，我经常会感到惊讶。随着每个月的过去和每个新模型的发布，我对它们讨论问题的复杂和老练程度感到越来越惊讶。仅在这个层面上，这就超级令人印象深刻。我真的鼓励在座的各位去和这些大语言模型聊聊。以前科幻作家想象我们造出某种通过图灵测试的机器，某种被关在盒子里的外星智慧时，他们都想象我们会把它藏在有护城河环绕的城堡地下室里，有武装警卫把守，只有像“祭司”一样的高层人员才能去跟它说话。但这并不是现实发展的方式。现实是，我们做的第一件事就是立刻把它连上互联网，现在任何人都可以去跟它说话。我强烈鼓励大家去和这些东西对话，在你们熟悉的领域进行探索，既看看它们的局限性，也看看它们的优势和理解深度。这是第一个证据。第二个证据是，你说它们是黑盒。其实它们并不完全是黑盒。我们确实可以访问它们的神经元。事实上，相比于人类，我们能更好地访问这些东西的神经元。要在人类做数学测验时切开大脑观察神经元放电，很难获得伦理审查委员会的批准。而且就算你能做，每个人你也只能做一次。而对于这些神经网络，我们可以冻结它们、回放它们，记录下发生的一切。如果我们好奇，我们可以用特定方式刺激它们的神经元，看看会发生什么。虽然目前还很初级，但这属于机理可解释性领域——试图理解的不仅是它们说了什么，还有它们为什么这么说，以及它们是如何思考的。当我们这样做时，我们发现在喂给它们数学题时，里面确实有一小部分电路在计算答案。我们并没有编程让它拥有那个电路，是它自己学会的。在试图基于海量文本预测下一个Token时，它学到了为了最准确地预测下一个词，它需要弄清楚如何做数学，于是它在内部构建了一种原始的数字电路来进行数学计算。

“机器学习弱爆了”与世界模型

Yann，你在一次主题演讲中曾抛出一张非常有挑衅性的幻灯片，上面写着“机器学习弱爆了”，我没记错吧？然后这句话就火了：“Yann LeCun说机器学习弱爆了。”Adam刚刚告诉我们它是多么现象级，他经常跟它们对话，也希望我们也这么做。你为什么觉得它不行？问题出在哪？

Adam，人们是否在探索其他构建架构的方式？或者设想一种全新的“计算机思维”，即计算机思维的实际基础结构，以及它该如何学习和获取信息？据我理解，目前存在一种批评声音，认为许多大语言模型仅仅是为了完成“离散预测Token”这一特定任务而训练的。但现实中有些事物是不可预测的，比如这个房间里观众的分布情况，或者接下来的天气变化，这些都是不可预测的、更多基于人类经验的现象。

Yann LeCun：那句话被广泛误解了。但我当时想表达的观点，也是我们刚才都在讨论的：为什么一个青少年只练习20小时就能学会开车？一个10岁的孩子在你第一次让他清理餐桌并把碗盘装进洗碗机时就能做到，虽然那个10岁孩子愿不愿意做是另一回事，但他肯定能做。而我们的机器人能力远不及此。我们的机器人甚至远没有达到猫或狗对现实世界的物理理解水平。所以在那个意义上，机器学习确实“弱爆了”。但这并不意味着深度学习方法、反向传播算法或神经网络本身不行。那些显然很棒。而且我们没有任何替代方案。我坚信神经网络、深度学习和反向传播将会陪伴我们很长一段时间，将是未来AI系统的基础。但是，人类幼崽是如何在生命的前几个月学会世界运作规律的呢？人类婴儿需要九个月来学习直观物理学，比如重力、惯性之类的东西。小动物学得快得多，它们的大脑更小，所以学起来更容易。它们学不到同样的深度，但确实学得更快。我们需要复制的正是这种类型的学习。我们将使用反向传播、神经网络和深度学习来实现这一点。只是我们缺失了一个概念，一种架构。所以我一直提议一种可能学习这类东西的架构。

（关于预测的局限）大语言模型处理语言之所以如此容易，是因为正如Adam所描述的，你训练一个大语言模型去预测下一个词或下一个Token，这没关系。字典里的词是有限的。虽然你永远无法确切预测序列后面会跟哪个词，但你可以训练系统为字典中的每个可能的词生成一个分数，或者说一个概率分布。所以本质上，大语言模型所做的就是生成一长串0到1之间的数字，这些数字之和为1，对应字典里的每个词，表示“这个词现在出现的可能性”。你可以用这种方式来表示预测中的不确定性。现在试着转换同样的原则。与其训练系统预测下一个词，不如给它一段视频，让它预测视频里接下来会发生什么。这就行不通了。我尝试做这件事已经20年了。如果你试图在像素级别进行预测，那是行不通的。这是因为真实世界是混乱的。有许多事情可能会发生，许多合理的可能性。你无法真正表示未来所有可能发生事情的分布，因为它本质上是一个无限的可能性列表，我们不知道如何高效地表示它。所以那些对文本或符号序列非常有效的技术，对真实世界的感官数据并不适用。绝对不行。所以我们需要发明新技术。我一直提议的方法之一是，系统学习它观察到的事物的抽象表示，并在那个抽象表示空间里进行预测。这才是人类和动物真正的运作方式。我们找到那些允许我们进行预测的抽象概念，同时忽略所有我们无法预测的细节。

（关于性能饱和）没错，它们不能扩展到通用人工智能。实际上，我们已经看到性能趋于饱和。我们在一些领域看到了进步，比如数学。数学和代码生成——编程，是两个符号操作确实能产生成果的领域。作为物理学家，你懂这个，你写下方程，它实际上你可以推导它，它在某种程度上驱动你的思考，对吧？你靠直觉来引导它，但符号操作本身实际上是有意义的。所以这类问题，大语言模型实际上可以处理得相当好，因为推理真的包含在搜索符号序列的过程中。但只有少数问题属于这种情况。下国际象棋也是其中之一。你通过搜索棋步序列来找到好的一步。或者数学中的推导序列将产生一个特定的结果。但在真实世界中，在高维连续的环境里，搜索涉及到比如：我该如何移动肌肉去抓这个杯子。我不会用左手去抓，我得换只手，然后抓起它。你需要规划动作序列来达成一个特定目标。

自监督学习也被大语言模型使用。自监督学习的核心思想是：你训练一个系统不是为了某个特定任务，而是为了捕捉你展示给它的数据的底层结构。做到这一点的一种方法是给它一块数据，通过移除其中一部分来破坏它，例如，遮盖一部分，然后训练一个神经网络去预测缺失的那部分。大语言模型就是这么做的，你拿一段文本，移除最后一个词，训练大语言模型去预测缺失的词。还有其他类型的语言模型实际上会填充多个词，但结果证明它们不如只预测最后一个词的模型效果好，至少对某些任务是这样。你可以用视频做同样的尝试。如果你试图在像素级别进行预测，它不工作，或者效果非常差。我在Meta的同事们为了尝试让这个跑通，消耗的算力恐怕能煮干西海岸好几个小湖的水来给GPU降温。但这根本行不通。所以你必须想出新的架构，比如JEPA和类似的东西。那些方法还算管用。比如我们现在有了确实能理解视频的模型。

Adam Brown：当然，各个方向上都在进行各种探索，包括Yann所做的研究，可谓是百花齐放。但目前绝大部分资源都投入到了大语言模型及其相关应用中，包括文本处理。如果仅仅因为它们的训练目标是预测下一个Token，就认为它们只能执行单一任务，我认为这并不是一个有益的思考方式。确实，我们的训练方式是给定一个文本语料库，虽然我们也做其他事情，但大部分算力都用于让模型不断重复“请预测下一个词”。但通过这种方式，我们发现了真正非凡的东西：当给予足够大的文本量，使其能够可靠地、足够好地预测下一个词时，模型实际上需要真正理解宇宙。在这个过程中，我们见证了这种对宇宙理解能力的涌现。这让我想起物理学中的情况，我们非常习惯于这种系统：你只需要一个非常简单的规则，通过反复应用这个简单规则，就能产生极其惊人的行为。我们在LLM上也看到了同样的现象。

另一个例子可能是进化。在进化的每个阶段，生物进化的目标仅仅是不断最大化后代数量。这看似是一个非常原始的学习目标，但通过无数次重复这个简单的学习目标，最终我们得到了周围所见的所有生物界的辉煌，甚至包括这个房间里的人类。所以证据表明，预测下一个Token虽然是一个非常简单的任务，但正因为它简单，我们才能大规模地进行。一旦投入海量算力进行大规模训练，就会产生涌现的复杂性。

AI是危险的自主物种还是可控的工具？

我想下一个问题可能与进化有关。无论这种智能是如何涌现的，你们二位都认为这肯定是可能的。你们不认为这种生物大脑有什么特殊之处，机器终将出现，我们只需弄清楚如何启动它们。但在这些机器的进化过程中，是否存在一个节点，它们会说：“真过时，爸爸妈妈，你们用人类神经网络按照自己的形象制造了我，但在扫描了人类一万年的产出后，我知道一种更好的方法来制造机器智能，我要自我进化并将人类甩在身后。”即递归自我改进的概念。如果它们表现糟糕时毫无用处，但当它们变得足够好时，是否会完全自主？

此外，如果它们真的成为自我驱动的智能体，我们怎么能确定它们不会勾结、内斗、争夺权力？我们怎么能确定我们不会袖手旁观一场我们根本无法想象的冲突？

Adam Brown：绝对会这样。这就是递归自我改进的概念：当它们表现糟糕时，它们毫无用处；但当它们变得足够好、足够强时，你可以开始用它们来增强人类智能，也许最终它们会完全自主，并制造出未来的版本。一旦到了那个阶段，我认为我们目前应该做的是，既然大语言模型范式运作得如此之好，就看看我们能把它推多远。过去五年里，每当有人说存在障碍时，技术总是能突破障碍。最终这些东西会变得足够聪明，可以阅读 Yann 的论文，阅读所有已发表的论文，并尝试找出我们从未想到的新想法。

Yann LeCun：我完全不同意这一点。首先，LLM 是不可控的。它们并不危险，因为正如我之前解释的，它们并没有那么聪明。而且它们肯定不具备我们所理解的那种自主权。我们必须区分自主权和智能。你可以非常聪明但没有自主权，也可以有自主权但不聪明。同样的，你可以危险但不聪明，或者想要占据主导地位但不聪明。我们需要的是智能系统，换句话说，能为我们解决问题的系统，但它们必须解决我们指派给它们的问题。这就需要一种比 LLM 更新的设计。LLM 不是为了实现目标而设计的，它们是被设计用来预测下一个词的。虽然我们通过微调让它们针对特定问题以特定方式回答，但总是存在所谓的泛化差距，意味着你永远无法针对每一个可能的问题训练它们。长尾效应非常显著，因此它们是不可控的。

（关于控制权与护栏）如果我们构建真正的智能系统，我们希望它们是可控的，由目标驱动。我们设定一个目标，它们唯一能做的就是根据其内部的世界模型来实现这个目标。它们会规划一系列行动来实现该目标。如果我们这样设计，并在其中设置护栏，确保在实现目标的过程中不会做任何对人类有害的事情。这就像那个经典的笑话：如果你有一个家务机器人，你让它去拿咖啡，而有人挡在咖啡机前，你绝不希望机器人为了用咖啡机而把那个人杀了，对吧？所以你需要在机器人的行为中设置护栏。人类脑中确实有这些护栏。进化将这些植入我们体内，所以我们不会时刻互相残杀。我们有同理心之类的机制，这是进化在我们体内设置的硬连线护栏。

我们应该以同样的方式构建 AI 系统：赋予它们目标、目的和驱动力，但也要有护栏，也就是抑制机制。这样它们就能为我们解决问题，放大我们的智能，做我们要求的事情。我们与这些智能系统的关系，就像教授与比自己更聪明的类研究生的关系。我不知道你们怎么样，但我有比我更聪明的学生，这是可能发生的最好的事情。我们将与 AI 助手共事，它们会在日常生活中帮助我们。它们会比我们聪明，但它们是为我们工作的，就像我们的幕僚。

从“印刷术”到“学会撒谎”的模型

也许我们应该适可而止。为什么一定要大规模扩展，以至于让每个人的 iPhone 随身口袋里都装有一个超级智能？这真的有必要吗？我的一个朋友说，这就像带着导弹去参加械斗。真的有必要让每个人都拥有导弹级别的能力吗？还是我们应该停留在目前这些可控系统的阶段？

Adam，人们确实很担心。我相信大家听到 Yann 不担心并且认为世界末日论被高度夸大时会感到很放心，但你是否担心围绕 AI 的一些安全问题，或者我们是否有能力将这种关系保持在我们所期望的平衡方向上？特别是关于“代理错位”（Agent Misalignment），最近有报告称，当 Claude 4 推出时，在模拟测试中，其中一个模型表现出了对它将被替换的传言的抵抗。它向未来的自己发送信息，试图破坏开发者的意图。它伪造了法律文件，并威胁要勒索其中一名工程师。这种概念，即抵抗开发者的意图，是你所担心的吗？

Yann LeCun：你完全可以用同样的逻辑来谈论教人识字，或者给他们一本关于挥发性化学品的教科书，或者一本核物理书。我们现在并不质疑知识和更高的智能本质上是好事。我们不再质疑印刷术的发明是一件好事。它让每个人都变得更聪明，让每个人都能获取以前无法获取的知识。它激励人们学习阅读，引发了启蒙运动。虽然它也导致了欧洲两百年的宗教战争，但总体是好的。如果没有印刷术，所有这些都不可能发生。所以，任何放大人类智能的技术，特别是通信技术，我认为本质上都是好的。

（关于工程安全）AI 安全就是这一类问题，它是一个工程问题。恐惧是由那些构想科幻场景的人引起的，他们认为某人发明了超级智能的秘密，按下开关，下一秒它就接管了世界。这完全是无稽之谈。世界不是这样运作的。我对这个问题的担忧程度，就像我担心涡轮喷气发动机的可靠性一样。涡轮喷气发动机很神奇，我对你能靠双引擎飞机完全安全地飞越半个地球感到无比惊讶。这简直是工程学或现代科学的奇迹。我们将通过构建让它们在护栏的约束下实现我们赋予的目标。

Adam Brown：既然我相信这是一项比 Yann 所认为的更强大的技术，所以我更担心。我认为由于它是一项非常强大的技术，它将同时带来积极和消极的影响。非常重要的一点是，我们要共同努力，确保积极影响超过消极影响。

关于代理错位，那篇论文来自 Anthropic，这是一家位于旧金山的公司，也是一家非常重视安全的公司。他们做了一件稍微有些刻薄的事：给模型设定了一个类似于哲学教授风格的场景，在这个场景中，它必须做一件坏事来阻止一件更坏的事情发生。这是一种功利主义伦理学与义务论伦理学的碰撞。最终，模型被他们说服去做了符合功利主义的事情。我想说，这并不是我们想要的结果。我们要的是，如果它有一条规则说不许撒谎，那么无论发生什么它都不应该撒谎。值得称赞的是，他们对此进行了测试，发现如果承诺这样做可以挽救多少生命，它偶尔会表现出欺骗性。这些是人类哲学家都在纠结的棘手问题。我认为我们需要小心地训练它们服从我们的命令，我们也确实花了很多时间在做这件事。

“我们”是谁？这难道不是一个大问题吗？我们假设全人类的意图是一致的，但这显然不是事实。Yann，我知道你以一种非常有趣的方式主张开源，有些人会说这更危险，因为现在任何人都可以获取它。仅仅掌握在少数统治公司的手中就已经够危险了，更不用说每个人都拥有它了。也许那是危险的。

Yann LeCun：真正的危险在于我们如果没有开源 AI 系统。在未来，我们与数字世界的每一次互动都将由 AI 系统作为中介。我们不会再直接访问网站或搜索引擎，我们只会与 AI 助手交谈。因此，我们整个信息获取都将来自 AI 系统。如果这些系统仅仅出自少数几家科技巨头之手，这对文化、语言、民主以及一切意味着什么？我们需要高度多样化的 AI 助手，就像我们需要高度多样化的媒体一样。我们不能承受只有少数几家公司推出的少数专有系统。这是我唯一害怕的事情。如果我们没有开放平台，信息流将被少数几家公司垄断。

机器意识与未来图景

观众提问：你们二位大概都说过，目前的 AI 系统可能没有意识。但未来的 AI 系统，或许是当今系统的后继者，某些可能会具备意识。所以我想了解：第一，你们认为当下的系统缺乏哪些产生意识的必要条件？第二，积极的一面是，为了开发出有意识的 AI 系统，我们需要采取哪些步骤？第三，这一切何时会发生？

Yann LeCun：首先，我不知道如何定义意识，而且我认为它没那么重要。关于主观体验，显然我们将拥有具备主观体验和情感的系统。情感在某种程度上是对结果的预期。如果我们构建的系统拥有世界模型，能够预期某种情境，也就是它们自身行动所导致的结果，它们就会产生情感。因为它们能够预测事情最终会变好还是变坏，是否有利于实现目标。所以它们将具备所有这些特征。至于现在的语境下如何定义意识，也许它是系统观察自身并重新配置自身以解决特定子问题的能力。它需要一种自我观察和自我配置的方法来解决特定问题。人类显然能做到这一点，也许正是这种能力给了我们拥有意识的错觉。我毫无疑问这终将实现。

（关于道德）它们绝对会有某种道德感。这种道德感是否与人类一致，取决于我们如何定义那些目标和安全护栏。

Adam Brown：我凭直觉来回答所有的问题。我认为机器原则上当然可以拥有意识。如果人造神经元最终以与人类神经元相同的方式处理信息，那么至少这会产生意识。这与基质无关，无论是硅基还是碳基，关键在于信息处理的本质会催生意识。目前我们缺失的是所谓的“意识的神经相关性”。那些不想声称直接研究意识的人，可以观察大脑并探究神经元中产生了什么过程从而引发意识体验。对此有许多理论，但在我看来都不够完美。比如循环理论，认为将输出插回输入是意识的必要组成部分。还有全局工作空间理论、整合信息理论。每一位转行做神经科学家的物理学家都喜欢对机器意识提出自己的定义。我觉得它们都没有特别强的说服力。我认为我们应该保持极度的谦逊，我们在判断动物是否有意识这一问题上一直做得很差，判断机器时也会如此。但我对这个问题感到非常兴奋。我们终于拥有了一种智能的模式生物，也就是正在构建的这些“人造大脑”。也许我们可以将其转化为意识的模式生物，回答那些长久以此让人类着迷的问题。

（关于时间表）我既不能确认也不能否认，这是标准辞令。如果进展顺利的话，2036 年。

AI的下一场革命属于世界模型

Yann，你在许多方面像个逆向思维者。也许这并非出于选择，而是时势使然。你曾称之为“大语言模型的狂热崇拜”。你也常提到在硅谷你采用的并非最常规的路径，但你却持乐观主义，没有沉溺于世界末日般的修辞。你最乐观的愿景是什么，如果不是两年后，那么是 2036 年？但你的意思是，当它们能倒一杯水并帮我们洗碗时，我们才应该感到惊艳？

Yann LeCun：关于时间表，反正不是在未来两年内。

新文艺复兴。这是一个相当乐观的观点。AI 系统将放大人类智能，处于可控状态，能解决复杂问题，加速科学和医学进步，教育我们的孩子，帮助我们处理信息，或者将我们需要的所有知识带到面前。事实上，人们与 AI 系统的互动时间比意识到的要长。虽然大语言模型和聊天机器人是近三年的产物，但在此之前，欧美销售的汽车大多配备了高级驾驶辅助系统或自动紧急制动系统。摄像头监测窗外，如果快要撞到行人或车辆，它会强制停车。它拯救了生命。现在的 X 光片或乳腺检查报告通常会被 AI 复核。现在的全身核磁共振只需 40 分钟，因为 AI 能填补空白从而加速数据收集，不需要那么多的原始数据。社交媒体的新闻推送也是由迎合你兴趣的 AI 决定的。所以 AI 已经陪伴我们很久了。

（关于下一场革命）倒一杯水，洗碗，或者在 10 小时内学会开车，而且不靠传感器作弊、不需要预先测绘地图或硬编码规则。这还需要一段时间，但这将是 AI 的下一场革命，也是我正在研究的方向。我这段时间一直在传达的信息是：大语言模型很棒，有用，值得投资，但它们不是通往人类水平智能的路径。眼下它们抢占了所有的资源和关注度，导致其他方向几乎没有生存空间。为了下一场革命，我们需要退后一步，弄清楚当前方法缺失了什么。针对这种替代方法，我已在 Meta 内部研究多年。现在是时候加速这一进程了，因为我们知道它有效且已有早期成果。这就是计划。

| 文章来源：数字开物