拯救大模型的逻辑短板：Nature文章预测符号主义AI与神经网络的联姻将引爆下一场技术革命-优快云博客

结合逻辑系统与驱动大语言模型的神经网络，正在成为人工智能领域最炙手可热的趋势，这种复古与前沿的碰撞或许才是通往通用人工智能的真正钥匙。

虽然神经网络在当前AI领域独领风骚，但由于其缺乏逻辑推理能力和黑盒特性，绝大多数专家认为仅靠它无法实现人类水平的智能。

一种融合了老式符号人工智能（Symbolic AI）与现代神经网络的神经符号AI（Neurosymbolic AI）正在迅速崛起。

这种混合模式旨在弥补神经网络在逻辑、因果推理及数据效率上的短板，尽管面临如何让两者有效沟通的技术挑战，但已在数学解题、机器人控制等领域展现出惊人潜力，被视为通往通用人工智能（AGI）及科学发现自动化的关键路径。

神经网络需要找回失落的逻辑灵魂

人工智能的发展似乎走到了一个微妙的十字路口。

当你询问位于华盛顿特区的国际先进人工智能协会（AAAI）的成员，仅凭目前风头无两的神经网络，是否足以让人类触及通用人工智能的圣杯时，绝大多数人的回答是否定的。

这听起来有些反直觉，毕竟我们正处在一个由深度学习主导的狂热时代。

但专家的共识指向了一个被遗忘已久的老朋友：符号人工智能（Symbolic AI）。

要让计算机真正匹敌甚至超越人类智能，我们需要给现代AI补上一剂强效的复古药方。

这种老派技术有时被称为虽然过时但很好用的AI。

它的核心在于形式化规则，以及对概念之间逻辑关系的精确编码。

数学公式是符号，编程语言中的if-then语句是符号，那些描绘猫、哺乳动物和动物之间包含关系的韦恩图也是符号。

在几十年前，符号系统曾是人工智能领域的领跑者。

直到2010年代初，局面被彻底打破。

更加灵活的神经网络横空出世，凭借从海量数据中学习的能力，迅速将符号系统甩在身后。

神经网络模拟了大脑神经元的工作方式，通过调整层级节点间的连接权重来识别模式。它们在处理图像、自然语言生成方面表现出了令人惊叹的创造力和速度。

然而，光环之下，阴影显现。

神经网络虽然强大，但常常遭受黑盒综合症的困扰。

当它们犯错时，错误往往显得荒谬且难以捉摸。图像生成器可能会画出六根手指的人，因为它从未真正理解手这个概念通常包含五根手指这一逻辑规则；视频生成器可能无法让球体正确反弹，因为它并没有内化万有引力向下拉动的物理定律。

这并非单纯是数据量或算力不足的问题。

许多研究者指出，这是神经网络在根本上缺乏逻辑推理和知识泛化能力的体现。它们擅长模仿，却不擅长思考。它们可以预测下一个单词，却很难在训练数据之外的领域进行可靠的逻辑推演。

正因如此，计算机科学界正在极力推动一场新旧融合的运动。

神经符号AI成为了当下最热门的技术词汇。

马里兰大学帕克分校（University of Maryland in College Park）的计算机科学家Brandon Colelough追踪了相关学术论文的增长趋势。

数据清晰地显示，从2021年左右开始，对这一领域的兴趣呈现爆发式增长，且丝毫没有减缓的迹象。

研究人员将这种趋势视为一种必要的纠偏，试图摆脱神经网络在AI研究中不健康的垄断地位。他们期望这种转变能带来更聪明、更可靠的人工智能。

两种思维模式的碰撞与融合引发新变革

将逻辑严密的符号系统与灵活直觉的神经网络这两种截然不同的策略进行更好的融合，极有可能通向通用人工智能（AGI）。

那是一种能像人类一样推理，并将知识从一个场景自如迁移到另一个场景的智能形态。

对于军事或医疗决策等高风险应用而言，这种融合尤为关键。

因为符号AI具备人类可理解的透明性，它的推理过程是清晰可见的，这恰好弥补了神经网络难以被信任的缺陷。

谷歌DeepMind去年发布的AlphaGeometry系统就是一个绝佳的例证。

这个系统能够可靠地解决国际数学奥林匹克竞赛级别的几何题——这些题目通常是为最具天赋的中学生准备的。

AlphaGeometry并不是单纯依赖大模型的语言预测能力，而是巧妙地结合了神经网络的直觉与符号引擎的严谨逻辑。

但这并不是一件容易的事。马里兰大学的计算机科学家William Regli将这种架构形象地比喻为设计一种双头怪兽。

关于如何实现智能，学界存在一场旷日持久的辩论，甚至可以说是一场口水战。

2019年，计算机科学家Richard Sutton在他的博客上发表了一篇题为《痛苦的教训》（The Bitter Lesson）的短文。

他在文中犀利地指出，自1950年代以来，人们一再假设制造智能计算机的最佳方式是灌输人类对世界的规则认知——从物理学定律到社会行为规范。然而，历史反复证明这是一个误区。

Sutton认为，真正胜出的总是那些利用海量原始数据和不断扩展的计算能力来进行搜索和学习的系统。

早期的国际象棋程序曾试图模仿人类大师的策略，结果却被那些仅仅通过暴力计算和数据喂养的程序彻底击败。

这一观点被神经网络的拥趸广泛引用，作为把模型做大就是通往AGI唯一路径的佐证。

但在硬币的另一面，许多研究者认为《痛苦的教训》言过其实，它忽视了符号系统在AI中不可或缺的作用。

事实是，即便是今天最强大的国际象棋程序Stockfish，也并非纯粹的神经网络，它依然结合了象征可行走法的符号树（Symbolic Tree）。

神经网络与符号算法各有千秋，也各有软肋。

神经网络由层层叠叠的节点和加权连接组成，通过训练调整权重来识别数据中的模式。

它们速度快、富有创造力，但因为缺乏刚性规则，它们容易胡编乱造，且无法可靠回答超出训练数据范围的问题。

相比之下，符号系统由庞大的规则数据库构成，难以涵盖人类语言等混乱的概念，构建困难且搜索缓慢。但它们的优势在于逻辑清晰、推理严密，能够利用逻辑将通用知识应用于全新的情境。

IBM等全球科技巨头正在押注神经符号技术，将其视为通往AGI的必经之路。然而，质疑声依然存在。

现代AI之父之一、Meta首席AI科学家Yann LeCun就曾表示，神经符号方法与神经网络的学习机制是不兼容的。

刚获得2024年图灵奖（计算机科学界的诺贝尔奖）的Sutton坚持他最初的观点。

他告诉《自然》（Nature）杂志：痛苦的教训依然适用于今天的AI。他认为，人为添加符号化的手工元素可能是一个错误。

而温哥华的认知科学家兼AI企业家Gary Marcus则是神经符号AI最直言不讳的支持者，他倾向于将这种分歧视为一场哲学之战，并坚信胜利的天平正在向他倾斜。

麻省理工学院（MIT）的机器人专家Leslie Kaelbling则持有一种更加务实的态度。

她认为争论哪种观点正确纯属干扰，人们应该专注于任何行之有效的方法：我是个实用主义者，只要能让我的机器人变得更好，我什么方法都愿意用。

通往通用人工智能的道路充满挑战与机遇

神经符号AI的定义本身就像它的潜力一样广阔且模糊。

正如Marcus所言，这是一个非常巨大的宇宙，我们目前仅仅探索了冰山一角。

在这个宇宙中，研究者们尝试了多种混合搭配的策略。

一种主流策略是利用符号技术来增强神经网络。

前文提到的AlphaGeometry就是这一策略的集大成者。它在一个由符号计算机语言生成的合成数据集上训练神经网络，这使得数学问题的解决方案更易于验证，错误率大幅降低。

另一种名为逻辑张量网络（Logic Tensor Networks）的方法，为神经网络提供了一种编码符号逻辑的框架。

在这个框架中，陈述不再是非黑即白的真或假，而是被赋予一个介于1（真）和0（假）之间的模糊真值。这为系统提供了一套推理的规则支架。

还有一种截然相反的思路：利用神经网络来优化符号算法。

符号知识库的一个致命弱点是搜索空间过大。以围棋为例，其所有可能的走法构成的树包含约10的170次方个位置，这是一个天文数字，根本无法穷举。

而神经网络可以被训练来预测哪些走法最值得尝试，从而大幅剪枝，缩小搜索范围。当年Google的AlphaGo击败人类围棋冠军，正是采用了这种策略。

另一种创新的思路是将符号系统嵌入大语言模型（LLM）的工作流中间，就像人类遇到数学难题时会掏出计算器一样。

诸如程序辅助语言（Program-Aided Language, PAL）模型等项目，利用LLM将自然语言任务转化为Python代码，运行这些符号代码来解决问题，最后再由LLM将结果翻译回自然语言。这种方法利用规则系统在关键推理步骤中防止LLM跑偏。

刚在MIT完成博士学位、即将前往宾夕法尼亚大学的Jiayuan Mao，在利用神经符号AI提高机器人训练效率方面取得了显著成果。

她的策略是：利用神经网络识别视觉场中的对象（例如一个红色的橡胶球或绿色的玻璃立方体），然后利用符号算法来推理这些对象之间的关系（例如橡胶物体是否在绿色物体后面？）。

数据对比令人震惊：如果仅使用纯神经网络，需要70万个训练样本才能在这一任务上达到99%的准确率。但通过添加符号技术，她仅需原数据量的10%就能达到同样的效果。

即使你只用1%的数据，仍然可以获得92%的准确率，这相当令人印象深刻，Mao说道。她创建的一个类似系统在指导机器人处理洗碗或泡茶时遇到的陌生物体方面，完胜基于纯神经网络的系统。

谁来担任AI思维乐队的指挥家

尽管前景广阔，但符号AI面临着一个巨大的历史难题：如何将往往难以捉摸的人类知识编码进逻辑和规则的语言中。

早在1984年，计算机科学家Doug Lenat就启动了一个名为Cyc的项目，旨在将常识性事实和经验法则明确表达出来，例如女儿是孩子、人们爱他们的孩子以及看到你爱的人会让你微笑。Cyc现在的语言CycL使用符号（如IF、AND、OR、NOT）来表达逻辑关系，以便推理引擎能够得出看到你的孩子会让你微笑这样的结论。

如今，Cyc包含超过2500万条公理，并启发了包括Google知识图谱在内的众多项目。符号数据库确实能帮助AI将知识从一种情况泛化到另一种情况，这是提高推理效率的有力手段。

但在处理那些充满例外的现实问题时，准确性往往会打折扣。毕竟，并不是所有人都爱他们的孩子，看到爱的人也不一定总是会微笑。

Kaelbling指出，试图将所有常识转化为数学公式几乎肯定是个坏主意，符号应该只在有帮助的时候被引入。

2023年，Marcus和Lenat发布了一篇论文，探讨大语言模型能从Cyc中学到什么。

实验中，他们要求GPT-3（ChatGPT的前身）编写CycL语句，以编码句子“你是否在2022年9月25日触摸了位于法国首都的一个蓝色物体？”中的逻辑关系。

起初，GPT-3生成的代码让Cyc团队感到惊讶，因为它看起来格式正确，语言也对路。但经过仔细检查，他们发现GPT-3犯了许多关键错误，例如它竟然推断出触摸蓝色物体的东西是日期。

它看起来很好，看起来应该能工作，但实际上完全是垃圾，Colelough评价道。

这揭示了一个核心问题：简单地将符号引擎和神经网络强行拼凑在一起是徒劳的。如果两者不能有效沟通，甚至互相误导，那么这种混合系统就失去了意义。

Colelough认为，我们需要在AI的元认知（Metacognition）方面进行更多研究——即AI如何监控和指导自己的思维过程。这就像需要一位AI指挥家，能够监督两种范式的复杂整合，而不是让不同的引擎简单地轮流工作。

AlphaGeometry在有限的数学语境下做到了这一点。如果能开发出适用于任何知识领域的灵活指挥家，在Colelough看来，那就是通往AGI的道路。

前路漫漫，或许还需要全新的硬件和芯片架构来高效运行这种双头系统。对于Jiayuan Mao来说，终极目标是利用神经网络的学习能力来创造人类尚未察觉的规则、类别和推理路径。

我们希望最终能拥有能够发明自己的符号表示和符号算法的系统，这样它们就能真正超越人类的认知，她说。