23、构建可信的人工智能系统：常识与理解的重要性-优快云博客

本文链接：https://blog.youkuaiyun.com/redis7keeper/article/details/151958947

构建可信的人工智能系统：常识与理解的重要性

1. 未来自主 AI 系统的两大基本要求

未来自主 AI 系统的设计涉及两个高层次要求：
- 有行为理由 ：所构建的系统需对自身行为有合理理由，具备人类可理解的知识和目标，其行动是运用这些知识追求目标的结果。
- 能接受建议 ：系统要能够接受建议，当知识或目标存在偏差时，无需重新编程，可通过对话进行纠正。

这两个要求不仅对 AI 系统有益，对人类也至关重要，AI 系统的行为需能让人类理解，这与是否使用英语等语言无关。

虽然语言并非系统要求的必要组成部分，但也有人质疑是否能构建一种行为可被人类理解，但构建方式与传统不同的 AI 系统，比如不采用知识的符号表示，而使用类神经元单元间的数值权重。实际上，对于 AI 系统的实现方式，并没有先验的规定，能有效运行的方式就是可行的。

不过，第二个要求带来了一个复杂因素。无论系统如何实现信念，其架构都要能将错误的信念或目标从系统中分离并修改，这一点更倾向于基于符号的方式，但并非绝对。

此外，第二个要求也表明，仅在难以理解的系统上添加“解释模块”是不够的。即便该模块能以常识性的信念和目标解释系统行为，我们还期望能通过纠正错误的信念和目标来改变系统行为。因此，信念和目标不能仅在解释模块的输出中事后出现，而要真正支配系统的运行。

总体而言，我们期望的是具有常识且能不断改进的系统。这种学习不同于基于反复试验或大量数据的自动化机器学习，更像是教师与学生之间有针对性的一对一互动。纠正错误信念或目标不一定需要使用英语等自然语言，其他交互机制也可能实现，但自然语言具有很大优势。

值得注意的是，上述设想是对约翰·麦卡锡在 1958 年为 AI 提出的建议的进一步阐述。他所描述的“建议接受者”系统，旨在用符号语言表示常识性知识，并根据这些知识做出行动决策，还可通过改变符号表示来修改系统行为。然而，由于多种原因，麦卡锡的设想在 AI 领域并未完全实现，其中一个重要原因是转向了所谓的专家系统。未来，更专注于常识，尤其是常识推理，是否会取得更大成功，仍有待观察。

2. 缺乏理解下的信任问题

未来 AI 系统的可理解性有多重要呢？当我们说 AI 系统的行为应具有可理解性时，并非要求每个人都能理解。就像在处理犯罪案件时，嫌疑人的行为可能需要专业知识才能理解，此时我们会参考其他专家的意见。

对于 AI 系统也是如此，我们希望系统的行为理由能被人类群体理解，但这些理由不一定完全是常识性的，也可能涉及专业知识和复杂的数学等。

以 DeepMind 开发的国际象棋程序 AlphaZero 为例，它仅具备基本的象棋规则知识，通过与自身进行数百万次对弈，最终可能成为世界上最优秀的棋手。它的表现展现出了深刻的洞察力和独特的风格，但机器学习算法无法阐明其思考过程，我们不清楚它为何能如此出色，也就难以判断是否能信任它。

有人推测，若 AI 技术带来的益处足够大，我们可能不会太在意对其缺乏理解。然而，象棋是一个封闭的人工环境，基于深度学习的技术在其他人工定义的环境中可能适用，但没有证据表明在这些受限领域的能力能自动迁移到现实世界中。

假设能构建一个在现实世界中自主运行且表现出色，但行为理由人类完全无法理解的 AI 系统，我们是否应该接受这样的技术呢？

与人类的类比能提供一些启示。人类有许多行为的原因我们难以理解，比如艺术家的创作。如果要求人们的行为都必须有明确可理解的理由，社会将变得贫乏。但生活并非艺术，在现实世界中，尤其是涉及影响他人的行为时，我们需要理解其背后的原因。

对于 AI 系统在不同环境中的行为，我们有不同的态度：
|环境类型|态度|
| ---- | ---- |
|人工环境|如棋盘、画布、书籍或计算机模拟世界，应欢迎和欣赏 AI 系统展现出的创造力和独特性，无需解释。|
|现实世界| - 非自主运行：若有人监督并提供常识，应将其行为视为人类的行为，像对待烤面包机和恒温器一样，由相关人员负责。
- 自主运行：不能接受无法理解的行为理由，因为我们无法确定系统在特殊情况下的反应，即使系统有完美的记录，也可能因未知因素而出现严重错误。|

例如，研究表明，像 AlexNet 这样的图像分类深度学习系统可能会被欺骗，将一张经过细微修改但人类难以察觉的校车图片错误分类为鸵鸟。这说明我们并不真正理解系统从训练中学到了什么，其决策标准对我们来说没有意义。

在某些特定情况下，个人可以信任他人或 AI 系统，但这不应成为普遍政策。如果要发展自主 AI 系统，我们有责任确保其决策理由能被人类清晰理解，主要基于常识。缺乏常识的系统不应在需要常识的场景中自主决策，无论最终决策由人类还是未来的 AI 系统做出，常识都应始终参与其中。

3. 常识与 AI 系统的关系

当前 AI 领域的大部分工作集中在深度学习上，这种方法在很多任务中表现出色，但它的特点是在不太了解任务本质的情况下完成大量工作。

然而，我们关注的重点并非如何更好地利用 AI 完成特定任务，而是让 AI 系统在特定任务之外表现得合理。当需要停止当前任务并思考是否应采取其他行动时，就需要对任务有更深入的理解，而不仅仅是能够执行任务。

在这种情况下，真正需要的是从可用行动中抽身，考虑它们如何融入更宏大的图景，即对世界有常识性的理解。这意味着要认识到世界上存在不同种类的事物，具有不同的属性，这些属性会因不同事件而改变，包括我们自身行动所引发的事件。

与专注于特定任务的系统设计不同，常识理解更为宽泛。当系统设计者明确系统的具体任务时，关注点就会变窄。例如，系统任务可能是登月、在崎岖地形行走或推荐电影，工程师会考虑任务的输入范围和训练方式，而超出这些参数的部分则由人类负责，如决定派对上音乐的音量，或处理交通灯故障等情况。

这种设计理念本身并无问题，自工业革命以来，工程实践一直遵循这一原则。我们期望洗衣机、音响和高尔夫球车等设备能出色完成本职工作，但不期望它们具备额外的能力。同样，我们也不应过度期望 AI 系统能有超出设计任务的表现。

但我们的思考方向有所不同，我们思考的是如何构建一个能自主意识到不适合在藏有生日蛋糕的情况下启动洗涤程序的洗衣机控制器。这表明，展现这种常识所需的能力与执行特定任务所需的能力有很大差异，即使是像下象棋这样看似需要智能的任务。

常识是有效利用广泛常识性知识的能力。对于洗衣机控制器来说，它需要了解人们为何重视生日蛋糕，以及启动洗衣机会对蛋糕造成什么影响，并利用这些知识暂停洗涤程序。

理解常识，思考机器如何利用常识性知识是有价值的。本书中提出的基于符号结构计算来表示常识性知识的观点（KR 假设），是目前唯一可行的方案。从工程角度看，没有其他方案能让机器在不局限于特定任务的情况下，基于对世界的更全面理解做出决策。

总之，常识并非关于复杂任务，正如麦卡锡六十多年前所说，它是能够从已知信息中得出简单直接的结论，并将其应用于实际行动中。如果机器具备常识的未来是可能的，那么这依然是实现的方向。

graph LR
    A[未来自主AI系统] --> B[两大基本要求]
    B --> B1[有行为理由]
    B --> B2[能接受建议]
    A --> C[信任问题]
    C --> C1[人工环境]
    C --> C2[现实世界]
    C2 --> C21[非自主运行]
    C2 --> C22[自主运行]
    A --> D[常识与AI系统关系]
    D --> D1[常识性理解]
    D --> D2[与特定任务区别]

4. 常识在 AI 系统中的具体体现

常识在 AI 系统中的体现可以通过多个方面来理解。以洗衣机控制器为例，它需要具备一系列的常识性知识和推理能力。

4.1 知识储备

洗衣机控制器需要了解的常识性知识包括：
- 物品属性 ：生日蛋糕是易碎、易损坏且有特殊用途（庆祝）的物品，与衣物的属性完全不同。衣物可以承受洗涤过程中的摩擦、水浸等，而蛋糕则不能。
|物品|属性|
| ---- | ---- |
|生日蛋糕|易碎、易损坏、用于庆祝|
|衣物|可承受洗涤、可清洁|

事件后果 ：启动洗衣机的洗涤程序会导致蛋糕被水浸湿、搅拌破碎，从而破坏蛋糕的完整性和可用性。

4.2 推理能力

基于这些知识，洗衣机控制器需要进行推理。当检测到洗衣机内藏有生日蛋糕时，它要能推理出启动洗涤程序会产生不良后果，从而做出不启动的决策。这一推理过程可以用以下流程图表示：

graph TD
    A[检测到洗衣机内情况] --> B{是否有生日蛋糕}
    B -- 是 --> C[推理启动程序后果]
    C --> D[得出破坏蛋糕结论]
    D --> E[决定不启动程序]
    B -- 否 --> F[正常启动程序]

4.3 实际应用中的挑战

然而，在实际应用中，要让 AI 系统具备这样的常识并非易事。例如，如何准确检测到洗衣机内藏有生日蛋糕就是一个难题。可能需要借助图像识别、传感器等技术，但目前这些技术还存在一定的局限性。此外，即使检测到了蛋糕，系统如何准确理解蛋糕的属性和启动程序的后果，也需要大量的知识表示和推理机制。

5. 对未来 AI 系统发展的思考

5.1 平衡特定任务与常识能力

未来 AI 系统的发展需要在专注特定任务和具备常识能力之间找到平衡。一方面，特定任务的执行能力是 AI 系统在实际应用中发挥作用的基础，如医疗诊断系统准确诊断疾病、自动驾驶系统安全行驶等。另一方面，常识能力可以让 AI 系统在复杂多变的现实环境中更加灵活和可靠。

5.2 技术实现的途径

要实现具有常识能力的 AI 系统，可能需要综合多种技术。例如：
- 符号表示与推理 ：利用符号语言表示常识性知识，并通过推理引擎进行逻辑推理，这有助于系统做出基于常识的决策。
- 机器学习与深度学习 ：虽然深度学习在常识理解方面存在不足，但可以用于学习数据中的模式和特征，为常识推理提供数据支持。
- 多模态交互 ：通过视觉、听觉、触觉等多种模态的交互，让 AI 系统更好地感知和理解现实世界，从而积累更多的常识性知识。