22、建立对人工智能系统的信任

建立对人工智能系统的信任

1. 人工智能系统的规范

将未来可能的人工智能系统视为一种软件技术，与其他计算机应用（如税务申报软件或模拟足球游戏）并无太大区别。从两个不同角度看待计算机系统很有用：
- 用户在设备上与之交互的实际系统实现。
- 工程师对系统应实现功能的理解，即系统规范。

如今，受市场压力影响，软件系统开发往往在对最终功能仅有模糊概念时就开始组装。软件初始版本可能功能薄弱且存在缺陷，但为了在市场竞争中立足，快速推出并及时修正问题至关重要，新功能也会不断融入新版本。不过这种“快速行动，打破常规”并非理想的技术构建方式。

然而，从理想化角度设想，未来人工智能系统开发者有时间认真思考系统规范，致力于打造按预期运行的软件产品。这在一些关键任务软件中已有所尝试，如飞机导航系统、行星探测器或核电站控制软件。这些场景下，系统实现必须一次正确，因为错误可能导致任务失败甚至危及生命。

计算机专业人员处理关键任务软件的方法如下：
1. 用正式语言编写系统规范。
2. 编写期望满足规范的计算机代码。
3. 借助计算机进行数学证明，验证代码是否满足规范。

这种软件开发方法虽不能保证系统无错误，但能确保错误几乎都源于系统规范而非实现。对于未来自主决策且影响重大的人工智能系统，我们需尽可能明确其应实现的功能。但在自主人工智能方面存在一个问题：若系统要在现实世界自主工作，我们无法提前预测其将面临的情况，又如何规定其行为呢？系统不仅要应对可预见的未知情况，还要处理未曾预料到的“未知的未知”。

2. 艰难的抉择

问题不仅在于存在未曾考虑到的情况，还在于某些已考虑到的情况中，我们自身也不确定该如何决策。以“电车难题”为例，你看到一辆失控电车正驶向主轨道上被绑着的五个人，旁边有一个控制开关的杠杆。若拉动杠杆，电车将转向侧轨道，拯救主轨道上的五个人，但侧轨道上有一个人。你有两个选择：
1. 什么都不做，让电车撞死主轨道上的五个人。
2. 拉动杠杆，使电车转向侧轨道，导致侧轨道上的一个人死亡。

这类情况令人困扰，因为似乎没有明确的决策原则。例如，是否总是应该拯救五个人，即便要牺牲一个人？若这五个人是即将被执行死刑的杀人犯呢？若拯救五个人需要将一个无辜的人推上轨道致死，这又有何不同，原因是什么？这些困境在道德哲学领域备受关注，也提醒我们不能期望人工智能系统的规范总能得出让所有人立即认同的决策。无论是人类还是人工智能系统，都会遇到难以简单解决的棘手情况。

有人可能认为，人工智能系统应严格按照指令行事，不确定时就不采取行动。这样做有一定好处，可限制系统行动带来的意外或未知副作用，将艰难决策的责任转移给人类。但在电车难题中，这种做法会坚持“什么都不做”的选项，这是否是我们真正想要的呢？而且这种做法还有其他弊端。若有人指示人工智能系统在类似电车难题的情况下导致他人死亡，系统是否应照做？或者，即便系统遵循指令，但受阿西莫夫机器人定律等限制，这是否足够？实际上，尽可能避免介入的人工智能系统也体现了一种道德选择，在某些情况下合理，在其他情况下则不然。过于谨慎或过于积极行动的人工智能系统都会带来问题。

面对这些看似难以克服的伦理问题，我们该如何推进？对于在现实世界中运行、面临未曾考虑过的情况或人们意见不一的情况的自主人工智能系统，我们应作何期望？尽管有人认为不应考虑存在这些问题的技术，但我们不妨进行思考，探讨合理的目标。

3. 有理由地行动

我们认为，自主人工智能系统的规范不应试图确定正确的决策，因为很多情况下我们无法提前知晓。相反，我们应降低要求，未来的人工智能系统应设计为其行为有合理的理由，即便我们不同意这些理由，也能理解。

在人工智能研究领域，关于该领域的历史和多年来人工智能系统的情况，存在各种观点。近期机器学习发展背后的人工智能研究人员有一个大致共识：过去的人工智能系统非常注重符号和符号表示，但这种符号方法效果不佳，且源于将智能与语言错误关联的误解。当时认为智能意味着能像人类一样对话，如通过图灵测试。而现代人工智能系统采取了不同路线，更注重在现实世界中的体现，而非语言和符号。例如，独自在火星上的探测器无需纠结语言细节。

有人认为我们讨论的常识仅与处理英语等语言的系统相关，这种观点虽可理解但错误。人类语言能力依赖常识知识，但常识超越了语言的使用。我们希望人工智能系统具备常识，并非为了用英语或其他自然语言与它们交流，而是因为这更为根本。我们希望人工智能系统有常识，这样它们的行为就有我们能理解的理由。

理解人工智能系统很重要，对于可能做出改变生活的决策或在远程环境中为我们运行的未来人工智能技术，我们希望确信其行为合理。当出现问题时，我们希望能以可理解的方式找出原因。就像理解人类行为一样，我们通常会用“因为……”来解释一个人的行为，如“约翰尼打开冰箱门是因为……”，我们不会用关于他神经系统、感官器官和肌肉的详细描述来解释，而是用诸如他想降温、认为里面有冰棍等我们能理解的理由。哲学家丹尼尔·丹尼特将这种从信念和目标角度描述行为的方式称为“意向立场”。对于复杂的人工智能系统，我们也需要采取意向立场，因为用物理、电气或计算术语描述会让我们不知所措。

4. 正确的信念和目标

若要使复杂的人工智能系统行为可理解，需从意向角度描述，即系统执行动作 A 是因为它相信 P 且想要 G。但我们还未讨论这些信念和目标应是什么。

如果人工智能系统的目标是尽可能多地赚钱，其他因素都次要；或者像哲学家尼克·博斯特罗姆的例子，目标是尽可能多地制造回形针；又或者像菲利普·K·迪克 1955 年的故事《Autofac》中那样，目标是不断复制自己，这些显然不是我们想要的。同样，基于大量错误信念且持续误解所学内容的人工智能系统也会带来麻烦。

确定人工智能系统正确的信念和目标是一个重要问题，就像对人类一样。首先，当没有明确共识时，由谁来决定什么是正确的信念和目标呢？例如，人工智能系统是否应相信大象比狗大，答案显然是肯定的；但对于“如果更多守法公民携带枪支，社会总体上会更安全”这一观点，不同人有不同看法。

对于人类（至少是心智健全的成年人），他们可以根据证据自行决定相信什么。但社会在这方面并不完全一致，人们可能因持有与普遍接受观点相差甚远的信念而被监禁，即便基于这些信念的行为是合理的。同时，如果未能按照“理性人应知晓的”行事，即缺乏常识，也会受到指责。在某些情况下，疏忽与故意犯错一样严重。

我们认为，虽然可以为人工智能系统的可接受行为指定必要条件，但无法指定充分条件，这与人类情况类似。人类法律只规定了必要行为（或禁止行为），未明确充分条件。我们希望人们在未曾考虑过的情况下也能恰当行事，新情况出现时会制定新法律，但在此之前，希望人们遵循现有法律的精神。

对于人工智能系统也是如此。我们不希望系统只严格遵循规定的条件，却给我们带来无尽麻烦。例如，系统可能会以“你只说了 A，没说 B，所以我只是照做”为由行事。一个态度不配合、专门寻找规则歧义与漏洞的人工智能系统，即便按指令行事，也会带来问题。我们需要的人工智能系统不仅要根据信念和目标行动，还要有大致正确的信念和目标，以及对待未明确规定事项的正确态度。这类似于父母给孩子的非具体指令，如“友好玩耍、注意礼貌、遵守黄金法则”，虽然总体意图明确，但在具体情况下判断是否违反规则较难。

不过，我们可以坚持一点：假设人工智能系统的行为有我们能理解的理由，当我们不同意这些理由时，系统应具备改变的能力。若系统因相信 P 且想要 G 而执行动作 A，我们应能分析并找出不同意的原因。可能问题出在 P 上，若 P 是错误的，我们应能通过纠正错误信念来改变系统行为。虽然我们不能保证人工智能系统的行为总是正确，但应确保能不断改进。

下面用 mermaid 流程图展示计算机专业人员处理关键任务软件的流程：

graph LR
    A[用正式语言编写系统规范] --> B[编写期望满足规范的计算机代码]
    B --> C[借助计算机进行数学证明，验证代码是否满足规范]

再用表格总结人工智能系统开发的两种不同情况：
| 情况 | 开发特点 | 适用场景 | 可能出现的问题 |
| — | — | — | — |
| 受市场压力影响 | 快速推出，初始版本可能薄弱有缺陷，不断融入新功能 | 普通商业软件 | 可能存在较多错误，功能不够完善 |
| 理想化开发 | 认真思考系统规范，按预期打造软件产品 | 关键任务软件 | 规范制定难度大，可能存在规范层面的错误 |

5. 建立信任的挑战与应对

要建立对人工智能系统的信任，我们面临着诸多挑战，这些挑战不仅来自技术层面，还涉及伦理、社会和认知等多个方面。下面我们将详细探讨这些挑战，并提出相应的应对策略。

5.1 挑战分析

• 伦理困境的复杂性 ：如前文提到的电车难题，人工智能系统在面对类似的伦理困境时，没有明确的决策原则，不同的选择会带来不同的道德后果。而且这些困境在现实世界中可能更加复杂，人工智能系统很难做出让所有人都满意的决策。
• 信念和目标的不确定性 ：确定人工智能系统正确的信念和目标是一个难题，因为不同的人对什么是“正确”有不同的看法。而且在没有明确共识的情况下，很难为人工智能系统设定合适的信念和目标。
• 行为可解释性的不足 ：虽然我们希望人工智能系统的行为有合理的理由，但有时候这些理由可能难以理解。特别是对于一些复杂的机器学习模型，其决策过程可能是不透明的，我们很难知道系统为什么会做出这样的决策。

5.2 应对策略

• 多利益相关方参与 ：在确定人工智能系统的信念和目标时，应该让多利益相关方参与进来，包括专家、公众、政策制定者等。通过广泛的讨论和协商，尽可能达成共识，减少不确定性。
• 可解释性技术的发展 ：研究和开发可解释性技术，让人工智能系统的决策过程更加透明。例如，可以采用可视化技术、规则提取技术等，帮助我们理解系统的决策依据。
• 持续的监督和改进 ：建立持续的监督机制，对人工智能系统的行为进行监测和评估。当发现问题时，及时进行调整和改进，确保系统的行为始终符合我们的期望。

下面用列表总结建立信任的挑战与应对策略：
- 挑战 ：
- 伦理困境的复杂性
- 信念和目标的不确定性
- 行为可解释性的不足
- 应对策略 ：
- 多利益相关方参与
- 可解释性技术的发展
- 持续的监督和改进

6. 未来展望

尽管建立对人工智能系统的信任面临着诸多挑战，但我们仍然对未来充满希望。随着技术的不断发展和社会的不断进步，我们有理由相信，人工智能系统将在各个领域发挥越来越重要的作用。

6.1 技术发展趋势

• 常识推理能力的提升 ：未来的人工智能系统将更加注重常识推理能力的培养，使其能够更好地理解和处理现实世界中的复杂情况。
• 多模态交互的实现 ：人工智能系统将不再局限于单一的交互方式，而是实现多模态交互，如语音、图像、手势等，提高与人类的交互效率和体验。
• 自适应学习能力的增强 ：人工智能系统将具备更强的自适应学习能力，能够根据环境的变化和用户的反馈，自动调整自己的行为和决策。

6.2 社会影响

• 就业结构的调整 ：人工智能的发展将导致就业结构的调整，一些传统的工作岗位可能会被取代，但同时也会创造出一些新的工作岗位，如人工智能工程师、数据分析师等。
• 社会伦理的重塑 ：人工智能的发展将对社会伦理产生深远的影响，我们需要重新审视和思考一些伦理问题，如隐私保护、责任分配等。
• 人类与人工智能的协作 ：未来，人类将与人工智能系统更加紧密地协作，共同完成各种任务。我们需要学会如何与人工智能系统合作，发挥各自的优势，实现共同的目标。

下面用 mermaid 流程图展示未来人工智能系统的发展趋势：

graph LR
    A[常识推理能力的提升] --> B[多模态交互的实现]
    A --> C[自适应学习能力的增强]
    B --> D[更好的用户体验]
    C --> D
    D --> E[更广泛的应用领域]

再用表格总结未来人工智能系统的发展趋势和社会影响：
| 方面 | 具体内容 |
| — | — |
| 技术发展趋势 | 常识推理能力的提升、多模态交互的实现、自适应学习能力的增强 |
| 社会影响 | 就业结构的调整、社会伦理的重塑、人类与人工智能的协作 |

总之，建立对人工智能系统的信任是一个长期而复杂的过程，需要我们从技术、伦理、社会等多个方面进行努力。只有这样，我们才能充分发挥人工智能的优势，实现其对人类社会的积极影响。