22、建立对人工智能系统的信任

建立对人工智能系统的信任

在当今科技发展的浪潮中，人工智能（AI）系统正逐渐渗透到我们生活的方方面面。然而，要让人们真正信任这些系统，我们需要解决一系列复杂的问题。

1. AI系统的规范

我们可以将未来可能的AI系统看作一种软件技术，与其他计算机应用（如报税软件或模拟足球游戏）并无太大区别（这里暂不考虑机器人等硬件因素）。理解计算机系统有两种方式：一是用户在设备上与之交互的实际系统实现；二是工程师对系统应实现功能的规范理解。

如今，受市场压力影响，软件系统的开发往往在对最终功能只有模糊概念的情况下就开始进行。软件的初始版本可能功能较弱且存在漏洞，但为了在市场中竞争，快速推出产品并在运行中修正问题成为常态。“快速行动，不怕犯错”已成为软件行业的普遍做法。

不过，我们可以从理想化的角度设想，未来的AI系统开发者有时间认真思考系统规范，致力于打造按预期运行的软件产品。在一些关键任务软件（如飞机导航系统、行星探测器或核电站控制系统）中，这种做法已经在尝试。在这些情况下，系统的正确实现至关重要，因为错误可能导致整个任务失败甚至危及生命。

计算机专业人员处理关键任务软件的方法如下：
1. 用正式语言编写系统规范。
2. 编写期望满足规范的计算机代码。
3. 借助计算机进行数学证明，确保代码满足规范。

这种软件开发方法虽然不能保证系统完全无错，但能确保错误大多出现在系统规范而非实现中。对于未来自主决策且影响重大的AI系统，我们需要尽可能明确其应实现的功能。然而，对于自主AI系统，我们面临一个问题：如果系统要在现实世界中自主运行，我们无法提前预测它将面临的情况，又如何明确规定它的行为呢？它不仅要应对可预见的