14、人工智能系统设计中预测的重要性

人工智能系统设计中预测的重要性

在当今时代，理解由人工智能（AI）技术驱动的机器行为变得至关重要，这不仅有助于将这些系统导向有益的目标，还能避免对个人和社会造成负面影响。许多AI系统被设计成“黑盒”，其内部逻辑对用户隐藏。近年来，人们开始重视解释黑盒模型的方法，透明技术的可用性对于增强用户对自动化决策的信任至关重要。此外，一个名为“机器行为”的跨学科研究领域应运而生，旨在科学研究智能机器的行为。

预测AI系统行为的挑战

在分析AI系统行为和解释黑盒模型的框架下，我们聚焦于预测，特别是人类设计师在预测正在开发的系统行为时面临的挑战。这其中有两个关键因素需要考虑：
- 内在的不可预测性 ：AI技术及其与环境的交互极其复杂，即使是设计师也难以完全理解和预测其行为。与普通复杂计算机程序不同，AI系统的不可预测性是内在的，因为它们不仅更复杂，而且运行环境大多未知。这种不可预测性在设计阶段就已显现，并非使用阶段才出现的问题。
- 对设计过程的影响 ：我们的关注点并非像当前大多数讨论那样，聚焦于结果和输出对最终用户的透明度，而是设计师以及缺乏可预测性对构建AI系统的有效和高效流程的影响。预测AI系统行为的问题与解释系统工作原理相关，但并不相同，了解系统如何工作并不意味着能预测其在未知环境中的行为。

在AI系统的发展过程中，从经典的基于模型的自上而下方法向数据驱动的自下而上方法的转变，对系统的设计和实现方式产生了重大影响。数据驱动的自下而上方法中，设计师对用于计算解决方案的模型控制有限，难以理解模型各部分的含义，也难以预测系统在不同情况下的行为。

以自主机器人为例