53、高风险人工智能系统的人类监督：挑战与平衡

高风险人工智能系统的人类监督：挑战与平衡

1. 高风险AI系统的相关要求

高风险AI系统在运行过程中，有一系列重要的要求。例如，需要向用户说明AI系统输出的相关情况，明确高风险AI系统的预期寿命以及确保其正常运行所需的维护和保养措施。委员会提出的人工智能法案中，第13条部分要求高风险AI系统需配备使用说明，其中要明确“在初始合格评定时供应商预先确定的高风险AI系统及其性能的变化”以及“确保该AI系统正常运行所需的任何必要维护和保养措施”。

然而，机器学习模型并非孤立存在，其性能不仅取决于用于理解问题的数据，还与这些数据随时间的变化有关。如果模型按预期运行，它会随着获取更广泛的数据和数据集而改变和发展，以提高准确性。因此，遵守第13条的规定可能会忽略模型性能的动态变化，因为模型性能的快照并不能反映其随时间的整体健康状况。

同时，确定机器学习模型的再训练需求之前，了解其运行情况至关重要。提前提供系统正常运行的维护和保养措施信息，可能是本末倒置的做法。

2. 人类监督的重要性

众多伦理准则和声明都强调了AI系统应尊重人类自主性和决策的重要性。人类与AI系统的交互、学习和再训练能提高AI系统的准确性和性能，系统的演变应带来更准确的预测、推荐和行动。

HLEG的伦理准则指出，AI系统应确保适当的人类参与，即用户必须获得知识和工具，以达到以下目的：
- 能够在令人满意的程度上理解和与AI系统进行交互。
- 能够根据自身目标做出更好、更明智的自主决策。
- 在可行的情况下，能够合理地自我评估或挑战AI系统。

此外，“用户自主性的总体原则必须是系统功能的核心”。这意味着人类应有权不接