54、高风险人工智能系统的要求解析

高风险人工智能系统的要求解析

1. 生物识别中的人工监督

对于用于自然人“实时”和“事后”生物识别的高风险人工智能系统，所选的人工监督措施应确保系统受到程序约束。除非经过至少两个自然人分别验证和确认，否则指定用户不得基于该系统的识别结果采取任何行动或做出决策。不过，在实际应用中，这一要求可能存在一定难度。

2. 准确性、鲁棒性和网络安全的重要性

从多个方面的指导原则来看，人工智能系统及其运行环境必须具备鲁棒性、安全性和可靠性。技术鲁棒性与预防伤害原则紧密相关，是实现可信人工智能的关键要素。它涵盖了准确性、抗攻击能力、安全性、后备计划、一般安全性、可靠性和可重复性等方面。

以下是对这些方面的详细阐述：
- 准确性 ：人工智能系统应能够做出正确判断，例如将信息正确分类到适当类别，或基于数据或模型做出正确预测、推荐或决策。在人工智能系统直接影响人类生活的情况下，其决策的准确性尤为重要。
- 抗攻击能力和安全性 ：人工智能系统应具备抵御攻击的能力，防止数据被操纵（如数据投毒）、模型被利用（如模型规避、模型反转）等情况。同时，要建立评估安全风险的流程，以应对可能的恶意使用。
- 后备计划 ：当出现问题时，人工智能系统应具备后备计划，确保系统能够按照预期运行，避免对人类和环境造成伤害。
- 可靠性和可重复性 ：可靠的人工智能系统应在各种输入和情况下正常工作，并且实验结果应具有可重复性，以便科学家和政策制定者准确描述系统的行为。

3. 不同组织和文件的观点 <