43、人工智能安全完整性等级（AI - SIL）：评估与应用

人工智能安全完整性等级（AI - SIL）：评估与应用

1. 引言

人工智能（AI）和机器学习（ML）技术在众多应用中广泛使用，尤其在任务复杂到传统软件难以合理实现，但又能在可管理规模内进行学习的场景中表现出色。许多系统将 AI 与传统方法结合，由 AI 执行任务并将结果提供给传统软件或硬件进行后续处理，这类系统被称为基于 AI 的系统。

安全关键系统是指系统失效可能导致人员伤亡、设备财产损坏或环境破坏的系统。针对这些系统，不同行业有各自的安全标准，如汽车行业的 ISO 26262、航空业的 DO - 178C 等，这些标准采用“严谨程度等级”（Level of Rigour，LoR）方法进行风险管理，风险等级越高，所需的工程活动越严格。

然而，基于 AI 的系统在应用这些标准时存在局限性。现有风险评估方法对基于 AI 的系统校准不佳，有时无法区分不同风险水平的系统。同时，缺乏将 AI 保证知识与现有 LoR 方法相集成的框架。为解决这些问题，提出了人工智能安全完整性等级（AI - SIL）的概念。

2. 严谨程度等级方法背景

2.1 风险评估

风险评估的前提是识别危险事件。识别后，通常结合多种因素（如严重性和可能性）来确定风险度量或风险等级。评估方法可定量或定性进行，选择取决于系统、数据可用性和适用标准。一般来说，风险评估方法基于纯功能或“黑盒”视图，不考虑系统的设计或实现细节。

不同功能安全标准使用风险评估结果的方式不同。例如，IEC 61508 认为应使用额外的安全相关系统（如安全监控器）将“普通系统”的风险降低到可容忍水平，风险降低的幅度决定安全完整性等级（SIL）；ISO 26262