8、可实现的可证明保证：机器学习系统的安全与验证

可实现的可证明保证：机器学习系统的安全与验证

1. 原子命题的选择

在实例级和模型级原子命题之间进行选择时，取决于具体的假设。如果认为感知组件的故障与其他组件的故障没有关联，那么模型级原子命题就足够了。相反，如果预计故障之间存在关联，并且希望验证过程能充分考虑这些关联，那么实例级原子命题会更合适、更准确。

2. 组件级别的统计保证

为实现对描述某些安全属性的原子命题的统计保证（即 ϵ 和 δ），建议采用受监控的机器学习系统，也就是让机器学习模型与运行时监控器并行运行。
- 运行时监控器的作用 ：运行时监控器会检查神经网络的每个输入，当神经网络可能做出错误决策时发出警告。在很多对抗攻击存在的情况下，神经网络自身很难达到“可能的完美”，但在运行时监控器的支持下，神经网络的安全性有可能得到保障。
- 运行时监控器的设计 ：核心思想是将抽象的经验进行符号化，作为未来行为的参考。具体过程如下：
1. 记录神经网络每次决策时观察到的数据或其学习到的高级特征。
2. 根据数据点的相似性进行聚类，每个聚类用一个盒子进行抽象表示。每个盒子 b 可以用元组 (l, r, c, m, y, i) 描述，其中 l 是盒子的位置，r 是盒子的半径向量，c 是盒子所属的聚类，m 是盒子包含的数据样本数量，y 是盒子的预测类别标签，i 是与抽象样本相关的预测正确性指标。
3. 推导出这些抽象后，进行有效符号化，并定义操作符号来建立运行时监控器。
4. 当有新的数据点和决策出现时，将网络针对给定输入的行为与参考抽象进行比较。通常有两种类型的盒子：正盒子和负盒子，分别代表抽象