41、安全机器学习与异常检测技术洞察

安全机器学习与异常检测技术洞察

1. 安全机器学习部署的风险方法

在机器学习（ML）的部署过程中，安全是至关重要的。为了实现安全的 ML 部署标准化，提出了一种基于风险的方法。该方法包含了一些实用原则，如相称性、简约性和连续性等。当组织谨慎使用其 ML 资产时，能够在整个生态系统中传播积极的环境、社会和治理（ESG）效应。这一举措促使创新者开发安全的 ML 系统，形成一个良性循环。

同时，还提出了 ESG 模型卡片，用于公平地报告模型在 ML 生命周期中的影响和补救措施。从业者可以根据具体用例，充分利用基于风险的方法和 ESG 模型卡片。未来，可能会聚焦于设计 ESG MLOps 工具，通过在组织的整个模型组合中应用最佳实践来扩展 ESG 原则。不过，这样的系统无疑需要在积极的人工监督下平衡相互竞争的目标。

2. 异常检测在机器学习安全中的重要性

机器学习模型通常仅对与训练数据相似的输入做出可靠预测。因此，异常检测对于确保在开放环境中运行的机器学习代理的安全性至关重要。它能够识别与训练数据差异较大的异常输入，使机器学习系统更加可靠。

3. 传统异常检测方法的局限性

当前基于深度神经网络（DNN）的异常检测方法虽然在高维输入上表现出色，但仍存在一些缺点：
- 抽象推理能力不足 ：构建一些异常检测问题时，当前模型难以解决。例如，在 SuMNIST 基准数据集上，即使配备大型预训练的 Vision Transformer，最先进的异常检测方法也无法完成任务。而人类在引入“数字之和应为 20”这一约束后，就能轻松解决该问题。这表明当前 DNN 架构缺乏解决语义层面异常问题所