10、机器学习系统安全与软件漏洞预测：原理、挑战与应对策略

机器学习系统安全与软件漏洞预测：原理、挑战与应对策略

1. 机器学习系统的安全威胁

机器学习系统在当今的技术领域中扮演着至关重要的角色，然而，它们也面临着诸多安全威胁，主要包括中毒攻击和逃避攻击。

1.1 逃避攻击示例

以MNIST数据集为例，展示了两种逃避攻击的情况。在攻击前，原始图像被正确分类为数字8，但经过攻击后，图像标签变为6。具体如下：
- ℓ2范数逃避攻击 ：将扰动的ℓ2范数限制为1.5，攻击后数字被分类为6。
- ℓ∞范数逃避攻击 ：将ℓ∞范数限制为0.3，攻击后数字同样被分类为6。

这两种攻击中添加的扰动（放大2倍）也有所不同，不过攻击后的数字图像本质上仍是8，只是添加了少量背景（对抗性）噪声。

1.2 逃避攻击的可转移性

逃避攻击具有可转移性，即攻击者可以在替代模型上实施逃避攻击，并将攻击点成功转移到受害者模型，即使对受害者算法的了解有限。这种可转移性使得攻击者能够实现成功的黑盒攻击，同时减少查询次数，增加攻击的隐蔽性。

例如，对于二元分类问题，使用同一数据集训练两个非线性机器学习分类器，它们可能会产生相似的决策边界。灰色阴影区域表示攻击点会使两个学习算法都产生错误的区域，而黄色阴影区域表示攻击点仅对其中一个分类器有效的区域。大多数情况下，为一个分类器生成的攻击点对另一个分类器也有效。

2. 应对逃避攻击的防御技术

研究界主要研究了两类针对逃避攻击的防御技术，但这些技术在攻击者针对特定防御时效果不佳。