12、边缘人工智能系统的安全威胁与应对策略

边缘人工智能系统的安全威胁与应对策略

1. 边缘人工智能系统面临的挑战

边缘计算设备在认证协议方面存在限制，并且边缘网络的异构性使得难以制定统一的安全策略。此外，边缘计算环境中使用的微服务器缺乏商用服务器所具备的硬件保护机制。

边缘人工智能系统面临的威胁可分为两类：用于推理的边缘人工智能所面临的威胁，以及用于学习/训练（如联邦学习）的边缘人工智能所面临的威胁。

2. 用于推理的边缘人工智能面临的威胁

2.1 逃避攻击

目前，绝大多数边缘人工智能部署是基于预训练模型进行推理的。在这种独立环境中，边缘设备独立使用预训练模型，最可能的攻击是向模型输入对抗样本，导致模型输出错误预测，这种攻击被称为逃避攻击。

逃避攻击有多种类型：
- 基于梯度的攻击 ：需要访问模型梯度，属于白盒攻击。攻击者可利用模型梯度深入了解模型工作原理，并进行数学优化攻击。例如基于L1范数的Elastic - Net攻击、基于L2范数的攻击和基于L∞范数的攻击。
- 基于置信度分数的攻击 ：利用输出置信度分数估计模型梯度，属于黑盒攻击。如基于零阶优化的攻击、基于自然进化策略（NES）的攻击和基于同时扰动随机逼近（SPSA）的攻击。
- 基于标签的攻击 ：通过模型生成的硬标签估计梯度，通常易于实现，需要较少的超参数调整。边界攻击是此类中最强大的攻击，它从大的对抗扰动开始，逐步减少扰动同时保持对抗性。
- 基于替代模型的攻击 ：首先尝试构建目标模型的副本，若目标模型内部结构未知，攻击者可通过反复查询目标模型并观察输入 - 输出对来逆向工程模型结构。之后在替代模型上微调基于梯度的攻击，再应用于实际模型。
- 暴力攻击 ：通过对数据样本进行变换、扰动和添加噪声来生成对抗样本，不依赖数学优化，无需了解模型。通常由拥有大量计算资源且无攻击成功时间限制的攻击者使用。

攻击类型	特点	举例
基于梯度的攻击	需要访问模型梯度，白盒攻击	Elastic - Net攻击、L2范数攻击、L∞范数攻击
基于置信度分数的攻击	利用置信度分数估计梯度，黑盒攻击	零阶优化攻击、NES攻击、SPSA攻击
基于标签的攻击	利用硬标签估计梯度，易实现	边界攻击
基于替代模型的攻击	构建替代模型，微调攻击	-
暴力攻击	不依赖数学优化，无需了解模型	-

2.2 隐私攻击

除了逃避攻击，还有一类隐私攻击，旨在从模型使用的数据中窃取有价值的信息。隐私攻击主要分为两类：
- 成员推理攻击 ：攻击者有一个或多个数据点，试图确定这些数据点是否是训练集的一部分。例如，攻击者想知道某人是否在某个州的重大疾病名单中。此类攻击越来越多地针对推荐系统，影响成员推理攻击效力的因素包括类别的数量和训练算法的选择。
- 模型反转攻击 ：通过提取目标模型训练的每个类别的平均表示来工作。例如，在面部识别模型中，攻击者可通过选择基础图像并反复修改查询模型，最终得到与目标人物面部相当接近的图像。在其他情况下，还可从基于私有数据训练的文本生成器中提取信用卡详细信息和社会安全号码。

3. 用于训练的边缘人工智能面临的威胁

3.1 联邦学习算法的收敛问题

联邦学习算法的收敛保证尚未在理论上得到确立，仅可能保证近似收敛，且需要一些不切实际的假设，如训练数据在设备间独立同分布（IID）共享，且所有参与设备在每一轮都参与更新通信。

3.2 模型和数据中毒攻击

在联邦学习场景中，攻击者可控制一个或多个参与设备，注入虚假和任意更新来操纵训练过程，即模型中毒或逻辑损坏。恶意入侵者还可能破坏训练数据，即数据中毒，表现为操纵训练数据的标签或修改输入本身。

中毒攻击可根据攻击目标的特征分类：
- 针对系统可用性的攻击 ：向训练集注入大量虚假数据，使模型学习的分类边界变得无用。例如，3%的数据集中毒可导致准确率下降超过10%，类似于传统的拒绝服务攻击。
- 针对系统完整性的攻击 ：更复杂，使分类器正常运行，但在模型中嵌入一个或多个后门输入，导致分类器输出错误预测，损害模型的完整性。例如，攻击者可让模型将包含特定字符串的输入分类为良性。

3.3 联邦学习的扩展问题

联邦学习概念虽有吸引力，但在扩展到涉及大量设备时，会出现一些实际问题，如设备存储有限、连接不可靠和执行中断。此外，尚不清楚参与设备数量的显著增加是否会转化为更好的准确性和/或更快的模型收敛。

4. 边缘人工智能系统的另一种威胁视角

边缘人工智能系统通常由网络、服务和设备三个主要组件组成，不同组件面临不同威胁：
- 网络 ：一般是无线网络，易受拒绝服务（DoS）和中间人攻击，也容易受到恶意节点或网关的干扰。
- 服务 ：运行在节点上的服务可能被渗透，导致隐私泄露、权限提升和服务操纵。
- 设备 ：边缘设备本身可能遭受物理损坏和数据中毒。

下面是边缘人工智能系统组件与威胁的关系图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(边缘人工智能系统):::process --> B(网络):::process
    A --> C(服务):::process
    A --> D(设备):::process
    B --> E(DoS攻击):::process
    B --> F(中间人攻击):::process
    B --> G(恶意节点干扰):::process
    C --> H(隐私泄露):::process
    C --> I(权限提升):::process
    C --> J(服务操纵):::process
    D --> K(物理损坏):::process
    D --> L(数据中毒):::process

5. 应对边缘人工智能系统威胁的策略

5.1 应对数据中毒的防御措施

• 异常检测 ：数据中毒攻击中，攻击者会向训练池注入恶意样本，这些样本通常是“异常值”。异常检测（也称为异常检测或数据清理）旨在在训练过程之前识别并消除这些异常值。但如果中毒样本在过滤规则创建之前就被引入训练数据集，或者攻击者能够生成与原始样本非常相似的中毒样本，这种防御方法就会失效。
• 微模型方法 ：这是异常检测方法的一种变体，最初用于网络入侵检测数据集。通过在训练集的非重叠切片上训练分类器生成多个微模型，然后使用多数投票方案确定哪些训练切片被中毒破坏。其原理是网络攻击通常持续时间较短，只会影响少数训练切片。
• 分析新样本对模型准确性的影响 ：在将新样本实际纳入训练集之前，分析其对模型准确性的影响。如果使用受污染的数据样本作为测试样本，模型的准确性会下降。拒绝负面影响（RONI）和目标感知RONI（tRONI）就是使用这种方法的防御手段。RONI在对抗电子邮件垃圾邮件过滤器的字典攻击方面非常成功，但无法缓解有针对性的攻击，而tRONI则能够识别显著扭曲目标分类的实例。
• 扰动方法 ：STRong Intentional Perturbation（STRIP）故意对传入的数据样本进行扰动，例如在样本图像上叠加不同的图案，并观察扰动输入的预测类别的随机性。如果模型预测类别的熵较低，说明存在受污染的输入。
• TRIM方法 ：用于回归学习，通过迭代估计参数，并使用修剪损失函数去除导致大残差的样本，能够隔离大部分中毒点并学习到稳健的回归模型。
• 人工干预 ：即使自动化异常检测取得了显著进展，人类因素在识别恶意数据样本方面的作用也不能完全消除。人在回路方法通过让人类数据分析师关注导致分类器模型边界意外移动的异常值来工作。

防御措施	原理	局限性
异常检测	识别并消除训练数据中的异常值	中毒样本提前引入或与原始样本相似时失效
微模型方法	基于多数投票确定中毒的训练切片	-
分析新样本影响	观察新样本对模型准确性的影响	RONI无法缓解针对性攻击
扰动方法	观察扰动输入的预测类别随机性	-
TRIM方法	迭代估计参数并去除大残差样本	-
人工干预	人类关注导致边界意外移动的异常值	-

5.2 对抗逃避攻击的防御方法

• 形式化方法 ：通过在允许的扰动范围内测试模型对所有可能的对抗样本的响应来工作。这种方法能创建几乎无法穿透的模型，但由于其对计算资源的高要求，不适用于当今大多数机器学习应用。
• 经验防御方法 ：
  • 对抗训练 ：将对抗样本及其正确标签纳入训练集对模型进行重新训练，使模型学会忽略噪声并关注更明显的特征。例如，集成对抗训练（EAT）通过用从其他模型转移的扰动增强训练数据，使模型更健壮；级联对抗训练将一个模型的对抗训练结果知识转移到其他模型，增强模型的鲁棒性；还有基于鲁棒优化的方法用于识别神经网络通用可靠的训练方法。
  • 输入修改 ：在将输入样本输入模型之前，通过清理系统去除可能存在的对抗噪声。例如，使用自动编码器和高级表示去噪器等去噪方法、JPEG压缩、像素偏转和一般基函数变换等。
  • NULL类方法 ：训练分类器对其认为是对抗性的输入输出NULL类。

下面是对抗逃避攻击防御方法的流程图：

graph LR
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A(逃避攻击防御):::process --> B(形式化方法):::process
    A --> C(经验防御方法):::process
    C --> D(对抗训练):::process
    C --> E(输入修改):::process
    C --> F(NULL类方法):::process
    D --> G(EAT):::process
    D --> H(级联对抗训练):::process
    D --> I(鲁棒优化方法):::process
    E --> J(去噪方法):::process
    E --> K(JPEG压缩):::process
    E --> L(像素偏转):::process
    E --> M(基函数变换):::process

5.3 强化联邦学习系统

由于联邦学习系统的训练、聚合和模型更新过程分布在客户端、服务器和网络上，这三个部分都需要针对潜在的攻击者进行强化。
- 客户端强化 ：确保客户端设备的安全性，防止被攻击者控制。可以通过加强设备的访问控制、加密数据存储等方式实现。
- 服务器强化 ：对服务器进行严格的安全配置，防止数据泄露和恶意攻击。例如，采用安全的认证机制、定期进行漏洞扫描等。
- 网络强化 ：保护网络通信的安全，防止中间人攻击和数据篡改。可以使用加密通信协议、防火墙等技术手段。

总之，边缘人工智能系统面临着多种安全威胁，包括逃避攻击、隐私攻击、数据中毒等。为了应对这些威胁，需要综合使用多种防御策略，如异常检测、对抗训练、输入修改等。同时，在联邦学习系统中，需要对客户端、服务器和网络进行全面的强化，以确保系统的安全性和可靠性。在实际应用中，应根据具体的场景和需求，选择合适的防御措施，并不断优化和改进，以应对不断变化的安全挑战。