48、神经网络中的对抗样本与序列处理

神经网络中的对抗样本与序列处理

1. 对抗样本概述

在图像分类等机器学习任务中，对抗样本是一个备受关注的现象。有些图像看似是随机噪声，却能让卷积神经网络（CNN）自信地预测出特定类别；还有一些合成图像，也能使CNN做出特定类别的预测。在解决相关问题时，实现细节至关重要，如使用的步数、步长以及损失函数的确切形式等。为避免陷入局部极小值，可采用随机重启的方法，即在约束空间∆中选择随机点来初始化优化过程。算法需要针对具体问题进行仔细调整，并监控损失以检查优化问题。

1.1 黑盒（无梯度）攻击

当攻击者不知道预测模型$f$的参数$\theta$时，就需要进行黑盒攻击。此时，需使用无导数优化方法。进化算法（EA）是一类无导数优化求解器，在一些研究中被用于创建黑盒攻击。通过对随机噪声图像应用EA，可生成看似像随机噪声的“愚弄图像”，这些图像并非视觉上真实的图像。还有研究通过对组合模式生成网络（CPPN）的参数应用EA来生成愚弄图像。CPPN由一组基本函数（如线性、正弦、Sigmoid和高斯函数）组成，可用于指定从每个坐标到所需颜色值的映射。

以下是一些具体的黑盒攻击方法：
- 修改单个像素攻击 ：有研究使用差分进化方法，通过修改单个像素来攻击图像，这相当于对扰动的$\ell_0$范数进行约束，即$||x_{adv} - x||_0 = 1$。
- 学习可微替代模型 ：通过查询黑盒模型对不同输入$x$的预测$y$，学习其可微替代模型。然后使用基于梯度的方法在替代模型上生成对抗攻击，并证明这些攻击可以转移到真实模型上，从而实现对各种云服务提供商的图像分类API的攻击。