88、深度学习与机器学习的前沿探索

深度学习与机器学习的前沿探索

1. 深度学习中的对抗攻击与可视化

1.1 对抗攻击

在深度学习领域，对抗攻击是一个重要的研究方向。以标准训练的 Resnet18 网络为例，使用 CIFAR10 和 ImageNet 数据集进行实验，通过不同的攻击方法生成对抗样本。
- FGSM 攻击 ：在 CIFAR10 数据集上，通过 FGSM 攻击（$\epsilon = 4/255$）得到对抗图像，对比原始样本和对抗样本的分类结果，能观察到网络在对抗样本下的性能变化。
- PGD 攻击 ：在 ImageNet 数据集上，采用 PGD 攻击（$\epsilon = 1/255$，20 次迭代）生成对抗图像，同样对比分类结果。
- 像素攻击 ：最初提出的像素攻击通过差分进化（DE）仅扰动一个像素。其目标是解决稀疏优化问题：
- 目标函数：$\max_{\eta} P_{adv}(x + \eta)$
- 约束条件：$|\eta| 0 \leq d$
其中，$x$ 表示输入图像向量，$\eta$ 是具有 $d$ 个非零元素的向量，$P {adv}$ 是对抗类别的概率。实验表明，在 CIFAR10 和 ImageNet 数据集上，仅需 $d = 3$ 个像素的扰动就足以使 Resnet18 网络误分类。最大迭代次数设为 100，当目标类别的概率超过 90% 或在无目标攻击中真实类别的标签概率低于 5% 时，触发提前停止准则。

1.2 CNN 可视化

理解深度学习方法的内部工作机