25、深度学习中的对抗样本与自然语言处理技术

深度学习中的对抗样本与自然语言处理技术

1. 深度学习中的对抗样本

1.1 对抗样本介绍

在深度学习领域，像苹果、亚马逊、微软和谷歌等公司提供的可控系统（VCSs）在众多应用中广泛使用，如Siri、Alexa和Google Home。然而，一些深度学习应用在无法给出正确答案时，可能会造成经济损失，甚至危及生命。黑客可以利用一种名为对抗样本的特殊技术，故意欺骗深度神经网络，使其预测失败。

对抗样本是经过手工制作的数据，作为训练或测试输入由神经网络进行处理。黑客会修改数据，迫使算法在任务中失败。这些修改通常很细微，对人类来说几乎难以察觉，但却能显著降低神经网络的有效性和实用性。以下是一些对抗样本的恶意用途：
- 误导自动驾驶汽车引发事故。
- 通过让自动系统将虚假理赔照片误认为真实照片来骗取保险金。
- 欺骗面部识别系统，识别错误的面部，从而获取银行账户资金或移动设备上的个人数据。

1.2 图像分类错误与对抗样本原理

有时候，深度学习图像分类无法给出正确答案，原因可能是目标图像本身具有歧义性，或者其呈现方式会让观察者感到困惑。例如，一些互联网梗图，如吉娃娃与松饼（https://imgur.com/QWQiBYU）、拉布拉多贵宾犬与炸鸡（https://imgur.com/5EnWOJU），甚至能让人类检查者一时感到困惑。如果神经网络的架构不足以完成任务，且训练时所见的示例不够全面，就可能误解这些令人困惑的图像。

研究表明，简单的歧义性就能欺骗在大规模图像数据集上训练的先进图像分类器和目标检测器。通常，神经网络从以标准姿势拍摄的图片中学习物体（即在常见和通常的情况下）。当遇到处于不寻常姿