25、深度学习中的对抗样本与语言处理

深度学习中的对抗样本与语言处理

1. 对抗样本概述

在深度学习的应用中，许多公司如苹果、亚马逊、微软和谷歌等提供了各种可控系统（VCSs），像Siri、Alexa和Google Home等。然而，一些深度学习应用在无法给出正确答案时，可能会造成经济损失甚至危及生命。黑客可以利用特定技术——对抗样本，故意欺骗深度神经网络，使其做出错误预测。

对抗样本是经过人工精心修改的数据，作为训练或测试输入由神经网络处理。黑客修改数据，迫使算法在任务中失败。这些修改通常很细微，人类难以察觉，但却能显著降低神经网络的有效性和实用性。恶意使用对抗样本的情况包括：
- 误导自动驾驶汽车引发事故。
- 通过让自动系统将虚假索赔照片误认为真实照片来进行保险欺诈获利。
- 欺骗面部识别系统，识别错误的面孔，从而获取银行账户资金或移动设备上的个人数据。

1.1 像素欺骗

“Intriguing Properties of Neural Networks”一文首次让对抗样本受到关注。近年来，该领域的成功发现促使研究人员开发出比原文更快速、有效的创建对抗样本的方法。目前，对抗样本主要局限于深度学习研究实验室，但不能因其具有学术性质而忽视其潜在危害。

有时候，深度学习图像分类会给出错误答案，原因可能是目标图像本身模糊不清或故意设计得让人困惑。例如，一些互联网梗图，如吉娃娃与松饼（https://imgur.com/QWQiBYU）、拉布拉多贵宾犬与炸鸡（https://imgur.com/5EnWOJU），甚至能让人类观察者一时难以分辨。如果神经网络的架构不适合处理此类图像，或者训练时所见的示例不够全面，就可能会误解这些图像。

<