机器学习中对抗样本的凹陷流形模型（研究论文解读）

这篇摘要主要介绍了 Adi Shamir、Odelia Melamed 和 Oriole Ben-Schmull 发表的论文 机器学习中的对抗样本。论文提出了一种新的视角来解释深度学习中对抗样本的现象，即 凹陷流形模型。该模型认为，分类器将决策边界放置在数据流形附近，并以一种轻微的方式将其弯曲包围数据。由于数据流形是低维的，因此只需沿着垂直于数据流形（也垂直于决策边界）的方向移动，就可以轻松跨越决策边界。这种轻微的凹陷使得决策边界非常接近，从而导致对抗样本的出现。

文章作者认为，该模型只是对对抗样本存在的一种高层次解释，并没有提出新的攻击或防御方法。作者对该模型持怀疑态度，认为它并没有提供新的见解，反而比现有的模型解释能力更弱。作者还对论文中提出的实验设计提出了质疑，认为其存在明显的“奥卡姆剃刀”失效问题。

最后，作者鼓励读者阅读论文并形成自己的观点，并欢迎读者在评论区分享自己的想法。

#对抗样本 #凹陷流形 #安全对抗样本一直是许多机器学习研究人员感兴趣的话题。微小的扰动如何导致神经网络的输出发生如此大的变化？虽然近年来提出了许多解释，但它们似乎都无法完全解释。本文试图通过提出一个分类景观的观点，即凹陷流形模型，来全面解释对抗样本的存在，该模型认为任何分类器都会调整其决策边界以与低维数据流形对齐，并且只会稍微围绕数据弯曲。这可能解释了对抗样本周围的许多现象。警告：在这个视频中，我不同意。请记住，我不是权威人士，只是表达我自己的观点。
提纲：0:00 - 简介和概述7:30 - 对抗样本的旧思维模式11:25 - 新的凹陷流形假设22:55 - 可伸缩特征模型29:05 - 为什么 DNN 会创建凹陷流形？38:30 - 新模型可以解释什么？1:00:40 - 凹陷流形模型的实验证据1:10:25 - Goodfellow 的说法被驳斥了吗？1:13:00 - 结论和评论论文：https://arxiv.org/abs/2106.10151我的复制代码：https://gist.github.com/yk/de8d987c4eb6a39b6d9c08f0744b1f64Goodfellow 的演讲：https://youtu.be/CIfsB_EYsVI?t=4280摘要：2013 年，几个研究小组独立发现了深度神经网络在面对输入中的微小扰动时极度脆弱，但尽管付出了巨大的努力，这些对抗样本仍然是一个令人费解的现象，没有明确的解释。在本文中，我们介绍了一个新的概念框架（我们称之为凹陷流形模型），它为对抗样本的存在提供了一个简单的解释，为什么它们的扰动具有如此小的范数，为什么这些扰动看起来像随机噪声，以及为什么一个对抗性地训练了错误标记图像的网络仍然可以正确地分类测试图像。在本文的最后部分，我们描述了许多实验的结果，这些实验强烈支持这个新模型，特别是我们断言，对抗性扰动大致垂直于包含所有训练示例的低维流形。