Adversarial Examples Improve Image Recognition阅读笔记

Adversarial Examples Improve Image Recognition

对抗样本普遍被看作卷积网络的威胁。

Here we present an opposite perspective:

adversarial examples can be used to improve image recognition models if harnessed in the right manner.

对抗样本可以被用于改进图像识别模型如果用正确方式来利用的话。

AdvProp

我们方法的关键是一个对于对抗样本单独的辅助batch norm的使用，因为它们与正常样本具有不同的底层分布。

1 介绍

之前的工作展现了使用对抗样本训练可以增强模型泛化但是限制于某些条件：1.小数据集 mnist 监督学习 2.大数据集 半监督

最近的工作也提出在大数据集如ImageNet使用对抗样本训练，使用监督学习的方式会在干净图像上的表现退化。

总之，这留下了一个开放式的问题关于怎么对抗样本可以被用于有效地帮助视觉模型。

我们观察到所有之前的结合干净图像和对抗样本的方法都没有进行区分，尽管他们来自不同的底层分布。

本文提出AdvProp缩写 Adversarial Propagation，一种新的训练方案，可以用简单但是高效的两个batchnorm方法来弥补分布不匹配。两个batchnorm适当地分离了两个分布。我们展示了这种分布分离是至关重要的，它使我们能够通过对抗样本成功地改进而不是降低模型性能。

据我们所知，我们的工作是第一个展现了在监督学习的设定下在大规模ImageNet数据集上对抗样本是可以改善模型的性能的。

2 相关工作

Adversarial Training 

VAT 、deep co-training 半监督的方法

adversarial robustness和 standard accuracy之间的trade off证明是不可避免的

然和本文从相反的角度出发使用对抗样本提高standard accuracy

Benefits of Learning Adversarial Features

许多工作证实了对抗训练为卷积网络带来了更多的特性：

• 与干净图像相比，对抗性示例使网络表示更符合显著数据特征和人类感知
• 这样训练的模型对高频噪声更具鲁棒性
• 这些对抗学习出的特征表示对纹理失真不太敏感，更关注形状信息。

我们提出的AdvP