Interpreting Adversarially Trained Convolutional Neural Networks

个人总结：

其实说白了就是：

AT-CNNs are more biased towards global structures, such as shapes and edges。

AT-CNN对图像的整体结构，比如形状，边缘更加敏感，可以更好的捕捉到这些信息。

AT-CNNs are less sensitive to the texture distortion and focus more on shape information, while the normally trained CNNs the other way around.

AT-CNN对图像的纹理特征不敏感，而标准训练的模型则与之相反。

不是很明白其中的一步操作：在第五页，4.2节，为了展现两个网络的泛化性能，下面几句话：

For all experimental results below, besides the top-1 accuracy, we also report an “accuracy on correctly classified images”. This accuracy is measured by first selecting the images from the clean test set that is being correctly classified, then measuring the accuracy of transformed images from these correctly classified ones.

首先选中在clean data中被正确分类的图片，然后将其transform（共三种方式）处理，然后再看其被正确分类的概率？

摘要：

作者设计了一个从质量和量化的角度，理解AT-CNNs 的系统方法，并将其与正常的训练的模型进行对比。

惊奇的发现，对抗训练的网络减轻标准神经网络对纹理偏重（texture bias），依靠ImageNet训练的标准CNNs，其预测更依赖于局部纹理特征，而不是广域的物体形状特征。还帮助CNNs 学习了一个偏向于形状的表示（shape-biasd representation）。

通过两种方式验证：

一种是看显著性特征图（saliency map），比较clean images 和transformation image 异同。比较可以明显的看出两种不同的模型对不同的特征的敏感度具有很大的区别。
进行了量化验证。作者构建了一个数据集，包含了风格转换后的图像（style-transferred），饱和的图像（saturated），patch shuffle https://mp.youkuaiyun.com/postedit/90574672

本文解释了AT-CNNs鲁棒性好的原因。

介绍：

通过两个方面来验证猜想：

比较AT-CNN与Standard CNN在不同数据下（clean images and transformation images）的saliency map(显著图)，表明二者对应敏感的特征有很大的不同。
构建了一个额外的数据集，只有texture或者shape的信息（即二者取一，控制变量）（就是经过style-transferred version of clean data、饱和图片、patch shuffle）

color saturation：In graphics and imaging, color saturation is used to describe the intensity of color in the images. A saturated image has overly bright colors. Using a graphics editing program you can increase saturation on under-exposed images, or vise ve

色彩的饱和度其实是色彩的纯度，纯度越高，表现越鲜明，纯度较低，表现则较黯淡。

基础：

Adversarial Learning：

根据Goodfellow经典论文，GAN的公式。

Salience map:

show the sensitivity of the output to each pixel of an input image.

主要有两种方法：

perturbation methods、gradient-based method，因为后者通过了sanity check（合理性检验）

这里用了一个SmoothGrad，用来减轻噪声对梯度分析的影响，即将一个被高斯噪声处理后的图片的梯度平均化。因为淡出弄grad method产生的salience map 可视化之后，会highlight some pixels，但是对于人眼来看，就像是随机挑选的，可理解性差。而SmoothGrad可以减轻这个问题。

其中： $x_{i}=x+g_{i}$ ， $g_{i}$ 是服从高斯分布 $N(0,\sigma ^{2})$ 的噪声。

$S_{c}=logp_{c}(x)$ ，其中 $p_{c}$ 是指输入x，被认为是c类的概率。

方法：

值得注意的是：

Note that we conduct normal training or adversarial training on the original training sets, and then evaluate their generalizability over the transformed data. During the training, we never use the transformed datasets.

值得注意的是，无论是正常训练，还是对抗训练，都是在初始训练集上进行，然后在转化后的图片上测试其泛化性能。在训练过程中，作者没有采用转化的训练集（transformed dataset）。

stylizing：作者利用style transfer 去除大部分textures信息，保留图像的总体形状结构。因此，善于捕捉shape的模型，在是团员stylizing数据集上表现更好。主要用来去掉texture信息

saturation：当提高饱和度（saturation）时，会破坏大部分texture信息，不过大部分轮廓结构会被保留下来。主要用来去掉texture信息

patch shuffle：原图像 $k\times k$ 分割， $k\in {2,4,8}$ 随着 $k$ 增大，低精度的图像会损失很多原始图像信息。主要用来去掉shape信息