【论文阅读】Anti-Adversarially Manipulated Attributions for WSSS

一篇CVPR2021上的论文，用于弱监督分割及半监督分割

论文标题：

Anti-Adversarially Manipulated Attributions for Weakly and Semi-Supervised Semantic Segmentation（AdvCAM）

作者信息：

代码地址：

https://github.com/jbeomlee93/AdvCAM

论文链接：

https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9578556

Abstract

作者提出了一种叫CAM的生成方法叫AdvCAM。它采用了和adversarial attack相反的方式，使得的图像的更多的非discriminative的区域，也参与到图像的分类中，进而产生更完整的CAM。此外作者还设计了新的regularization 方法来抑制与目标对象无关的区域（产生CAM），并限制已经得分较高的区域（产生CAM）。

Introduction

（现有方法及其优缺点）弱监督学习具有较少的标注成本。现有的大多数方法，都依赖于从训练过的分类器中获得map（CAM）。这类map中包含了分类器所注意到的区域，但是这类区域（discriminative region）太小了，不能代表目标整体大小。

有些方法通过处理一些图像和特征去扩展这个discriminative区域 (作者的方法属于此类)。

另一个思路擦除（erasure），通过删除原本的discriminative区域，迫使分类器找到其他的discriminative区域。擦除是有效的方法，但它需要修改网络，通常通过添加额外的层或者训练方法。

（作者的方法介绍）adversarial attack是通过图像的扰动，将它推过决策边界以改变分类结果。作者方法正好相反，它的目的是找到一个扰动，将被操纵的图像推离决策边界。具体操作叫adversarial climbing，让图像通过增加扰动原理决策边界，获得更好的决策分数，该类相关的非鉴别区域逐渐参与分类，从而使被操纵图像的CAM识别出更多的物体区域。

这种可能导致不相关的区域一起激活，如背景或其他对象的部分区域。作者通过引入正则化来解决这些问题，抑制其他类的分数，并限制已经有高分的discriminative区域的分数。（这里的分数指CAM的激活值）。

作者的方法是一种后处理手段，可以用来提高现有方法的性能，通用性很强。

3. Proposed Method

3.1Preliminaries

（先介绍了一下adversarial attack）adversarial attack就是说，对于一个神经网络$NN$，找个一个扰动$n$，使得下列公式成立：

典型的做法是网络的输出对x求导，然后用x减掉（figure1 a）：

(然后又介绍了一下CAM)即各个通道特征图在权重下的加权和，权重一般由全局平均池化得到：

CAM弥合了图像级和像素级注释之间的桥梁。然而，由CAM获得的区域通常比目标对象的全部范围要小得多，因为较小的鉴别区域为分类提供了足够的信息。

3.2. AdvCAM

3.2.1 Adversarial Climbing

Adversarial Climbing操纵图像以提高图像的分类分数，本质上让更多的目标区域参与分类器识别。和adversarial attack完全相反，计算公式如下：

式子中，$t$是adversarial step index，$y_c$是图像在神经网络输出的$c$类别上的得分。作者定义了一个localization map $A$ 来展示迭代的结果（不知道这个是干啥的）：

3.2.2 How can Adversarial Climbing Improve CAMs?

目标分类的分数和CAM之间是通过全局平均池化之间联系的，即：

作者提出的adversarial climbing具体是如何改善CAM的，作者从这两个角度给出了分析：

**（1）Can non-discriminative features be enhanced?😗*作者首先解答了该方法是否能更好的提升non-discriminative区域的CAM值。先给出了判断是discriminative区域还是non-discriminative区域的定义，根据最开始（迭代次数为0的）CAM值进行定义，discriminative region:
non-discriminative region:

定义了反映region变化的比率（和最开始做对比）：

通过实验（figure2）可以看到无论是discriminative区域还是non-discriminative区域，他们的$s_j^i$都是在变大，其中non-discriminative区域的增大更快，即会产生更密集的CAM。

（2）Are those enhanced features class-relevant from a
human point of view? 作者还讨论了这种提高的特征是否符合人类的认知。在adversarial attack中，如果这个神经网络的loss landscape是急剧下降的（shapely curved），则更容易attack。反之如果其loss landscape相对平坦（或者让它变平坦），神经网络就会获得很高的鲁棒性。而在这个意义上的鲁棒性，被相关文献证明和人类的特征感知是一致的。
作者认为受Adversarial Climbing 的模型对 curvature of loss的很小，并对训练过的分类器的loss landscape进行了可视化，并验证了上述结论。

3.3. Regularization

经过Adversarial Climbing会导致一些错误类别的激活，或者已经是discriminative 的区域的CAM的得分会更高（这并不是作者希望的），作者在两个方面使用正则化方法进行抑制。
**（1）Suppressing Other Classes：**有些经常伴生存在的物体会相互增加分类的logit值，易导致错误分类，作者加了正则化，以减少除c之外的所有类的logit值。
**（2）Restricting High Attributions:**作者发现原本discriminative 的区域的得分继续增高会带来一些问题，它会抑制其他区域参与神经网络的分类决策，也会降低其他区域的标准化得分。作者通过引入一个迭代第t-1轮次的mask来实现正则化抑制，具体公式如下：

位于mask位置的得分将被抑制，使M对应区域的CAM值被迫等于$CAM（x^0）$，限制效果见figure 2和 figure 4:

整个的正则化过程可以用如下公式表示：

公式7的后两项为作者添加的正则化项。

3.4. Training Segmentation Networks

对于弱监督学习，作者使用得到的CAM作为伪标签真来训练DeepLab-v2，在ImageNet数据集上进行预训练。对于半监督学习，作者使用CCT 方法，用作者生成的掩模替换原本由IRN生成的。

Experiments