【论文笔记】DOA-GAN: Dual-Order Attentive Generative Adversarial Network for Image Copy-move Forgery Detec

DOA-GAN: Dual-Order Attentive Generative Adversarial Network for Image Copy-move Forgery Detection and Localization
发布于CVPR2020
论文链接：https://ieeexplore.ieee.org/document/9157762

摘要

本文提出了一个具有双阶注意力模型的生成对抗网络来检测和定位复制移动伪造。 在生成器中，一阶的注意力模型用于捕捉 copy-move 对象的位置信息；二阶的注意力模型用于探索更多的 patch 一起共同出现的具有判别性的特征信息。这两个注意力图都是从亲和矩阵（又叫相似度矩阵）中提取的，并用于融合位置感知和共现特征，用于网络的最终检测和定位分支。 判别器网络的设计是为了进一步保证更准确的定位结果。 据我们所知，我们是第一个从亲和矩阵出发，提出了一个具有一阶注意力机制的网络体系结构。

引言

图1是使用对象克隆（顶部）和对象删除（底部）进行复制-移动伪造的两个示例。从左到右分别是原始图像、伪造图像和真实图像。我们的目标是自动检测和定位伪造图像中的源（绿色）和目标（红色）区域。其实，将复制移动与经常发生的偶然相似性区分开来非常具有挑战性。

本文提出了一种用于复制移动伪造检测和定位的双阶注意生成对抗网络(DOA-GAN)。 如图2所示，生成器是基于深度卷积神经网络的端到端统一框架。 给定输入图像，我们基于每个像素处的提取的特征矢量来计算亲和矩阵。 我们设计双阶注意模块以产生一阶注意力图A1 ，所述一阶注意力图A1能够探索复制移动感知位置信息，以及二阶注意力图A2以捕获更精确的补丁相互依存性。 最后的特征表示是用这两个注意力映射形成的，然后馈送到检测分支中以输出检测置信度分数和定位分支以产生预测掩码，在所述预测掩码中，源区域和目标/伪造区域被区分。 同时，辨别器被设计来检查预测的掩码是否与GT相同。

直观上，双阶注意模块设计为首先高亮图像中所有相似区域，无论是否被操纵； 然后将非操纵的相似区域与复制移动（源和目标）区域区分开来。 通常，复制移动伪造中的源和目标区域比偶然相似的区域像素更相似，即使在旋转和缩放等变换之后也是如此。

我们的双阶注意模块是基于亲和矩阵计算的，它覆盖了特征的二阶统计量，并对更具鉴别性的表示起着关键作用。 这促使我们利用二阶共现注意图A2进行细粒度的区分，以区分复制-移动伪造与附带的对象和纹理相似性。 另外，我们观察到，非对角线元素中的高值表明补丁之间复制-移动空间关系的高可能性。 这一观察启发我们探索一阶注意力图A1，以关注复制-移动区域感知特征表示。 本文对亲和矩阵进行细化和归一化，取每列的前k个值，并对其进行整形，形成一个具有k个通道的三维张量。 然后将张量输入到简单的卷积中，形成我们最终的一阶注意力图A1，它能够给予源和目标区域更多的注意力。

我们在生成器和判别器之间采用对抗式训练过程来生成更精确的定位掩码。 随着epoch的增加，生成器和判别器都改进了它们的功能，从而使预测掩码迭代地变得与GT一样。 因此，足够多的epoch会导致训练的收敛，我们使用生成器中的学习参数来输出检测置信度分数和指示源和目标/伪造区域的预测定位掩码。

主要贡献

1. 提出了一种用于图像复制-移动伪造检测和定位的双阶注意生成对抗网络。
2. 我们的一阶的注意力模型用于捕捉 copy-move 对象的位置信息；二阶的注意力模型用于探索更多的 patch 一起共同出现的具有判别性的特征信息。 这两种注意力映射为复制-移动检测和定位提供了更有区分度的特征表示。
3. 大量实验有力地证明，所提出的 DOA-GAN 在多个基准数据集上的检测和定位质量方面明显优于最先进的方法。

方法

所提出方法的框架如图 2 所示。

生成器网络