【论文笔记】Edge-aware Regional Message Passing Controller for Image Forgery Localization（CVPR2023）

发布于CVPR2023
用于图像伪造定位的边缘感知区域消息传递控制器

Abstract

数字图像真实性促进了图像伪造定位的研究。尽管基于深度学习的方法取得了显著的进步，但大多数方法在伪造区域和真实区域之间通常都存在严重的特征耦合问题。在这项工作中，提出了一种两步边缘感知区域消息传递控制策略来解决上述问题。

第一步是考虑充分利用边缘信息。它由两个核心设计组成：上下文增强图构造和阈值自适应可微二值化边缘算法。前者整合全局语义信息来区分伪造区域和真实区域之间的特征，而后者则基于前者的输出来提供可学习的边缘。

第二步，在可学习边缘的指导下，设计区域消息传递控制器来削弱伪造区域和真实区域之间的消息传递。通过这种方式，我们的 EMPC 能够对伪造区域和真实区域之间的不一致进行显式建模，并使其能够在精炼的伪造图像上表现良好。在几个具有挑战性的基准上的大量实验表明，本文的方法在定性和定量上都优于最先进的图像伪造定位方法。

Introduction

图像伪造检测的关键是对伪造区域与真实区域之间的不一致性进行建模，并对可疑图像上的伪造区域进行定位，即图像伪造定位（IFL）。GAN、VAE、homogeneous manipulation等后处理技术的广泛应用，图像很容易以视觉难以察觉的方式被篡改。这些技术不断地将伪造区域和真实区域的特征结合起来，给图像伪造定位带来了挑战。因此，为了准确定位图像伪造区域，对伪造区域和真实区域之间的特征进行解耦就显得尤为重要。

ManTra-Net将伪造定位问题视为局部异常检测问题，并提出了一种新的长短期记忆解决方案来评估局部异常。为了区分不同的区域，SPAN利用cnn从噪声映射中提取异常的局部噪声特征。MVSS-Net利用多尺度监督网络学习多视图特征，联合利用噪声视图和边界伪影。

然而，这些方法并没有对伪造区域和真实区域的特征进行解耦，使得精细伪造图像的篡改区域难以准确定位。如图1所示，在之前的方法中，伪造区域的特征与真实区域的一些特征耦合，导致定位错误。

在本工作中，提出了一种新的方法来避免两个区域(伪造和真实)的特征耦合的图像伪造定位。该方法的关键之一是构造一个动态图，其中伪造区域和真实区域之间的边参与了动态图的构造。我们通过重构边缘内外节点的邻接矩阵来控制边缘内外区域(即伪造区域和真实区域)的消息传递，从而实现伪造区域和真实区域之间特征的有效解纠缠。基于边缘感知的动态图卷积的功能，将其命名为区域消息传递控制器(RMPC)。

为了将该方法用于图像伪造定位，需要获取伪造区域和真实区域之间的边缘信息，这是该方法的另一个关键。为此，开发了一种边缘重建(ER)模块，包括上下文增强图(CEG)和阈值自适应可微二值化模块。在CEG中，我们专门设计了一个邻接矩阵学习器，它将全局信息沿着节点编码，从而组装出全局语义信息。受Sigmoid函数的启发，我们开发了阈值自适应可微二值化边缘算法，该算法基于CEG的输出来提供可学习的边缘。

总之，在本研究中，我们提出了一种新的两步框架——边缘感知区域消息传递控制器(ERMPC)，用于图像伪造定位，包括RMPC和ER。ERMPC可以有效地控制伪造区域和真实区域之间的消息传递，实现两个区域的有效解纠缠，从而提高图像伪造定位的性能。我们以边缘信息为主要任务，并以此为基础对两个区域之间的不一致性进行显式建模。据我们所知，这项工作是明确削弱伪造区域和真实区域之间传递信息的第一次尝试。

Main contribution

• 提出了一种新的由粗到细两步的图像伪造定位框架ERMPC，该框架明确地建模了带有边缘信息的伪造区域和真实区域之间的不一致性。
• 提出了一种边缘感知动态图，也称为RMPC，用来控制特征映射中两个区域(伪造和真实)之间的消息传递。