【论文笔记】Image Tampering Localization Using a Dense Fully Convolutional Network

发布于IEEE Transactions on Information Forensics and Security
原文链接：https://ieeexplore.ieee.org/document/9393396

摘要

● 由于Photoshop在实际应用中被广泛用于图像篡改，本文试图通过对Photoshop中常用编辑工具和操作的检测来解决篡改定位问题。
● 为了很好地捕获篡改痕迹，设计了一种全卷积编码器-解码器架构，该架构采用密集连接和膨胀卷积实现更好的定位性能。
● 为了在图像篡改不足的情况下有效地训练模型，我们设计了一种训练数据生成策略，利用Photoshop脚本技术模拟人类操作，生成大规模的训练样本。

介绍

挑战

暴露篡改图像区域在实践中仍然具有挑战性。原因是：
图像篡改的复杂性

1. 图像篡改是通过对图像区域的操作来实现的，包括Splicing, Copy-move, Removal等。
2. 伪造者会通过一些后期处理(如调整大小、旋转、对比度/亮度调整、去噪)来调整篡改区域，以隐藏视觉上可察觉的篡改痕迹。后处理操作在图像编辑软件中很方便，尤其是使用最广泛的Photoshop。
3. 在Photoshop中，可以利用各种编辑工具和操作对图像进行篡改，从而得到视觉上可信的图像，但篡改痕迹复杂而微妙。因此，很难提取或学习篡改和原始区域之间可识别的特征。

缺乏训练样本
在没有足够训练数据的情况下，很难得到可靠的篡改定位模型。

主要贡献

1. 由于Photoshop被广泛用于图像篡改，检测Photoshop操作和工具留下的痕迹可以直接获得篡改图像区域的定位。
2. 提出了一种用于图像篡改定位的编码器-解码器架构，其中包括密集连接和膨胀卷积。
3. 引入了一种有效的策略来生成大规模的篡改图像用于训练。该策略使用Photoshop脚本来模拟实际的篡改过程。

背景和相关工作

Photoshop中常用的篡改操作和工具如下表，

方法的提出

方法概况

由于在实践中使用了Photoshop中的各种工具和操作，因此对篡改痕迹进行建模很困难。一些先前的工作试图逐块学习篡改痕迹的特征；因此，块大小严重影响篡改定位性能。此外，由于块的数量巨大，因此很难对高分辨率图像进行实时检测。最近的一些工作通过使用全卷积网络缓解了这些问题，该网络可以直接产生像素级定位结果。然而，在这些工作中，编码器部分中的最后输出特征图通常具有非常低的分辨率（输入图像的1/16或1/32），导致一些详细篡改痕迹的丢失，从而恶化了解码器部分中输出的最终定位结果。为了克服现有的缺点，我们在所提出的编码器-解码器架构中特别包括密集连接和膨胀卷积。通过这种方式，网络能够捕获图像中更细微的篡改痕迹，并获得用于进行预测的更精细的特征图。

我们使用Photoshop脚本程序来利用这些操作和工具创建篡改的图像，模仿实际的篡改过程。通过这种方式，我们可以通过编程生成大量篡改图像，并使用生成的篡改图像训练我