【CVPR 2018】Learning Rich Features for Image Manipulation Detection(图像篡改检测)

今天来给大家分享一篇CVPR2018的论文，检测图像的篡改区域，用更快的R-CNN网络定位图像被篡改的部分，练就PS检测的火眼金睛。让PS痕迹无处可逃。这就将图像鉴伪，图像取证这方面与深度学习技术结合起来啦。针对这篇论文的分享，做了一个PPT，放到优快云的下载专区，有论文的PDF（带部分注解），有PPT可修改。下载链接如下https://download.youkuaiyun.com/download/luolan9611/10681683

在分享论文前，先POU两个链接，说点和图像取证有关的：

1. “谁动了我的图片？” - 图像取证技术

在这篇文章中，介绍了一些常见的图像篡改的方法和检测篡改的技术，很有趣。

2. 深度学习在图像取证中的进展与趋势

这篇文章介绍了5篇深度学习应用于取证领域的工作，涉及到了取证问题中的相机源取证，中值滤波取证，重获取图像取证以及反反取证，还列有很多参考文献。

================================================== =============================================

一，概述

先给大家展示一下论文中提到的三种图像篡改手段：

拼接指的是把别的图里面的某个物体拼接到另一张图上。

复制举动是同一张图上，进行部分区域的拷贝，然后放到该图中的其它地方。

去除是指对像素进行修改，将某部分图像“移除”。

第一列是真实图像，第二列是P过的图，第三列是真实数据的掩膜展现出篡改的区域。

1.本文提出了一个双流Faster R-CNN网络并训练它端到端以检测给定图像的篡改区域。

2.双流指的是 RGB流和噪声流。RGB流的目的是从RGB图像输入中提取特征以找到诸如强对比度差异，非自然篡改边界等的篡改特征；噪声流是利用从富含隐写分析的模型滤波器（SRM）层提取的噪声特征来发现真实和篡改区域之间的噪声不一致。

3.作者通过双线性池化层融合来自两个流的特征，以进一步结合这两种模态的空间共现。

4.在四个标准图像处理数据集上的实验表明本文的双流框架优于每个单独的流，并且与其他方法相比，在压缩图像和resize大小的图像的检测上表现出了该方法的鲁棒性，达到了最先进的性能。
 

二、Method-双流Faster R-CNN

这是本文提出的方法，双流Faster R-CNN网络：

如上图所示，橘黄色的箭头连起来的是RGB流，蓝色的箭头连起来的是噪声流。每个单独的流其实都是一个Faster R-CNN。熟悉Faster R-CNN的朋友应该很容易看懂。

       RGB流以RGB图像作为输入，利用对象边缘的异常高对比度（解释1），并将边界框回归到真实值。噪声流首先通过将输入RGB图像传递通过SRM滤波器层（解释2）来获得噪声特征图，并利用噪声特征来为操纵分类提供额外的证据。 RGB和噪声流共享来自RPN网络的相同区域提议，但RPN网络仅使用RGB特征作为输入（就是黄色箭头指向了RPN layer的那里）（解释3）。RoI池化层从RGB和噪声流中选择空间特征。预测的边界框（表示为'bbx pred'）是从RGB RoI特征生成的。在RoI池之后的双线性池化层使网络能够组合来自两个流的空间共现特征。最后，通过完全连接的层和softmax层传递结果，网络产生预测的标签（表示为'cls pred'）并确定预测区域是否已被操纵。