Learning Rich Features for Image Manipulation Detection学习丰富的特征以进行图像篡改检测

一、摘要部分

简介：文章提出了一个双流篡改图像检测方法，即rgb流和噪声流,双线性池化.2018-CVPR

图像篡改检测与传统语义目标检测不同，因为它更关注篡改痕迹而非图像内容，这意味着需要学习更丰富的特征。我们提出了一种双流 Faster R-CNN 网络，并对其进行端到端训练，以在给定篡改图像的情况下检测出被篡改的区域。双流中的一个是 RGB 流，其目的是从输入的 RGB 图像中提取特征，以发现如强烈对比度差异、不自然的篡改边界等篡改痕迹,即使用 RGB 流进行边界框回归。另一个是噪声流，它利用从隐写分析丰富模型滤波器层提取的噪声特征，来发现真实区域和篡改区域之间的噪声不一致性。然后，我们通过双线性池化层融合来自两个流的特征，以进一步整合这两种模态的空间共现信息。

二、篡改图像例子

这个图说的就是，采用不同篡改技术的篡改图像示例。从上到下依次为拼接、复制移动和移除等篡改示例。最后一列则是被篡改的位置

三、篡改图像的method

左边这幅图说的就是，rgb流经过卷积之后提取到的特征和RGB图像经过SRM（隐写分析丰富模型）滤波器层处理后得到的噪声特征图,再经过噪声卷积层提取特征。prn（区域提议网络层）仅使用RGB流提取的特征，生成可能包含篡改区域的候选区域提议，这些提议在两个流中共享。 rol（感兴趣区域池化层）从 RGB 流和噪声流提取的特征中，分别选择与 RPN 生成的区域提议对应的空间特征，得到 RGB RoI 特征和噪声 RoI 特征。最后，根据 RGB RoI 特征生成预测的边界框（“bbx_pred”），用于定位篡改区域；之后，通过双线性池化层融合 RGB RoI 特征和噪声 RoI 特征，整合两种模态的空间共现信息，再经过全连接层和 softmax 层，生成预测标签（“cls_pred”），判断预测区域是否被篡改

四、公式原理部分

五、实验部分

1.实验数据集:

基于COCO数据集生成创建了 42K 对篡改图像和真实图像,训练集（90%）和测试集（10%）篡改区域边界框略微扩大（+20像素），帮助模型学习篡改与真实区域的差异

上表表明，我们的双流网络性能优于每个单流。此外，RGB-N、使用噪声特征作为 RPN 输入的 RGB-N 以及同时使用两种特征的 RPN 之间的比较表明，RGB 特征比噪声特征更适合生成区域提议。

2.标准数据集性能测试：

双流模型在NIST16（复杂篡改）和COVER（复制-移动）上表现最佳，优于传统方法和单流模型。 2.Columbia数据集（未压缩拼接）中，噪声流单模型表现更好（F1=0.705），因噪声差异未被压缩破坏

总结部分：

双流互补性：RGB流捕捉视觉篡改痕迹（如边缘对比度），噪声流揭示噪声不一致性，融合后覆盖更全面的篡改特征。 合成数据有效性：大规模合成数据预训练显著提升模型泛化能力。 鲁棒性优势：对压缩、缩放等后处理攻击具有较强抵抗力。 局限性：复制-移动检测仍需改进，未来需引入区域对比或上下文建模。