图像篡改痕迹检测：Adobe双流Faster R-CNN网络

本文链接：https://blog.youkuaiyun.com/Katherine_hsr/article/details/80954060

Adobe提出的双流Faster R-CNN网络通过RGB和噪声流检测图像篡改，利用RGB对比度差异和SRM噪声特征进行端到端训练。网络包括RGB和噪声流输入、SRM过滤层、RPN网络、RoI池化层及双线性池化，以识别篡改区域。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为了检测图像是否被篡改，Adobe在最近的论文中提出了一种双流Faster R-CNN网络，对图像进行端对端的训练，检测经过处理图像中被篡改的区域。
双流中的一个流是RGB流，用于从RGB图像输入中提取特征，通过对比度差异、不自然边界等找出篡改的痕迹。另一个流是噪声流，利用SRM(steganalysis rich model）模型的过滤层中提取噪声的特征，找出图像中真实区域和被篡改区域的噪声间的不一致。然后将从RGB流和噪声流中提取的特征用一个双线性池化层整合来进一步改进两种模式的空间共线性(spatial co-occurrence)
Faster R-CNN网络整体结构如下图：
这里写图片描述
网络中的各部分为：
（1）RGB stream input：也就是RGB流输入；对可见的篡改痕迹（例如：物体边界经常出现的高对比度）进行建模，并将边界框（bounding boxes）回归为ground-truth
（2）SRM filter layer：SRM 过滤层；提取噪声 feature map，然后利用噪声特征提供图像处理分类的附加依据；
（3）Noise stream input：噪声流输入；分析图像中的局部噪声特征，先让输入RGB图像通过一个 SRM 过滤层
（4）RGB Conv Layers：RGB 卷积层
（5）Noise Conv Layers：噪声卷积层
（6）RGB 流和噪声流共用 RPN 网络生成的 region proposals，RPN 网络只将 RGB 特征作为输入。Faster R-CNN 中的 RPN（Region Proposal Network）负责 propose 可能包含相关目标的图像区域，其经过改造后可以执行图像处理检测。
（7）RPN layer：RPN 层
（8）RoI pooling layer：Rol 池化层；从 RGB 流和噪声流中选择空间特征；
（9）RGB RoI feat