多通道滤波残差提升CNN隐写分析

使用多通道滤波残差的CNN隐写分析

摘要

在当前的隐写分析研究中，卷积神经网络（CNN）已引起众多学者的关注。最近，一些有效的CNN架构被提出，其效果优于传统的采用集成分类器的丰富模型。受丰富模型利用多种子模型来扩大载体图像与含密图像特征之间差异的启发，本文提出了一种基于多通道滤波残差的数字图像隐写分析方法。本文主要关注图像预处理阶段，将3种高通滤波图像残差输入到深度卷积神经网络架构中，以充分利用其强大的非线性曲线拟合能力。众所周知，深度学习在模式识别方面具有强大能力，而以往大多数网络在隐写分析中仅使用单一类型的滤波残差，本文采用多种高通滤波残差可为卷积神经网络提供更具判别性的特征。滤波后的残差在训练前被叠加成一个多通道残差图，该方法可实现对CNN参数的联合优化，而单一残差图则无法达到此效果。实验结果证明，这是一种有效提升检测性能的方法，在Cropped‐BOSSBase‐1.01数据集上达到了82.02%的准确率。

关键词 ：隐写分析 · 卷积神经网络 · 多通道 · 残差

1 引言

隐写术由于难以被检测，在信息隐藏领域是一种高效的方法。在所有载体中，数字图像最为常见和基础，因为图像通常包含大量冗余信息，非常适合嵌入秘密消息。随着互联网的快速发展，隐写术可能带来危害，借助云服务[1]，数据共享和交换变得更加便捷，因此开发一些有效的隐写分析方法具有重要意义。

在早期的数字图像隐写术研究中，会产生明显的干扰信息，例如LSBM[2]，使其容易被检测到。为了提高安全性，提出了一些自适应嵌入方案[3–7]。EA[3]是一种内容自适应隐写算法，考虑视觉质量和安全性，将秘密信息嵌入到边缘区域。在EA之后，提出了一些基于失真函数的自适应隐写算法，如HUGO[4]、S‐UNIWARD[5]和HILL[6]。失真函数用于衡量载体与隐写图像之间所有被修改元素的代价。这些方案通过最小化失真函数来提高安全性，尽可能不改变原始图像的信息，从而缩小特征差异。此外，自适应隐写算法倾向于在纹理复杂的区域嵌入信息，这些区域难以被检测。

隐写分析已引起广泛关注以对抗隐写术[8,9]。传统的机器学习方法包括特征提取和分类，该方法也应用于其他相关领域[10, 11]。特征提取是隐写分析的关键，合适的特征有助于区分载体图像与隐写图像。SPAM[12]是最有效的特征提取算法之一，基于不同方向和阶数的马尔可夫链，其理论对后续算法设计产生了重要影响。为了抵抗自适应隐写算法，弗里德里希等人[13, 14]提出了丰富模型，利用大量子特征来增加特征的多样性，从而改善检测结果。在这类特征中，各种图像滤波残差通过minmax和spam滤波器生成，随后进行截断和量化操作。之后，从多个方向计算共生矩阵作为最终特征。在特征提取过程中，由于缺乏足够的图像表示，隐写噪声容易消失，而丰富模型可以通过捕捉邻近像素之间的多种关系来弥补这一缺陷。自适应隐写算法通常倾向于在复杂的纹理区域嵌入秘密信息，但这可能会改变丰富模型所包含的关系。

深度学习由于其深度结构和反向传播优化，以及高性能GPU提供的强大浮点计算能力，在计算机视觉领域取得了巨大成功。它基于大规模数据集，生成数以百万计的神经元来拟合样本信息。深度学习中最有效的工具之一是卷积神经网络，近年来已被引入隐写分析领域。本文提出了一种新的图像处理方案，将多通道滤波残差作为卷积神经网络的输入。

2 卷积神经网络中的多通道滤波残差

2012年，克里泽夫斯基等人[15]使用深度卷积神经网络架构和两张GPU显卡，在当时的ImageNet竞赛中取得了最佳分类结果。卷积神经网络再次受到广泛关注，并随后被应用于许多其他领域。钱等人[16]提出了一种包含五个卷积层、三个全连接层和高斯激活函数的CNN架构，这是卷积神经网络首次被用于隐写分析任务。在他们的网络中，他们在第一个卷积层之前采用了一个手工设计的图像处理层，该层在训练期间不会被优化，这是一种高通滤波操作。在[21, 22]，施等人构建了另一个具有深度结构和批量归一化（BN）层的卷积神经网络[24]，其性能超过了SRM[14]。

2.1 深度卷积神经网络架构

Shi提出的框架如图1所示。基于卷积神经网络的方法结合了传统的手工特征提取和分类，并利用反向传播机制提升分类结果。Shi的方案能够取得良好的检测效果，原因如下：

(i) 大量的卷积核和深度结构可以具有良好的拟合能力。与基于图像特征的传统方法不同，卷积神经网络更倾向于学习图像的结构。由于隐写消息太弱，网络很难收敛，而深度卷积神经网络可以更有效地检测该消息。

(ii) 批量归一化层。批量归一化限制了特征图的范围，同时加速了收敛。隐写消息非常弱，因此在分类中表现不佳，但由于批量归一化抑制了强但可能无用的信息，使得弱信息能够发挥作用，因此在压缩数据范围方面可以产生良好反应。

2.2 滤波残差

隐写分析中使用的传统图像特征几乎都基于统计信息，例如包含各种共生矩阵的丰富模型，但这些并不适用于卷积神经网络。卷积神经网络可以被视为一种强大分类器，就像高级支持向量机[25, 26]一样。支持向量机旨在寻找一个最优超平面来区分不同类型的数据，其输入为样本特征。因此，我们进行了广泛的

载体图像。(b) 含密图像。(c) 滤波前封面图像与隐写图像之间的差异。(d) 滤波后封面图像与隐写图像之间的差异)

将传统特征与卷积神经网络进行实验，但结果并不令人满意。与支持向量机相比，卷积神经网络更像一种学习器，对图像内容具有强大的响应能力，能够利用大规模参数或神经元拟合对象结构。此外，卷积神经网络可以直接以样本数据作为输入，无需进行特征提取。在先前的研究中，在送入卷积神经网络之前会进行图像处理，即使用SRM中的高通滤波器。该滤波器的核可以抑制图像内容，增强载体与隐写图像之间的差异，如图2所示，白点区域即为差异区域。我们得出结论：传统图像特征不适合卷积神经网络学习，而滤波残差可以作为隐写分析问题的良好选择。

正如在[13, 14, 23]中所证明的，各种滤波残差可以为分类提供更有用的信息，有助于提升结果。我们在图像处理阶段引入了多种滤波残差，第一个滤波核K0（见公式1），来自[27]，已被广泛应用于许多研究[16–19, 21, 22]以及丰富模型中。我们还选用了SRM中使用的一个高通滤波核K1（见公式2）及其一个变体K2（见公式3）用于图像处理阶段。为了减少计算量并提高检测效率，我们的工作中仅使用3个残差图。

$$
K0 = \frac{1}{12} \begin{pmatrix}
-1 & 2 & -2 & 2 & -1 \
2 & -6 & 8 & -6 & 2 \
-2 & 8 & -12 & 8 & -2 \
2 & -6 & 8 & -6 & 2 \
-1 & 2 & -2 & 2 & -1 \
\end{pmatrix}
\quad (1)
$$

$$
K1 = \frac{1}{4} \begin{pmatrix}
-1 & 2 & -1 \
2 & -4 & 2 \
-1 & 2 & -1 \
\end{pmatrix}
\quad (2)
$$

$$
K2 = \frac{1}{4} \begin{pmatrix}
2 & -1 & 2 \
-1 & -4 & -1 \
2 & -1 & 2 \
\end{pmatrix}
\quad (3)
$$

2.3 提出的框架

受JPEG格式图像特性的启发，我们认为在训练阶段特征图并非相互独立。我们充分考虑了不同残差图之间的关系，提出了一种将残差图叠加生成三通道残差图的方案，作为卷积神经网络的输入（见图3）。

3 实验结果

我们在BOSSBase v1.01[28]数据库上进行实验，为了扩大数据集，我们采用[17]中的方法，将每幅图像分割为四幅图像。此后，我们获得了40,000幅尺寸为256 × 256的图像，我们将该数据集命名为Cropped‐BOSSBase‐1.01，所有实验均在此数据集上进行。在实验中，我们使用S‐UNIWARD以每像素0.4比特的嵌入率对图像进行嵌入，且不重复使用嵌入密钥。完成后，训练数据库包含80,000幅图像（40,000幅封面图像和40,000幅隐写图像）。我们随机选择64,000幅图像（32,000对封面/隐写图像）用于训练，剩余的16,000幅图像用于验证。

所有实验均在公开的 Caffe 工具箱[29] 上进行。实验中使用小批量梯度下降，小批量大小为 128 张图像（64 对载体图像/含密图像）。动量固定为 0.9，学习率初始化为 0.001，并计划每 100,000 次迭代减少 10%。卷积神经网络训练 200,000 次迭代。

我们在 Cropped‐BOSSBase‐1.01 数据集上使用三通道残差进行 2 折交叉验证实验，准确率的平均值如表 1 所示。

3通道CNN	6通道CNN	施等人 [21]	SRM [14] + EC [30]
82.02	80.73	78.56	76.15

我们重新进行了施等人在Cropped‐BOSS‐Base‐1.01数据库上的实验[21]，使用我们的卷积神经网络，但仅采用在相同环境下由K0生成的残差。此外，我们在64,000张训练图像上训练了一个集成分类器[30]，并使用SRM特征对另外16,000张图像进行测试。结果如表1所示。

此外，我们还创建了另一个使用K0–K5的6通道残差卷积神经网络（见公式1–6），结果也列在表1中。

如表1所示，我们提出的网络能够有效提升检测性能，多通道CNN的检测效果优于Shi的研究和SRM。特别是，3通道CNN相比Shi的研究准确率提高了3.46%。6通道CNN性能较低的原因可能是参数不足以适应这6通道的残差。更多的残差需要更多的卷积核来拟合数据，这会增加计算量。此外，K3–K5可能不如其他方法有效，6通道残差中的冗余导致了准确率下降。但6通道CNN的结果仍然表明，与Shi的研究和SRM相比，多通道残差能有效提升卷积神经网络的分类性能。

我们还进行了一些实验来验证所提出方法的有效性。我们将BOSSBase v1.01中每幅图像的中心部分截取出来，并命名为Center‐BOSSBase‐1.01。使用S‐UNIWARD在每像素0.4比特的嵌入率下对Center‐BOSSBase‐1.01进行嵌密，从而得到10,000张封面图像和10,000张隐写图像。我们测试了在Center‐BOSSBase‐1.01及其隐写图像上训练的3通道CNN模型，结果如表2所示。为了对比结果，我们还测试了Shi网络（见表3）和我们的6通道CNN网络（见表4）的模型。

$$
K3 = \frac{1}{4} \begin{pmatrix}
-1 & 2 & -4 & 2 & -1 \
2 & -6 & 8 & -6 & 2 \
-4 & 8 & -4 & 8 & -4 \
2 & -6 & 8 & -6 & 2 \
-1 & 2 & -4 & 2 & -1 \
\end{pmatrix}
\quad (4)
$$

$$
K4 = \frac{1}{4} \begin{pmatrix}
0 & 1 & 0 \
1 & -4 & 1 \
0 & 1 & 0 \
\end{pmatrix}
\quad (5)
$$

$$
K5 = \frac{1}{4} \begin{pmatrix}
1 & 0 & 1 \
0 & -4 & 0 \
1 & 0 & 1 \
\end{pmatrix}
\quad (6)
$$

载体图像	含密图像	总计
79.03	80.18	79.61

载体图像	含密图像	总计
80.79	75.54	78.17

载体图像	含密图像	总计
76.32	73.07	74.70

如表1、2、3和4所示，测试3通道CNN模型的准确率相比训练准确率下降了2.41%。6通道CNN模型的准确率达到78.17%，比训练准确率低2.56%。Shi的研究损失最大，下降了3.86%。实验结果充分证明了我们方法的有效性和鲁棒性。多通道残差能够捕捉有效区分载体图像和含密图像的差异，有助于卷积神经网络更好地拟合隐写术的规律。单一类型的残差由于缺乏有效的隐写规则，导致准确率下降最为显著。

4 结论

在本文中，我们提出使用多通道残差来改进卷积神经网络在隐写分析中的结果。众所周知，卷积神经网络擅长学习强特征，我们采用多种滤波残差来增强载体图像与含密图像之间的差异性，因为嵌入消息较弱，这有助于降低分类错误。此外，在将数据输入卷积神经网络之前，我们对残差图进行叠加处理，这有利于卷积神经网络中的联合优化。我们还在不同数据集上测试了所提出的网络，并获得了相似的训练准确率结果。未来的研究将集中在图像预处理阶段寻找更有效的滤波核，并尝试一些新的CNN架构。