高光谱图像作为信息隐藏的载体研究（这个方向的文献真少。。。）

创作不易，点赞收藏，谢谢！如有交流需要，请关注微信公众号“笔名二十七画生”！

鉴于多数人未从事研究该领域，简单给大家介绍一下什么是高光谱图像？

高光谱图像（Hyperspectral Image，HSI）是一种具有连续和高密度光谱信息的图像。与普通彩色图像不同，高光谱图像捕捉了物体在大量窄波段范围内的光谱反射或辐射信息。每个像素不仅包含红、绿、蓝等基本颜色通道，还包括数十甚至数百个光谱波段的信息，并且这些波段可以覆盖可见光、红外线和紫外线等范围。因此，这种细分的光谱信息使得高光谱图像对物体的材料、化学成分和其他细微特征具有更敏感的探测能力，从而广泛应用于遥感、地质勘探、环境监测、农业、医学成像等领域。那么下面这篇文章主要是针对遥感领域的高光谱图像。

The use of hyperspectral images as cover data in information hiding

摘要

（想法很好，利用高光谱独有的特点来进行信息隐藏）这篇论文介绍了使用高光谱图像（HSI）作为嵌入隐藏信息的容器的特点。提出使用HSI的分类准确性（作为通过HSI解决的最常见问题）来控制引入失真的可容许水平，而不是视觉不可察觉性的指标。作者需要在保持可接受的分类质量的同时，增加嵌入信息的容量或鲁棒性。为此，文章作者提出了根据它们在分类中的重要性改变不同HSI通道的嵌入参数。作为示例，考虑了三种根本不同的信息嵌入方法：基于量化指数调制（QIM）的方法，基于扩频的方法和基于插值的方法。实验证明了所提出方法在所有三种方法中均绝对优于标准方法（每个通道的参数值恒定）。实验证实了所提出的方法使得能够在HSI的很大一部分体积中（对于基于QIM的方法约为3/4）几乎不降低分类质量。对于基于插值的方法，不仅可以不恶化分类质量，而且在嵌入隐藏信息的同时还可以提高分类质量。

关键词：隐藏信息的嵌入，高光谱图像，主题分类，数字水印

1.引言

如今，人造地球卫星正在轨道上运行，其中一些正在数百个不同的光谱区域进行拍摄。卫星监测的任务之一是获取高光谱图像（HSI）[1]。HSI可以表示为一个三维数据数组。这种图像的每个像素都是不同波长的辐射功率的矢量。在实践中，地球遥感的HSI经常用于对地表进行分类[2]，即基于在各个数据通道中获得的数值，决定将像素分配给某种地表材料。HSI对于普通用户来说并不是最常见的，但对于遥感领域的专业人士来说，它是一种相当重要的数据类型。因此，分析这种类型数据的特征以在其中嵌入隐藏信息是很重要的。

在信息嵌入的背景下，一方面，高光谱图像（HSI）是一个足够宽敞的容器，可用于隐藏信息的传输，另一方面，HSI是有价值的数据，需要通过数字水印（WM）来防止非法分发或修改。在第一种情况下，通常需要在不显著损失原始HSI质量的情况下传输尽可能多的隐藏信息。在第二种情况下（用于防止未经授权的分发），需要确保保护性水印的高鲁棒性，同时尽量减少对原始图像的损害。

（研究的人目前看太少了，也不知道为啥？难道实际价值不够大吗？）文献中仅描述了一些专为在高光谱数据中嵌入信息而设计的算法。在相对较新的研究中，有[Pizzolante，2015]，[Gashnikov，2016]等。然而，这些作品中提出的算法解决方案忽视了高光谱数据的物理特性和实际使用的特殊性，并且仅适应于它们的三维矩阵结构，而不是内容。因此，在[Pizzolante，2015]中，实质上实施了最低有效位（LSB）方法，而在[Gashnikov，2016]中则基于二维和三维光谱变换的方法。

在这篇论文中，提出了一种将HSI用作嵌入隐藏信息容器的替代方法。这个方法的关键在于，与其通过从原始容器偏离来控制由信息嵌入引起的失真，不如利用受保护的HSI作为地表主题分类的数据源的能力（说实话这句话我没看明白，一会读完回头再看看）。第2节会对这种方法进行更详细的讨论。第三节描述了在实验中使用的嵌入隐藏信息的方法。第4节描述了执行的实验及其结果。

2.使用HSI嵌入隐藏信息的原则

图1展示了描述隐藏信息嵌入系统最重要指标的经典三角形：不可察觉性、容量和鲁棒性[Fridrich，1999]。这三个指标是相互矛盾的：在其中一个指标上某种算法的提升几乎总是伴随着其他指标的损失。因此，不同的算法努力实现基于正在解决的实际任务和需求的折衷指标。

图1：信息隐藏技术中的相互矛盾要求

在图1中，不可察觉性通常指的是嵌入信息的存在在视觉或听觉上对人类不可察觉。根据这一点，作为不可区分性的客观度量是源容器和隐藏信息载体的接近度度量，考虑到人类感知的特点：峰值信噪比（PSNR），结构相似性度量（SSIM），图像感知质量度量（PQM），音频感知质量（PEAQ），视频质量度量（VQM）等[Mеnendez-Ortiz，2019]，[Liu，2013]。

然而，在高光谱图像中嵌入信息时，视觉上的不可察觉性并不起到重要作用。在绝大多数实际场景中，HSI并非用于人类观察，而是用于利用计算机算法分析自然环境的问题。（难道这就是研究的人比较少的原因吗？）此外，HSI不能被人类作为整体观察。相反，在实践中，以半色调图像或以RGB图像显示的三通道复合物的形式逐通道切片可以用于可视化。因此，在开发嵌入HSI信息的算法时，建议将不可察觉性指标替换为与通过HSI解决的实际问题直接相关的指标。由于最典型的任务是对HSI进行主题分类，我们将选择地表物质分类准确性作为这样一个度量。

许多图像、音频和视频质量度量使用频率分析，并根据人类在不同频率范围内的感知计算容器和数据载体之间的误差。这种方法在HSI中也可以找到类似的应用。在HSI的分类中，HSI的光谱通道可能类似于信号的频率分量。众所周知，不同的光谱通道在主题分类中具有不同的重要性。这种差异由两个因素构成。首先，一些光谱范围从根本上讲对观察来说是不感兴趣的。这可能是由于地球大气吸收的特性。其次，光谱通道的重要性也受到需要在图像中分类的物质的数量和组成的影响。因此，对于不同类型的植被和不同类型的复合材料的分类，光谱的不同区域具有最重要的意义。

因此，当我们与图像和音频质量的加权度量以及加权频率方法嵌入数字水印进行比较时，逻辑上建议对HSI的不同光谱通道进行加权，以在其中嵌入信息。嵌入方法基于这些通道在主题分类中的重要性。因此，在HSI中嵌入信息时，需要选择影响嵌入量和/或引入失真的参数，并为不同通道变化其值。下一节将描述为这项研究选择的信息嵌入算法。对于每个算法，都会注明相应的参数，这些参数会针对不同的通道而变化。

3.选择用于检查的信息嵌入方法

为进行这项研究，决定采用三种本质上不同的嵌入信息的方法来实施实验。这将使我们能够对上述原则的可行性提出更为一般和合理的结论。

A. 基于量化指数调制（QIM）的方法

自从2000年代中期以来，基于量化指数调制（QIM）的嵌入信息方法[1]已广泛用于在各种数据中嵌入信息，包括图像、音频信号、医学和矢量数据等。这种方法可以看作是在最低有效位（LSB嵌入，就是将每个通道二进制后最右面的那一位）中嵌入信息的经典方法的一种概括。此外，QIM对均匀噪声有可靠的抵抗力，使其成为半脆弱数字水印系统的理想基础。

QIM的原则是使用多个量化器函数对数据进行重新量化。在这项研究中，我们使用了QIM的简化版本，其中数据根据以下公式嵌入：

添加图片注释，不超过 140 字（可选）

其中 C 是源容器-HSI，n 是HSI的三维参考坐标，Cw​ 是带嵌入信息的HSI，WM，W 是嵌入信息，也被组织成三维结构，δ 是定义重新量化步骤的参数，因此也是由于信息嵌入引起的失真程度以及鲁棒性的参数。这是我们在实验过程中将为不同通道变化的参数。

提取WM的过程如下进行：

添加图片注释，不超过 140 字（可选）

B. 基于扩频谱的信息嵌入

基于扩频谱的信息嵌入用于数字水印嵌入系统，与QIM方法在基本上有很大的区别。在这种方法中，信息的嵌入是通过大量样本的小振幅变化实现的。同时，嵌入一个比特的信息是通过修改多个样本实现的。这种方法提高了数字水印的鲁棒性，并降低了个别样本的失真程度，但降低了嵌入的容量。

在作者的研究中，以扩频谱方法的Patchwork方法[2]为例，这是一种相当古老的方法，但允许识别主要模式。在这种方法中，使用容器的一组 𝐷 个样本来嵌入一个比特的信息。这组样本分为两个相等的子集：𝐷1 和 𝐷2，其中 ‖𝐷1‖ = ‖𝐷2‖。

进一步，当我们嵌入比特 0 时，来自𝐷的样本的值不变，当嵌入比特 1 时，将一个值 α 添加到与𝐷1 相关的所有样本的值中，并从与𝐷2 相关的样本的值中减去 α。

添加图片注释，不超过 140 字（可选）

为了执行与HSI的实验，我们将变化参数 α 的值。 为了提取信息，我们需要估计差异：

添加图片注释，不超过 140 字（可选）

并将其与值 α 进行比较。如果 d≥α，则决定嵌入比特 1，否则嵌入比特 0。这个提取方法基于这样一个假设，即在没有变化的情况下，区域 𝐷1 和 𝐷2 的样本之和略有不同。

C. 基于插值方法的信息嵌入

在这项研究中，对信息嵌入的第三种方法是基于插值。选择一些容器样本（通常按照规则的网格排序）作为参考，在嵌入过程中不发生变化。基于这些参考样本形成所有其他值的近似估计，并找到插值误差。然后，为了提供由嵌入序列定义的误差值，更改样本的值。这种方法用于嵌入大量信息。同时，视觉失真的程度保持在可接受的水平。然而，这种方法对失真的鲁棒性较低。

在研究中，选择了Jung和Yoo方法来说明这一类算法[3]。它考虑图像像素坐标（𝑛1，𝑛2）的4个不同变体，具体取决于奇偶性： 𝑛1为偶数，𝑛2为偶数,

V1​:n1为偶数，n2为偶数,

V2​:n1为偶数，n2为奇数,

V3​:n1为奇数，n2为偶数,

V4​:n1为奇数，n2为奇数.

4.实验研究

A. 实验设置

为了实施实验，最初选择了四个受控卫星遥感的常用高光谱图像（HSI）： "Indian Pines"、肯尼迪航天中心（以下简称KSC）、博茨瓦纳、帕维亚大学。分类器模型的训练是在随机选取的 75% 像素上进行的。对于这些像素，了解了地表的真实类别。分类的准确性在剩余的 25% 像素上进行评估。分类过程是逐元素进行的，即完全忽略了空间信息。对于所有选定的方法，嵌入信息都使用了伪随机二进制序列。

表 1 显示了四个选定的 HSI 上各种分类器模型的性能指标。由于梯度提升表现最佳，因此仅分析了该分类器准确性的变化。

表格 I. 源HSI分类的准确性

B. 基于QIM的研究方法

1. 将HSI填充到100%

在第一项实验中，研究了在容器填充到100%时，嵌入参数 δ 对HSI分类质量的影响。同时，对于提出的加权方法，可以针对不同通道变化 δ 的值。为了进行这些实验，作者避免了遍历 δ 向量值的所有值。为此，我们选择了与分类质量直接或间接相关的指标之一，以比例选择 δ 的值。使用的指标包括：

• 通道内方差，

• 通道内方差的平方根，

• 通道噪声方差，

• 从在HSI上训练的梯度提升模型计算得出的特征重要性。

此外，还考虑了在所有通道中使用常数值 𝛿 的选项。

为了客观比较不同选择方法，为每个选项选择了一个系数，该系数基于信息载体偏离容器的均方误差的调整。KSC 和 Indianpines HSI 的结果分别显示在图2-3中，并且它们总体上是一致的。从图中可以看出，总体上，随着由信息嵌入引起的误差的增加，分类准确性逐渐下降。同时，对于小的 MSE 值，我们可以观察到分类准确性的提高。当 δ 按照通道内方差的比例变化时，显示出最高的结果。当使用假定对于所有通道都具有常数值的基本变体时，结果最差。

图2. HSI分类准确性随着不同参数 𝛿 选择选项的MSE水平的变化关系（QIM方法，KSC）

图3. HSI分类准确性随着不同参数 𝛿 选择选项的MSE水平的变化关系（QIM方法，Indian Pines）。

2.HSI的部分填充

以下实验研究了HSI的填充体积对分类准确性的依赖关系。为了使实验更加清晰，参数 δ 是基于第一次实验中考虑的 MSE 最大值选择的。图4还展示了所提方法的显著优势。此外，还显示了在容器填充的百分比较小的情况下（对于KSC图像，小于30%），分类质量几乎可以保持不变。

图4. HSI填充比例对分类准确性的影响关系（QIM方法，KSC）。

3.选择优先通道进行信息嵌入

在基于QIM的最后一个实验中，与前一个实验类似，当容器部分填充了隐藏信息时，分析了HSI分类的质量。然而，在这个实验中，所有的HSI通道都按照重要性升序排列，并且HSI按照通道的重要性升序填充信息。在实验中，使用了两种 𝛿 的变体：与通道内离散度成比例和 δ=const。通道的重要性按照以下三种选项进行排序：

• 梯度提升的特征重要性；

• 单变量特征选择的度量（F_classify）；

• 递归特征消除法（RFE）。

特征重要性参数的值是在梯度提升算法内部计算的，作为每个特征对特定决策树的重要性。然后，得到的值在所有树上平均，并进行归一化，使得所有值的和等于1[Louppe，2015]。RFE方法[Guyon，2002]的实质是根据已经存在的权重集合，通过逐渐考虑越来越小的数据集，递归选择最重要的特征。 图5中呈现的结果再次表明，选择与方差成比例的参数 δ 是明智的。同时，不同的通道排序方法通常会导致类似的结果，很难从上面的图表中得出关于这些方法之一优于其他方法的结论。还值得注意的是，当填充到176个通道中的130个，即HSI通道的大约3/4时，分类准确性的下降看起来并不严重。

图5. 分类准确性与使用的HSI通道数量的关系（QIM方法，KSC）。

C. 探究基于频谱扩展的方法

对于嵌入Patchwork WM的方法，进行了类似于QIM方法的第一个实验的实验。变量参数使用了值 𝛼。同时，将长度为100位的WM嵌入到HSI中。图6和7展示了这个实验的结果。从图中可以看出，对于两种HSI，当 𝛼 = 𝑐𝑜𝑛𝑠𝑡 时，观察到最差的分类准确性，而 𝛼 的最佳选择之一是将其值与通道内方差成比例。

添加图片注释，不超过 140 字（可选）

添加图片注释，不超过 140 字（可选）

由于Patchwork方法嵌入一位信息会使原始信号的多个样本发生失真，因此需要检查可以嵌入的信息位数的最大值，以便获得可接受的提取准确性。

添加图片注释，不超过 140 字（可选）

从表2中呈现的结果可以看出，只有在嵌入125位或更少且 𝛼 ≥ 2 时，才能达到可接受的 BER 值（BER ≤ 0.1）。这严重限制了Patchwork方法的实际适用性。然而，总体而言，研究已经证实了第2节中提出的方法对于这种方法同样是适用的。

D. 基于插值的研究方法

再次注意，对于这种方法，选择的参数是根据公式（6）从一个通道变化到另一个通道的，该参数是嵌入到每个像素中的信息位数，它还取决于插值误差。在对该方法进行研究时，通过均方误差（MSE）进行参数选择的方法和通过嵌入信息的体积进行选择的两种不同方式进行了系数的选择。 表3显示了使用第一种方法在KSC图像上获得的结果。首先，让我们考虑一个实验，其中参数的选择相对于KSC的MSE水平。在使用所有通道的常数方法的情况下，公式（6）考虑了两种变体：值 𝑘 1 或 2。

添加图片注释，不超过 140 字（可选）

表3中呈现的数据表明，在考虑的参数方面，通过插值嵌入后的分类准确性甚至相对于原始HSI有所提高。与此同时，使用恒定的k值提供了更高的嵌入容量，但这种选项的分类准确性值最低。根据梯度提升模型的特征重要性变体显示出最高的值。

添加图片注释，不超过 140 字（可选）

通过嵌入体积的第二种对齐方法，当使用可变值的 𝑘 时，均方误差的水平增加，但是这些方法的分类准确性显著提高。这证实了所提出的方法在嵌入信息的第三种方法上的可操作性。

5.结论

在本文中，我们考虑了在高光谱图像中嵌入信息的问题。我们建议用保持应用问题的解的质量（例如，在HSI上观察到的物质分类的质量）来替代视觉不可察觉性的要求。为了实现这一原则，建议对不同通道的嵌入参数进行变化，以调节引入失真的水平。

在实验研究中，考虑了三种嵌入信息的方法，它们在类别和使用范围上有根本的不同：基于QIM的方法，基于扩频的方法和基于插值的方法。针对每种方法，选择了一个参数，该参数确定了失真水平。这个参数按比例设置为解决分类问题中通道重要性的某个指标之一。在这些指标中，通过经过训练的梯度提升模型测试了通道内方差、其平方根、通道噪声方差和特征重要性。还研究了在不同通道上不改变嵌入参数值的选项。使用不同指标的测试通过引入的失真的总MSE或每个像素嵌入的信息量进行了对齐。

实验证明了所提出的方法在所有三种嵌入方法中均优于标准方法（每个通道的参数值恒定）。在大多数情况下，当将通道内方差用作通道重要性的指标时，可以实现最佳的分类准确性指标。通过对基于QIM方法的HSI进行部分填充的研究表明，所提出的方法允许在不显著降低分类准确性的情况下填充高达75%的通道或每个通道的40%的像素。同时还表明，使用基于插值的嵌入方法，不仅不会恶化分类质量，而且还可能提高分类的质量，并且这可能是因为在这种嵌入的结果中，分类器隐式地开始使用位于被分类像素旁边的像素的信息。换句话说，我们从逐元素的方法切换到了一种空间方法来进行分类。

个人看法：

这篇文章是我目前找到的第一篇在高光谱图像进行信息隐藏工作的研究。它从不同角度嵌入信息并采用分类指标来验证信息隐藏的好坏。因为是第一篇文章，同时该文章也没有发表在遥感的相关期刊上，所以没有办法评价工作内容的质量。我有一个疑问，为什么这个方向研究的人这么少，难道真的没有研究价值吗。。。。

参考文献：

【1】Shapiro D, Fedoseev V. The use of hyperspectral images as cover data in information hiding[C]//2023 IX International Conference on Information Technology and Nanotechnology (ITNT). IEEE, 2023: 1-7.