基于低秩张量的高光谱图像重建理论基础-基础知识学习

原文《基于张量低秩稀疏恢复理论的遥感高光谱图像降噪研究》

本文为选择学习的部分章节的节选内容，根据个人学习侧重点，内容有所删减调整。

[1]黎波. 基于张量低秩稀疏恢复理论的遥感高光谱图像降噪研究[D]. 成都理工大学, 2020.

一、高光谱图像去噪方法和研究现状

目前国内外提出了众多去噪方法，已取得了良好的效果。当前的高光谱去噪方法主要有基于空间域去噪方法、基于光谱域去噪方法和基于模型优化去噪方法三大类型。下面将对这三类算法分别阐述与分析。

1. 基于空间域去噪方法

基于空间域的高光谱图像去噪方法，首先将高光谱图像以波段为单位分解为若干灰度图像，这些二维图像就可以利用人类视觉感知的数字图像处理降噪算法对 HSI 进行逐波段处理。以图像是否进行从空间域转换到其他变换域中为依据，又可将该类方法分成基于像素空间和基于变换域的去噪方法两大类。基于像素空间降噪算法是直接对图像空间像素灰度值进行处理，常见的算法比如非局部均值去噪 NLM(Non-Local Mean, NLM)模型、总变分去噪 TV(Total Variation, TV)模型等方法。该类方法按图像像素分布具有一定的平滑性假设，对像素值在局部或非局部区域进行处理。这些方法的优点是易于实现和解释，然而在实际应用上由于适应性不够，去噪效果也不够理想。另外一类方法是基于变换域实现降噪，通过在某个特定变换域下，干净图像和噪声图像表现出不同特点，在特征空间分离噪声后，反变换实现降噪作用。此类算法中，小波域去噪方法和傅里叶域去噪方法是两种经典的方法。

虽然基于空间域的去噪方法对二维图像在某些特定噪声类型和密度分布下取得一定的效果，但该类方法对混合噪声（高斯噪声，稀疏噪声及条纹噪声）去噪效果不好，甚至有破坏图像结构的问题。此外，由于这类方法没有较好地利用高光谱图像波段之间的光谱特性，整体去噪效果不够理想。

2. 基于光谱域的去噪方法

高光谱遥感成像包含了成百上千个波段光谱信息，学者们从光谱域挖掘噪声特点进行去噪。最大噪声比率法(MNF)和小波光谱去噪法是两种具有代表性的方法。其中，MNF 方法根据噪声方差与图像总方差比值优化寻求最大化为目标，实现将噪声部分信息分解达到去噪的目的，但由于数据相关性假设在某些真实图像中往往不成立，容易加入人为噪声。为了提高 MNF性能，一种通用实用性更强的 MNF 变换方法（GMNF）被提出，取得较好的去噪效果。但 MNF 和 GMNF 在去噪的同时，也存在对光谱波峰产生影响，破坏光谱特征等缺陷。

基于光谱域的去噪方法主要以信号处理角度进行开展研究工作，利用光谱信号与噪声信号之间的不同特征，达到噪声分离从而实现降噪的目标。由于这类方法没有利用高光谱图像的空间结构信息，往往会由于这个原因导致去噪后得到的图像空间结构有较严重的失真，在实际应用中受到很强的局限性。

3. 基于模型优化去噪方法

基于空间域滤波器或基于光谱域滤波器去噪方法对特定噪声具有良好的去噪性能，然而对高光谱图像的混合噪声类型去噪效果较差。基于模型优化去噪方法，充分利用空间域和光谱域先验信息，去噪性能有一定提高。然而由于这类算法的滤波器并没有考虑到光谱域的高相关性，性能有所下降。为了解决这一问题，根据低秩先验性质同时将光谱信息和空间信息作为先验信息，提出的基于模型优化方法进行高光谱图像重建和混合噪声去除具有较好的性能。目前该类方法具有一定代表性算法是利用低维子空间(low-dimensional subspace)表示光谱向量的方法由于具有良好的性能，比如 RPCA（Robust principal component analysis）被广泛用于混合噪声去除;此外，极小化矩阵（或者张量）秩函数的凸（或者非凸）松弛（relaxation）的方法和基于矩阵（或者张量）低秩分解的方法也是目前去除高光谱图像混合噪声的重要研究方法。

一种融合空间-谱间的充分考虑了光谱域和空间域噪声的差异性的自适应全变分正则化模型（SSAHTV）在文献（Yuan Q et al.,2012)中被提出。SSAHTV 模型通过全变分针对不同结构信息自适应调节噪声阈值，进一步提高去噪性能。然而，由于 SSAHTV 模型对空间结构信息敏感，在图像边缘和细节区域容易造成模糊现象。为了解决这个问题，一种利用光谱域的相关性和空间域的结构信息的谱间-空间核函数正则化模型在文献（Yuan Y et al.,2015）中提出，通过实验验证该方法具有更强的去噪性能。文献（Chang Y et al.,2015)以相似的思路提出了一种谱间-空间 TV 正则化模型，同时对空间和谱间的局部平滑性进行正则化约束，达到平滑图像的目的。除了 TV模型外，融合空间-谱间信息思路也被提出，在文献（YuanQ et al.,2014)中，作者提出一种从空间和谱间不同视角进行融合去噪的方法，进一步验证了空-谱联合去噪的有效性。另外，BM4D 方法(Maggioni M et al.,2013)将高光谱图像当作一个三维数据，通过扩展 NLM 的相似性特征，对三维相似数据块进行聚类，再使用 Wiener Filtering 实现去噪优化完成去噪。

一种鲁棒的主成分分析 RPCA (RobustPrincipal Component Analysis,RPCA )方法在文献(Wright J et al.,2009)中提出。RPCA 利用低秩性质，将含有稀疏噪声（即异值点）的矩阵恢复低秩矩阵信息，从而将噪声分量分离。根据该理论基础，文献（Zhang H et al.,2014）提出一种基于低秩矩阵恢复模型 LRMR（Low Rank MatrixRecovery ，LRMR），结合高光谱图像存在低秩性的假设，达到去噪的目的。LRMR可以将含有高斯噪声，椒盐噪声和条纹噪声等类型的混合噪声从高光谱图像中分离出干净高光谱图像。一种多维度的维纳滤波器模型 MWF（multiway wiener filter，MWF）（Yang J et al.,2016)被提出，将高光谱图像看作三维张量表示，对传统的维纳滤波器采用张量 TUCKER3 分解并推广到三维张量中，从而实现噪声去除。文献（Guo X et al., 2013; Liu X et al., 2012）提出一种在张量框架下基于 PARAFAC低秩分解和基于张量 Rank-1 分解模型实现去噪。为了充分利用高光谱图像的光谱特性在三阶张量下的应用，研究者们先后提出了在张量框架下的低阶张量分解实现高光谱图像去噪的方法（Chen Y etal.,2019)，但是这些方法主要以 Tucker 模型张量分解（LiX et al.,2017）或使用CANDECOMP/PARAFAC(CP)模型张量分解（Chen Y et al.,2018）估计张量低秩特征，从不同的角度分解估计张量秩，效果也不尽相同。另外，高光谱图像在光谱维度的连续性和空间维度的分片光滑性也被大量方法利用比如常见的基于 TV（Total Variation Regularization）全变分正则化的方法（Chen Y et al.,2019;Chen Y etal.,2018;Li X et al.,2017）。以往的研究表明，基于 CP 秩或 Tucker 秩的方法应用在图像恢复问题时，其性能均优于基于 SVD 奇异值分解的矩阵方法。虽然高光谱图像可以看作一组二维图像，但是通过基于张量的方法将张量分解技术应用到高光谱图像张量中,实现影像的重建性能更佳。基于张量的方法研究路线，勒纳尔等人(2008)提出了一种低秩张量近似（LRTA）方法，采用了 Tucker 分解得到输入 MSI的低秩近似（Tamara G Kolda and Brett W Bader,2009)。Liu et al.（2012）利用该方法设计了 PARAFAC 方法平行因子分析两种方法的优点，考虑了高光谱图像之间不同波段的相关性，并尽量消除高光谱图像的光谱冗余。

4. 高光谱图像去噪方法研究存在的问题

虽然目前现有的高光谱图像降噪算法性能在逐步提高，但实际应用的适应性还不够理想，难以广泛应用，依然存在较大的研究空间。特别是多数算法仅仅针对高光谱图像中某一种噪声，然而，现实高光谱图像受多种不明原因的噪声干扰，或者高光谱图像不同光谱波段的噪声强度也有一定差异，导致算法在降噪性能方面不具有鲁棒性。由于这些方面的不足，严重限制了高光谱图像降噪算法的应用。

基于上述对高光谱图像降噪方法研究现状的剖析，对降噪算法依然存在的问题可以归纳为下面三方面：
（1）条纹噪声作为遥感影像特有的噪声类型，在不丢失原始影像的结构信息情况下，高效准确地分离出噪声分量，是设计模型最为重要的因素之一。由于条带噪声存在高光谱影像水平、垂直两个方向梯度域中的方向性和稀疏性特点，通过空间的全局或局部特征，通过稀疏和空间结构联合约束，实现稀疏条带的精准定位和移除，准确地保留原始影像依然是一个重要的课题。

（2）现有的研究主要针对高光谱图像某些特定的噪声去除，比如高斯噪声，稀疏噪声和条纹噪声等类型，而针对多种混合噪声，特别是没有噪声密度估计下的去除方法取得一定的研究成果（Guo W et al.,2013），但混合噪声比较复杂，难以统一模型实现准确降噪。如第 1.2 小节对降噪研究现状描述，如何还原获取的受到混合噪声干扰的高光谱图像真实图像，具有重要的实际应用意义和研究价值。

（3）利用低秩理论和图像噪声的稀疏性，建立空间-光谱联合模型优化去噪方法是目前研究高光谱图像去除噪声的重要方向，具有较为优秀的去噪性能，现成为高光谱遥感图像去噪领域的重要发展和研究热点。然而，现有的基于低秩约束的去噪方法主要以矩阵低秩特征为主，没有很好地利用光谱信息，也没有充分挖掘利用空间和谱间的信息。因此，去噪性能还有较大提升空间。基于上述分析，本文将高光谱图像作为一种―图谱合一‖的三维图像数据，利用强大的张量分解为工具，以张量低秩模型理论为基础，研究如何更加有效地利用空间-光谱融合信息以及影像结构约束和稀疏等特点，以更进一步提升高光谱图像中混合噪声的去除能力，这是现阶段去噪算法的重点，也是以后发展的重要趋势。

二、基于低秩张量的高光谱图像重建理论基础

1.高光谱去噪背景介绍

针对目前高光谱图像降噪算法无法适应多种不明原因的噪声干扰，或者不同光谱波段的噪声强度差异等问题，导致算法的降噪效果不够理想，依然存在众多的问题有待解决。论文针对条带噪声和混合噪声分别提出了多种适应性和鲁棒性较强的降噪方法。为了更好地描述研究内容，本章将介绍基于低秩张量和稀疏恢复理论的基础知识，借助强大的张量分析工具分析高光谱图像内在结构和精准刻画描述影像的低秩性和局部分片光滑性，为高精度和高性能的去噪提供了一种有效的求解处理思路。在后续的阐述中，本章首先综合介绍高光谱图像去噪处理框架技术，然后介绍高光谱影像基于张量分解表达影像具有的内在低秩特性、图像自相似性的高光谱图像先验知识和张量描述等概念，最后简述针对常见的约束优化问题求解方法等理论基础。

2. 高光谱图像的自相似和低秩特性

1) 高光谱图像（HSI）的自相似特性

张良培等(2012)指出图像自相似性也称为非局部相似性，在过去的数十年中，诸多自然灰色或彩色图像去噪方法皆以此为先验基础。根据图像自相似性为先验信息，建立正则化约束方法在许多研究成果中得到了应用，比如 NLM 和 BM3D等方法。同时，这种方法也扩展到了其他类型的图像中，比如彩色图像去噪、超声图像（Ultrasound images）去噪、多光谱图像甚至是高光谱图像去噪等。此外，空间结构相似性在影像中普遍存在，特别是有重复结构、边缘或纹理等存在的影像中。为了更好地说明影像的非局部相似性特点，在图 2-1 中，以Landsat TM 图像的波段影像为例进行了展示。当图像具有很强的自相似性时，比如有很多边缘和规则的纹理，基于非局部自相似性的方法表现出色。从图 2-1 中可以发现，Landsat TM 遥感图像的边缘区域具有较强的自相似性。

在图 2-1 中，a 为例举的 RGB 图像，b 为 a 对应生成的土地覆盖图，包含水，城市和植被等信息；c 为 b 图的黑框区域放大后的非局部自相似图像块，图中的P1、P2、P3 为区域块具有较强的结构相似性。自相似性的量化可进行自相似判定，在判定过程中区域块的相似度逼近则是判定相似的客观标准。自相似度系数则是进行相似逼近判定的标准，该系数越小，则所判定的区域的相似逼近度越高；反之相似逼近度越低。自相似度系数用 S 表示，如式 2-1 所示：

其中 m、n 分别表示所选区域的大小，想、xij、yij表示比较区域的对应点像素值，a(x) 和 a(y) 表示参与比较的 2 个区域的像素平均值。通过比较计算，能算出局部与局部，局部与全局的自相似性。自相似性在一定程度上体现了图像的稀疏性，可间接的作为图像稀疏性的判定指标。高光谱图像所包含的光谱波段多，每个波段分别成像，将所有波段重叠起来，便形成一个图像立方体。包含的波段多，信息冗余度大，自相似性特征极为明显。非局部自相似性可自然地扩展到高光谱图像中，有效的判定并利用高光谱图像的自相似性对于去除的冗余，提取有用的目标信息具有重要的意义。高光谱图像以图像立方体的形式存在，因此使得高光谱图像的自相似和传统的图像自相似性基础上发生了扩展。有如下两种类型：类型一、局部区域光谱自相似，在局部区域相似具有相同的结构和像素值。同一波段图像的局部自相似性，高光谱图像具有波谱合一的特点，每个波段独立成像，因此同一波段的图像内部，存在着局部与局部的自相似性，局部与全部的自相似性。即发生在一个图像的内部自相似。

类型二、全局结构自相似包含整个图像上的邻近块和非局部块，不同波段之间的图像也存在光谱自相似性，即波段的自相关性。相邻的波段之间，普遍存在其对应的图像具有极高的自相似度，表现出极大的波段间图像自相似性。高光谱图像所包含的波段数量很多，少则几十至几百，多则上千乃至几千，因此，在获得了不同波段的图像细节信息的同时，由于自相似性而也产生了较大的冗余信息。

2) 高光谱图像的低秩特性

低秩可以将数据投影到更低维的线性子空间中，用少量的向量就可以表达所有数据，用于描述数据的强相关性和结构信息。其中，矩阵低秩广泛应用在多个领域。在图像处理领域，秩可以理解为图像信息丰富量，基于低秩矩阵理论的方法广泛用于图像处理的应用中，比如去噪、去模糊等。一幅清晰的图像所构成的数据矩阵往往是低秩的或者近似低秩的。由于存在随机幅值任意大但是分布稀疏噪声破坏了数据的低秩特性，基于低秩矩阵恢复模型便可将获取的图像看做一组低秩空间信息表达加上噪声的形式。因此，原有数据可通过低秩矩阵近似估计，达到去除噪声的目的。低秩矩阵的每行或者每列都可以用其他的行或者列线性表示，行列之间表现出较强的线性相关性，这便说明该矩阵包含了大量的冗余信息。利用这种冗余信息可以对含噪图像信息进行恢复，可将多出来的噪声信息去除，还可对错误的图像信息进行恢复。低秩矩阵恢复(low-rank matrix recovery，LRMR)技术作为一种强有力的工具，在视频去噪和人脸识别等诸多领域引起了广泛的关注。

如图 2-2 所示，观测图像采用低秩矩阵恢复模型可以将混合噪声看作稀疏噪声矩阵成分而被分离出来。

以 PAVIA 数据集为例，选取数据集的部分数据块（128×128×40），在每个波段数据块中随机加入高斯和椒盐混合噪声，然后将三维数据块转为二维矩阵形式，得到的奇异值分解分布情况如图 2-3 所示。从图 2-3 中不难看出，没有被噪声干扰的高光谱数据块分解的奇异值幅值下降较快，快速下降到 0 位置附近；而加入噪声的数据块数据分解的奇异值幅值下降速度相比而言要慢一些，在接近于 0 的速度明显要缓慢一些。图 2-3 中的曲线表明，干净的高光谱数据具有强的低秩特性，而带噪声的数据破坏了低秩结构特征，低秩特性表现不够明显。所以，高光谱图像的混合噪声去除问题可以重新解释为一个低秩近似问题。因此，巧妙而紧凑地利用高光谱图像的全局低秩性和非局部自相似性，可以有效地降低高光谱图像降噪的计算复杂度并提高降噪性能。本章后续研究的去噪方法都以高光谱图像的全局低秩性和非局部自相似性为基础。

3. 张量表示

基于高光谱图像的诸多特点，采用传统的向量和矩阵来表示高光谱图像时，表现出诸多不足，需要高维度的数据形式来表达高光谱图像，张量在表示、描述、分析高光谱图像时表现出独特优势。张量又叫做张量代数，其表示形式为：，目前，张量在高光谱影像领域已经获得初步应用，张量可以看作是向量、矩阵三维度上的推广，当用三阶张量表示高光谱影像时，在表达出高光谱图像的精确信息的同时，还能保留高光谱图像的细微细节，表现出极大的方便性和吻合性。如图 2-4 所示。

用张量表示高光谱影像时，其维度可以根据高光谱图像的维度的增加。由于高光谱图像的光谱向量（spectral vectors）具有很好的相关性和冗余性，所以无污染的高光谱图像是低秩的。数据按照某一方向排列的叫做一路阵列，如矢量，标量属于零路阵列。数据按照某两个方向排列的叫做二路阵列，如矩阵。以此类推，张量是一个多路阵列或者多维阵列，可看作是标量、向量、矩阵在数据的表示和组织上的延伸，n 阶张量甚至被叫做 n 维超矩阵（n-dimensional hypermatrix）

1) 三阶张量的表示

最常用的张量为三阶张量，也常被成为三维矩阵，表示成的形式。当I=J=K 时，该三阶张量又被成为立方体。如图 2-5 所示：

三阶张量可表示成矩阵组的形式，降低了维度，可采用矩阵的技术进行处理。如沿着 I（水平），J（侧面），K（正面）方向进行切片，得到不同表示形式的矩阵组。沿水平方向有 I 个水平切面，如式 2-2 所示：

沿侧面方向有 J 个侧面切片，如式 2-3 所示：

沿正面方向有 K 个正面切面，如式 2-4 所示：

从式 2-2、式 2-3、式 2-4 可见，一个三阶张量按照不同的坐标进行切片时，得到的矩阵不同。以此类推，四阶张量可以切成若干个三阶张量的形式，五阶张量可切成若干个四阶张量的形式，n 阶张量可切成若干个 n-1 阶张量的形式，采用同样的方法进行逐层切片，张量最终可以采用矩阵组表达。将张量转化成矩阵或向量，在保证原始数据的基础上实现了降维，便于使用众多成熟的矩阵和向量处理技术，实现了张量数据的间接处理。

2) 张量的代数运算

张量的内积是向量内积的延伸，可以看作是向量内积的推广，张量的内积如下式所示：

*表示复数的共轭，上式可见两个张量的内积是一个标量。由张量的内积可以引伸出张量的范数，如下式所示：

张量的外积，两个张量的外积依然是张量，已经张量外积

表示如下式所示：

4. ADMM 优化模型

本节介绍一种最优化算法——交替方向乘子法（alternating direction method of multipliers，ADMM）。ADMM 是一种目前可以有效求解带有约束的最优化问题求解模型算法，具有功能强大和易解释的特点，可以将复杂的带有约束的全局问题分解为较为简单的局部子问题，具有良好的可分性与收敛性。在高光谱图像的处理过程中，常面临大尺度的等式约束优化求解问题，其中的维数 n 较大。若向量 x 可分解成多个子向量，即 x=(x1,...,xr)，且目标函数也可以分解成如式 2-24 所示：

式中，且于是，大尺度的约束优化问题转化成了分布式优化问题（distributed optimization）。

在众多的优化算法中，交替方向乘子法（alternating direction method of multipliers，ADMM）在处理分布式凸优化的问题中更简单且高效。该算法模型采用分解坐标的方式，将优化问题的求解变成较小的局部子问题的求解，再将子问题的解以协同的方式用于恢复或重构大尺度的约束优化问题。

与目标函数 f(x)的分解对应，等式约束的矩阵 A 也进行分块：A=[A1,...,Ar],。于是增广拉格朗日目标函数可写成下式的形式：

采用对偶上升法，增广拉格朗日目标函数便可进行并行运算的分散算法（decentralized algorithm），如下式所示：

其中 xi（i=1,...,r)可以独立的并行更新。因 xi（i=1,...,r)是交替的方式更新，所以这种增广拉格朗日乘子法又被叫做―交替方向乘子法，即 ADMM 优化算法模型。

ADMM 通过引入辅助变量先将无约束问题转化为有约束问题，然后利用增广拉格朗日目标函数转化为框架子问题，进行计算对有约束最优化问题。由于算法具备良好的处理性能，通用性强，适用范围广，非常适合约束优化的图像处理模型求解，并且算法划分为子问题可以并行化处理，因此该算法在大规模图像问题的计算上效率可以较大提高。

参考文献：

Li J, Yuan Q,Shen H,Zhang L. 2015.Hyperspectral image recovery employing amultidimensional
nonlocal total variation model [J].Signal Process,111:230-248.

Chang Y, Yan L, Fang H, et al. 2015.Anisotropic spectral-spatial total variation model for
multispectral remote sensing image destriping [J]. IEEE Transactions on Image Processing,
24(6): 1852-1866.

Yuan Q, Zhang L, Shen H. 2012.Hyperspectral image denoising employing a spectral–spatial
adaptive total variation model [J]. IEEE Transactions on Geoscience and Remote Sensing,
50(10):3660-3677.

Maggioni M, Katkovnik V, Egiazarian K, et al.2013.Nonlocal transform-domain filter for
volumetric data denoising and reconstruction[J].IEEE Transactions on Image Processing,
22(1):119-133.

Wright J, Ganesh A, Rao S R, et al. 2009.Robust Principal Component Analysis: Exact Recovery
of Corrupted Low-Rank Matrices via Convex Optimization[C]. neural information processing
systems,2009: 2080-2088.

Yuan Q, Zhang L, Shen H. 2014.Hyperspectral image denoising with a spatial–spectral view
fusion strategy [J]. IEEE Transactions on Geoscience and Remote Sensing, 52(5):2314-2325.

Yang J,Zhao Y Q,Chan J C W,et al.2016.Coupled sparse denoising and unmixing with low-rank
constraint for hyperspectral image [J]. IEEE Transactions on Geoscience and Remote Sensing,
54(3):1818–1833.

Guo X, Huang X, Zhang L, et al. 2013.Hyperspectral image noise reduction based on rank-1
tensor decomposition [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 83:50-63.

Liu X , Bourennane S , Fossati C. 2012.Denoising of Hyperspectral Images Using the PARAFAC
Model and Statistical Performance Analysis [J]. IEEE Transactions on Geoscience and Remote
Sensing, 50(10):3717-3724.

Chen Y, He W, Yokoya N, et al. Hyperspectral Image Restoration Using Weighted Group
Sparsity-Regularized Low-Rank Tensor Decomposition[J].IEEE Transactions on Systems, Man,
and Cybernetics, 2019:1-15.

Li X, Ye Y, Xu X, 2017, Low-rank tensor completion with total variation for visual data in
painting [J].in Proc. AAAI Conf. Artif. Intell, pp. 2210-2216.

Chen Y, T Z Huang, X L Zhao. 2018. Destriping of multispectral remote sensing image using
low-rank tensor decomposition [J] .IEEE Journal of Selected Topics in Applied Earth
Observations and Remote Sensing, 99:1-18.

Tamara G Kolda,Brett W Bader.2009.Tensor decompositions and applications [J].SIAM Review,
51(3):455-500