多维图像去噪方法研究

一、背景介绍

由于传感器技术的快速发展，高光谱（HS）遥感（RS）成像为飞机等数据采集设备远距离观测和分析地球表面提供了大量的空间和光谱信息，航天器和卫星。 HS RS 技术的最新进展甚至革命为实现各种应用的全部潜力提供了机会，同时面临着有效处理和分析大量 HS 采集数据的新挑战。对诸如彩色图像、彩色视频、多光谱图像和磁共振图像之类的多维图像进行滤波在有效性和效率方面都是具有挑战性的。利用图像的非局部自相似性（NLSS）特性和变换域的稀疏表示，基于块匹配和3D滤波（BM3D）的方法显示出强大的去噪性能。最近，提出了许多具有不同正则化项、变换和高级深度神经网络（DNN）架构的新方法来提高去噪质量。在本文中，广泛比较了60多种方法在合成和真实世界的数据集。引入了一个新的彩色图像和视频数据集进行基准测试，评估是从四个不同的角度，包括定量指标，视觉效果，人类评级和计算成本。综合实验证明：（i）BM3D系列用于各种去噪任务的有效性和效率，（ii）与张量算法相比，简单的基于矩阵的算法可以产生类似的结果，以及（iii）用合成高斯噪声训练的几个DNN模型在现实世界的彩色图像和视频数据集上显示出最先进的性能。

高光谱去噪

观察到的 HS 图像经常被混合噪声破坏，包括高斯噪声、椒盐噪声和死线噪声。 HS 图像的几种噪声类型如图 5 所示。HS 图像丰富的空间和光谱信息可以通过 LR 属性、稀疏表示、非局部相似性和总变差等不同的先验约束来提取。 HS去噪引入了不同的LR张量分解模型。因此，一种或两种其他先验约束与这些张量分解模型相结合。

HS图像复原示意图

1) LR 张量分解：

LR 张量分解方法分为两类：1) 基于分解的方法和 2) 基于秩最小化的方法。前者需要预定义等级值并更新分解因子。后者直接最小化张量秩并更新 LR 张量。

(1) Factorization-based approaches

HS图像去噪文献中使用了两个典型代表，即Tucker分解和CP分解。考虑了高斯噪声并提出了 LR 张量近似 (LRTA) 模型来完成 HS 图像去噪任务：

然而，Tucker 分解相关算法之前手动预定义所有模式的多个等级，这在现实中是棘手的。在等式中，Tucker分解约束很容易被其他张量分解替代，比如CP分解使用并行因子分析 (PARAFAC) 分解算法，仍然假设 HS 图像被高斯白噪声破坏。通过 rank-1 张量分解提出了 HS 图像降噪模型，该模型能够提取信号主导特征。但是，最小数量的rank-1因子被用作CP秩，需要较高的计算成本来计算。

(2) Rank minimization approaches

直接最小化张量秩，可以表述如下：

其中 rank(X ) 表示 HS 张量 X 的秩，包括不同的秩定义，如 Tucker 秩、CP 秩、TT 秩和 tubal 秩。由于上述秩最小化属于非凸问题，这些问题是 NP 难计算的。核范数一般用作非凸秩函数的凸代理提出了一种与管状秩相关的 TNN 来表征多线性数据的 3-D 结构复杂性。基于 TNN，提出了一种 LR 张量恢复 (LRTR) 模型来去除高斯噪声和稀疏噪声：

 [1] 将非凸对数代理函数应用于 TTN 以完成张量和（张量稳健主成分分析）TRPCA 任务。 [2] 沿三个方向探索了张量的 LR 特性，并提出了两个张量模型：一个三向 TNN (3DTNN) 和一个三向基于对数的TNN (3DLogTNN) 作为其凸和非凸松弛。尽管这些纯 LR 张量分解方法利用了 HS 图像的 LR 先验知识，但由于缺乏其他有用信息，它们很难有效抑制混合噪声。

[1]J. Xue, Y. Zhao, W. Liao, and J. C.-W. Chan, “Nonconvex tensor rank minimization and its applications to tensor recovery,” Inf. Sci., vol. 503, pp. 109–128, 2019.

[2]Y.-B. Zheng, T.-Z. Huang, X.-L. Zhao, T.-X. Jiang, T.-H. Ma, and T.-Y. Ji, “Mixed noise removal in hyperspectral image via low-fibered-rank regularization,” IEEE Trans. Geosci. Remote Sens., vol. 58, no. 1, pp. 734–749, 2020.

2）其他先验正则化LR张量分解：

各种类型的先验与LR张量分解模型相结合，以优化模型解决方案，包括非局部相似性、空间和光谱平滑度、空间稀疏性、子空间学习等

基于非局部 LR 张量的方法的流程图

华盛顿特区的空间平滑特性：(a) 原始波段，(b) 沿空间水平方向的梯度图像，(c) 沿空间垂直方向的梯度图像，(d) 沿光谱方向的梯度图像。

子空间表示的示意图

二、张量分解

自 1980 年代以来，HS RS 成像逐渐成为 RS 领域最重要的成就之一 。与最初的单波段全色图像、三波段彩色 RGB 图像和多波段多光谱 (MS) 图像不同，HS 图像包含数百个窄而连续的光谱波段，这是由光谱成像的发展推动的设备和提高光谱分辨率。 HS 光谱的较宽部分可以从紫外线扫描，延伸到可见光谱，并最终到达近红外或短波红外 。 HS 图像的每个像素都对应一个光谱特征，反映了被观察物体的电磁特性。这使得能够以更准确的方式识别和区分底层对象，特别是一些在单波段或多波段 RS 图像（如全色、RGB、MS）中具有相似属性的对象。因此，HS图像丰富的空间和光谱信息极大地提高了地球观测的感知能力，这使得HS RS技术在精准农业（例如监测农作物的生长和健康）等领域发挥着至关重要的作用，太空探索（例如，寻找其他行星上的生命迹象）、污染监测（例如，检测海洋漏油）和军事应用（例如，识别军事目标）。在过去的十年中，在数据采集后处理和分析 HS RS 数据方面付出了巨大的努力。初始 HS 数据处理考虑每个波段的灰度图像或每个像素的光谱特征。一方面，每个HS光谱波段被视为一个灰度图像，传统的二维图像处理算法直接逐波段引入[3]，[4]。另一方面，具有相似可见特性（例如颜色、纹理）的光谱特征可用于识别材料 。此外，采用广泛的基于低秩 (LR) 矩阵的方法来探索光谱通道的高度相关性，假设展开的 HS 矩阵具有低秩 [5]-[7]。给定大小为 h×v×z 的 HS 图像，展开的 HS 矩阵 (hv×z) 的恢复通常需要奇异值分解 (SVD)，这导致高的计算成本。与矩阵形式相比，张量分解以可容忍的计算复杂度增量实现了出色的性能。然而，这些传统的 LR 模型将每个光谱带重塑为矢量，导致 HS 图像固有的空间光谱完整性遭到破坏。张量分解以可容忍的计算复杂度增量获得了优异的性能。然而，这些传统的LR模型将每个光谱波段重塑为一个向量，导致HS图像固有的空谱完备性遭到破坏。为了缩小HS任务与先进数据处理技术之间的差距，需要确定HS图像的正确解释和智能模型的适当选择。当HS图像建模为三阶张量时，同时考虑二维空间信息和一维光谱信息。

[3]M. Elad and M. Aharon, “Image denoising via sparse and redundant representations over learned dictionaries,” IEEE Trans. Image Process., vol. 15, no. 12, pp. 3736–3745, 2006.

[4] L. I. Rudin, S. Osher, and E. Fatemi, “Nonlinear total variation based noise removal algorithms,” Physica D: Nonlinear Phenom., vol. 60, no. 1, pp. 259–268, 1992.

[5]H. Zhang, W. He, L. Zhang, H. Shen, and Q. Yuan, “Hyperspectral image restoration using low-rank matrix recovery,” IEEE Trans. on Geosci. Remote Sens., vol. 52, no. 8, pp. 4729–4743, Aug. 2014.

[6] J. Peng, W. Sun, H.-C. Li, W. Li, X. Meng, C. Ge, and Q. Du, “Lowrank and sparse representation for hyperspectral image processing: A review,” IEEE Geosc. Remote Sens. Mag., pp. 2–35, 2021.

[7] E. J. Candes and T. Tao, “The power of convex relaxation: Near-optimal matrix completion,” IEEE Trans. Inf. Theory, vol. 56, no. 5, pp. 20532080, 2010.

张量分解起源于Hitchcock在1927年的工作[ 8 ]，涉及众多学科，但最近10年在信号处理、机器学习、数据挖掘和融合等领域蓬勃发展[ 9 ] ~ [ 11 ]。早期的综述集中于两种常见的分解方式：Tucker分解和CANDECOMP /平行因子分析算法( CP )分解。2008年，这两种分解首次被引入到HS复原任务中，用于去除高斯噪声[ 12 ]、[ 13 ]。基于张量分解的数学模型避免了对原始维度的转换，也在一定程度上增强了问题建模的可解释性和完备性。考虑HS RS中不同类型的先验知识(例如,空间域的非局部相似性、空间和光谱平滑性)，并将其纳入张量分解框架。

[8]F. L. Hitchcock, “The expression of a tensor or a polyadic as a sum of products,” J. Math. Phys., vol. 6, no. 1-4, pp. 164–189, 1927.

[9] T. G. Kolda and B. W. Bader, “Tensor decompositions and applications,” SIAM Rev., vol. 51, no. 3, pp. 455–500, 2009.

[10] E. E. Papalexakis, C. Faloutsos, and N. D. Sidiropoulos, “Tensors for data mining and data fusion: Models, applications, and scalable algorithms,” ACM Trans. Intell. Syst. Technol., vol. 8, no. 2, oct 2016.

[11] N. D. Sidiropoulos, L. De Lathauwer, X. Fu, K. Huang, E. E. Papalexakis, and C. Faloutsos, “Tensor decomposition for signal processing and machine learning,” IEEE Trans. Signal Process., vol. 65, no. 13, pp. 3551–3582, 2017.

[12] N. Renard, S. Bourennane, and J. Blanc-Talon, “Denoising and dimensionality reduction using multilinear tools for hyperspectral images,” IEEE Geosci. Remote Sens. Lett., vol. 5, no. 2, pp. 138–142, 2008.

[13] X. Liu, S. Bourennane, and C. Fossati, “Denoising of hyperspectral images using the parafac model and statistical performance analysis,” IEEE Trans. Geosci. Remote Sens., vol. 50, no. 10, pp. 3717–3724, Oct. 2012.

用于 HS 数据处理的基于主要张量分解的方法的分类

三阶张量的六个张量分解：(a) Tucker 分解，(b) CP 分解，(c) BT 分解，(d) t-SVD，(e) TT 分解，(f) TR 分解

Tucker decomposition[14]        

N 阶张量的 Tucker 分解定义为：

表示核心张量