基于深度学习方法与张量方法的图像去噪相关研究

本文探讨了基于张量分解和深度学习的图像去噪技术，包括高光谱图像去噪。深度学习方法如卷积神经网络在图像去噪中表现出色，而结合张量低秩先验的去噪模型能更好地保留图像细节和全局结构。文中还介绍了多种深度学习网络结构及其在去噪中的应用，如DnCNN和FFDNet。此外，文章提到了无监督学习方法，如DeepImagePrior，对于图像恢复问题的新进展。

3.1 Deep plug-and-play prior for low-rank tensor completion

3.2 Hyperspectral Image Denoising via Tensor Low-Rank Prior and Unsupervised Deep Spatial–Spectral Prior

3.3 小结

4 参考文献

1 研究现状

图像去噪（Image Denoising）的目标就是对于给定的一幅含有噪声污染的图像，通过算法复原重建出相应的原始清晰图像。随着近些年来人工智能技术的发展和应用，图像去噪也被赋予了新的内涵和外延，并且在新理论的支撑和各类视觉技术应用的需求下，再一次掀起了研究的高潮。在过去几十年中，学者们通过提出不同类型的图像去噪方法来处理各种类型的含噪图像。

1.1 基于张量分解的高光谱图像去噪

高光谱图像拥有丰富的空间和光谱结构信息，被广泛地应用于军事、城市、航天等多个领域。但图像在采集过程中会受到各类噪声的污染，使得高光谱图像质量严重退化。因此，有必要对高光谱图像进行去噪，从退化图像中恢复出接近原始清晰的图像。

高光谱图像去噪的一种自然方法是将每个波段视为灰度图像，然后采用传统的二维或一维去噪方法逐波段去噪；随后的方法利用相邻的图像像素存在相似性和空间特性，通过全变分正则化方法实现空间分段光滑，对图像的边缘信息进行处理，提高图像复原精准度。这些方法都是为了去除一到两种类型的噪声，然而，在高光谱采集过程中通常会被几种不同类型的噪声所破坏，如高斯噪声、脉冲噪声、死线、条纹等。尽管基于低秩矩阵建模提出了消除噪声混合的方法，但恢复效果并不理想。

将多维高光谱数据转换为向量或矩阵通常会破坏谱空间结构相关性，基于张量建模技术比矩阵化技术更具有优势。利用三阶张量同时捕获光谱空间的非局部相似度和光谱相关性。基于张量的方法基本上保持了固有的结构相关性，具有更好的恢复结果。

张量补全的目的是为了估计多维数据中的缺失值，张量分解作为一种主流的张量补全方法得到了广泛的应用。由于自然图像中存在大量的冗余信息，因此可以视为是低秩的。对于一个低秩的张量，可以用一些尺寸较小的因子张量进行表示，此过程称为张量的分解。通过张量分解实现缺失数据补全的过程主要分为两步：一是训练过程，首先需要因子张量进行初始化，根据多维数据中已知的数据，借助一些优化算法，对这些因子张量进行训练直至模型收敛；二是预测过程，当因子张量训练完成后，张量中的缺失值则可以由这些因子张量计算求得。当前比较有代表性的张量分解方法有Tucker分解、CP分解、T-SVD分解以及Tensor Train分解等。

1.2 基于深度学习的图像去噪算法

近年来在人工智能领域中，大量的研究与实验结果表明，深度学习方法是加快图像处理领域迅猛发展的主要因素。深度学习中的卷积神经网络的结构非常适合去捕获浅层和深层的图像特征，通过自动学习可以获得特定任务所需要的图像特征，结合大规模图像训练集从而获得强大的数据推理能力。在图像去噪领域，基于深度学习的图像去噪算法也得到了迅速的发展，通过设计不同的网络结构和训练方法，从而学习到噪声图像到真实清晰图像之间的非线性映射关系。相较于传统图像去噪方法，基于深度学习的图像去噪方法通常不需要手动设置超参，并且具有更好的去噪效果。

对于深度学习在去噪方面的研究取得的成果并不是一蹴而就的，而是一个不断探索、不断发展的过程。2009 年，Jain 等人[1]首先采用 CNN 的架构进行图像去噪，利用无特定噪声模型合成训练样本进行无监督学习进行图像去噪，它能够取得和小波变换方法相当的去噪性能。2012 年，Burger 等人[2]采用多层感知机模型在大规模数据样本上训练模型实现图像去噪，但是该方法鲁棒性较差，针对不同类型不同强度的噪声都需要使用相对应的图像训练集才可以取得较好的效果。之后，所提出的 CSF[3]和 TNRD[4]将优化求解过程展开，通过数据学习每一层的网络参数，提高了计算效率和去噪效果。Mao 等人[12]在 2016 年提出了基于编解码网络结构的图像去噪方法，在卷积层和反卷积层之间采用跳跃连接，从而可以使用较深的网络层数。Dn CNN 方法[5]在网络层级结构间引入残差学习（Residual Learning）和批归一化（Batch Normalization，BN）[6]技术，从而有效解决了网络层数加深导致的梯度弥散效应，在去噪性能上得到了极大提升。随后提出的 FFDNet[7]在网络结构上进一步改进，其网络输入是噪声图像和噪声等级，经过实验证明，该方法对于非均匀的噪声也有非常好的去噪效果。Noise2Noise[8]，Noise2Viod[9]以及 Noise2Self[10]模型证明了在零均值噪声情况下，神经网络即使仅仅采用带有噪声的大规模图像数据集依旧可以达到接近于使用含有对应“干净”图像的数据集所达到的效果。Ulyanov 等人[11]所提出的 DIP（Deep image prior）无监督图像去噪方法，完全不同于已有的监督学习网络模型，它不依赖于任何图像训练集，仅仅通过推理一张噪声图像的重建规律，从而实现图像去噪，这一方法也取得了较为不错的去噪效果。
上述基于深度学习的图像去噪方法，在针对特定常见类型噪声（如高斯噪声）均有很好的去噪效果，但对于真实图像中较为复杂的噪声类型，其去噪效果则会大打折扣，并且上述大部分方法，都需要超大规模包含噪声图像和“干净”图像对的数据集进行训练。而对于真实图像，我们难以采集到完全“干净”无噪声的图像。

1.3 基于深度学习的高光谱去噪

基于监督学习的方法通常训练DNN [17]以从有噪声的观测中恢复无噪声的HSI，这需要大量成对的训练数据作为基础。Chang等人[18]引入了用于HSI混合噪声去除的深度卷积神经网络（CNN），其中学习的滤波器能够提取局部区域的空间信息，并且这些滤波器的通道能够描述谱相关性。为了充分利用空间-谱相关性，Dong等人[19]提出了一种基于3-D CNN的HSI去噪模型，并采用可分离的3-D卷积来大大减少网络参数的数量。为了更好地适应多级噪声，Yuan等人[20]利用噪声估计网络获得噪声水平，并训练多尺度残差网络用于HSI去噪。上述方法在HSI去噪中取得了令人瞩目的效果。然而，这些方法依赖于配对训练数据集的多样性和容量，而这对于HSI并不总是可用的。基于无监督学习的方法利用由合适的网络架构表示的深度图像先验（DIP）来解决各种图像恢复问题，而不需要任何成对的训练数据[21]，[22]。采用基于无监督学习的方法进行HSI处理可以有效避免训练数据不足的问题;因此，基于无监督学习的方法已经受到越来越多的关注并得到快速发展。Ulyancv等人[23]提出了一种无监督的图像恢复框架DIP。文献[23]的工作表明，合适的网络结构可以从输入的含噪图像本身提取潜在HSI的复杂结构，而不需要任何额外的训练数据。Sidorov和Hardeberg [24]将DIP扩展到HSI处理（例如：去噪、补绘和超分辨率）。受线性混合模型的启发，Miao等人[25]提出了一种无监督的HSI去噪框架，该框架由解纠缠的空间谱深度先验指导。这些基于DIP的方法在HSI去噪中具有良好的性能，并且保留了局部特征。