【论文阅读】Single color image super-resolution using sparse representation and color constraint

论文地址

1、论文

摘要：

基于稀疏表示模型的彩色图像超分辨率重建通常采用正则化范数（如 L1 或 L2）。这些方法在一定程度上保持图像纹理细节的能力有限，容易导致彩色重建图像出现细节模糊和颜色伪影的问题。本文提出了一种将 L2/3 稀疏正则化模型与颜色通道约束相结合的颜色超分辨率重建方法。该方法将低分辨率彩色图像从 RGB 转换为YCbCr。 L2/3 稀疏正则化模型旨在重建输入低分辨率彩色图像的亮度通道。然后采用颜色通道约束方法去除重建的高分辨率图像的伪影。该方法既保证了彩色图像细节的重建质量，又提高了彩色伪影的去除能力。自然图像的实验结果证实我们的方法改善了主观和客观评价。
关键词：彩色图像，稀疏表示，超分辨率，L2/3 正则化范数，颜色通道约束。

1. 引言

单图像超分辨（SR）重建通过退化和低分辨率（LR）观测恢复原始图像缺失的高频细节。SR重建有望克服LR图像固有的分辨率限制，使重建的高分辨率（HR）图像能够呈现更好的视觉效果[1，2]。

单图像 SR 是一个未确定的逆问题，因为它的解决方案不是唯一的。可以通过向解决方案空间添加强大的先验信息来缓解此问题。为了学习先验，基于学习的SR战略近年来受到广泛关注[3，4]。基于学习的SR重建方法可以使充分利用LR图像的先验信息和通过学习获得的先验信息。即使放大倍数很高，也可以获得更好的重建结果。因此，基于学习的SR是许多实践应用最有前途的方法之一。有一些基于学习的代表性方法，例如基于神经网络的方法[5，6]，基于稀疏编码的方法[7 – 9]和基于锚定邻域规则的方法[10，11]。

传统的SR方法集中在灰度图像上。然而，在过去几年中，随着彩色成像和显示设备的快速发展，对单色图像SR的需求越来越大。因此，彩色图像SR在高清数字电视、遥感监控、移动互联网、医疗、文物保护与展示等方面具有重要的应用前景[6，12]。这使得彩色图像SR重构成为亟待解决的问题。

SR任务中使用的彩色图像重建方法有两类：基于联合颜色通道的方法和基于转换颜色空间的方法。

1.1 基于联合色彩通道的SR方法

将要重建的彩色图像的三个通道连接成一个整体，期望减少重建彩色图像的色彩伪影。Xu等人[12]采用四元数矩阵来表示彩色图像。他们提出了一种基于四元数的稀疏字典学习算法，该算法用于SR.Yang等人[13]将RGB通道重新设置为单个向量，并通过新的去定义内积加强了RGB通道之间的联系。Cheng等人[14]提出了一种基于群稀疏表示的单图像SR算法。在训练SR字典时，该算法将图像补丁的三个颜色通道视为由三个原子组成的组。在表示映像修补程序时，将单独选择整个组，以便可以保留颜色通道之间的相关性。

这些方法的实现很复杂。当训练稀疏字典时，这些方法通常对每个颜色通道使用相同的稀疏表示，这可能导致获得的稀疏二元表示包含更多的灰色原子。因此，它会导致那些重建的HR色彩老化中出现一些色彩伪影。

1.2 基于转换颜色空间的SR方法

根据人眼对彩色图像的亮度分量更敏感的特点，这些方法将RGB图像转换到其他可以分离亮度和色度通道的颜色空间（例如YCbCr，Lab或HSI） ).杨等。 [7] 将彩色图像转换为 YCbCr 颜色空间。他们使用稀疏 SR 算法仅重建亮度层。杨等。 [15] 基于自学习和数据驱动的方法建立了 HR 和 LR 图像块对的生成模型，使用支持向量回归生成 HR 图像的亮度通道。许等。 [16] 提出了一种 SR 方法，该方法自适应地组合颜色通道以获得重要的纹理信息。他们将信息集成到亮度分量中，并采用改进的全变分正则化方法来抑制重建的 HR 图像的伪影。

基于转换颜色空间的 SR 重建方法通过使用 SR 重建方法处理彩色图像的亮度信息灰色图像。它可以降低 SR 问题的复杂性，同时基本保证彩色图像重建的质量。然而，这些方法可能完全忽略多个颜色通道之间的相互关系，这很可能会丢失重建结果的一些图像细节。

在本文中，我们提出了一种用于彩色图像的混合稀疏SR重建方法。所提出方法的主要贡献包括两个方面。
• 首先，采用L2/3稀疏正则化模型重构HR图像的亮度分量。这种策略将导致 SR 问题的解更加稀疏。
• 其次，利用RGB颜色通道间的边界相似性约束来消除重建彩色图像的颜色伪影，使重建彩色图像呈现出更好的视觉效果。
实验结果验证了我们方法的有效性。

本文的其余部分安排如下。
第 2 节描述了所提出方法的细节。
第 3 节给出了彩色图像 SR 重建的实验结果。
最后，我们在第 4 节中得出结论。

2. 提出的单色图像超分辨率算法

本节将分析提出的混合稀疏重建算法。该算法可以分为两步。
• 第一步，将 LR 彩色图像转换为 YCbCr 色彩空间。
L2/3 稀疏正则化模型用于重建 HR 彩色图像的 Y 分量。 HR 图像的 Cb 和 Cr 分量通过双三次插值进行插值。
• 在第二步中，使用 RGB 颜色通道之间的边界相似性约束来建立基于稀疏表示的颜色伪影去除模型。

2.1 基于L2/3正则化范数的稀疏表示

模型彩色SR重构的目的是用输入的LR彩色图像重建HR彩色图像。
基于稀疏表示模型，对于每个输入 LR 补丁 y，将找到一个稀疏表示向量，该向量相对于从 LR 补丁训练的字典 Dl。找到 y 的最稀疏表示向量的问题可以表示为

其中∥·∥0 是 L0 范数。α是稀疏表示向量。

然后，输出的HR补丁x将根据从HR补丁训练的向量α和Dh生成。

优化 （1） 是一个 NP 难题。解决问题通常是棘手的。因此，众所周知，L1正则化方法广泛用于学习SR稀疏字典和SR重建。L1稀疏优化问题表述为：

L1正则化问题可以转化为等效凸二次优化问题，可以有效地求解。
然而，L1正则化可能会在稀疏反应系数估计中产生额外的偏差。它往往会导致通常不够稀疏的溶解，并且很容易无法为受噪声影响的输入图像数据获得良好的稀疏近似结果。
L2/3正则化[17]证明了它可以进一步有效地诱导向量的稀疏性。L2/3正则化对稀疏表示中的噪声更鲁棒，并且比L1正则化的解决方案更稳定。

因此，我们的算法基于L2/3正则化构建了一个联合稀疏SR二元模型，如下所示：

其中 ·2/3 是 L2/3 范数。 λ 是一个正则化参数，可以平衡解的稀疏性和近似到 y 的保真度。 D = Dl/N Dh/M 表示 HR/LR 字典对。y = Yl/N Yh/M 表示 HR/LR 训练样本补丁，{N，M} 分别表示 LR 和 HR 图像补丁的维度。
为了训练HR/LR字典对，在稀疏编码阶段采用闭式阈值方法[17]，在字典原子更新阶段采用K奇异值分解方法[18]。

2.2 去除彩色HR重建图像的色彩伪影

由于第2.1节中提出的算法仅重构了彩色LR图像的Y通道，因此不考虑色度通道之间的相关性，这可能会使彩色伪影出现在重建的HR图像中。事实上，大多数自然图像的高频空间组成在RGB通道中具有很强的相关性，因此利用边界一致性方法[19]获取了每个颜色通道的边界信息。我们打算加强彩色图像的补间颜色通道之间的相关性，从而消除重建的HR图像的色彩伪影。RGB颜色通道之间的边界相似度模型可以表示为

其中r，g和b表示R，G和B通道。F（Fr，Fg，Fb）是高通滤波器。这些约束可以从根本上加强HR补丁颜色通道之间的边缘信息相似性。

而且，对应于每个独立颜色通道的稀疏表示向量的这些约束可以表示为

其中DCr、DCg和DCb分别表示对应于每个颜色通道的稀疏字典。
问题（5）对于不同颜色通道不是不依赖的，可以通过解决以下优化问题来共同估计：

其中下标 k 表示 R、G 和 B 颜色 chan- nels。β和γ是正则化参数。问题（6）可以最小化为凸稀疏约束优化问题。我们采用快速迭代收缩阈值算法[20]来解决这个问题。然后，可以通过x=DC α获得彩色HR图像块。

2.3 彩色LR图像SR重建

本文结合稀疏模型和色痕约束模型进行彩色图像SR重建。整个SR过程总结为算法1.

算法1基于稀疏表示和颜色约束的彩色图像SR重建。
YCbCr空间：
（i）输入：训练词典Dl和Dh，颜色LR图像Yl。
（ii）将彩色LR图像Yl转换为YCbCr颜色空间。√ √
（iii）亮度层分为√n×n个色块，相邻色块有n-1像素的重叠。
a.计算补丁 y 的平均像素值 m。
b.优化问题求解如下：

可以得到稀疏系数α。
c. HR 补丁由 （8） 生成。

（iv） 融合所有 HR 补丁，生成 HR 亮度层。采用双三次插值法重构色度层Cb和Cr。然后，将获得初始HR重建图像x。

RGB空间：
（i）输入：颜色恢复字典DC，以及初始HR重建图像x√ √。
a.图像 x 分为 n 个× n 个补丁。
b.Solving the optimization problem (6) and α is got.
c. Solve x = DC α and obtain the color image patch x.
（ii） 融合所有彩色图像色块，将生成 HR 颜色 im- age X。
（iii） 输出：HR重建图像 X.

3. 实验结果与分析

在本节中，我们首先讨论了所提出算法的两个影响因素，包括训练字典的大小和正则化参数λ。然后，我们将所提出的方法与几种 SR 方法进行比较，即双三次插值 (BI)、稀疏编码 SR (ScSR) [7]、非局部集中 SR (NCSR) [21] 和多颜色通道 SR (MCcSR) [19] ]. BI代表了最常见的重建方法。 ScSR 是一种稀疏重建方法，它采用学习的联合词典来重建 HR 图像。 NCSR 是一种基于新型非局部集中稀疏表示的稀疏 SR 方法。 MCcSR 是一种颜色 SR 方法，通过学习鼓励边缘相似性的颜色词典。SR 联合词典使用与 [7] 相同的训练集进行训练。

图 1 中的测试图像选自常用的数据集，如 Set5、Set14 等。通过在峰值信噪比（PSNR）和结构相似性（SSIM）中使用视觉和定性来评估各种方法的重建图像。为了获得定量结果，我们仅将 PSNR 和 SSIM 应用于重建的 HR 图像和原始 HR 图像的亮度通道。

图2显示了正则化参数λ对蝴蝶图像重建结果的影响。从图 2 中，我们可以很容易地得到 PSNR 随着 λ 从 1.5 到 2.0 的变化而迅速增加，然后达到 1.8 附近的最大值。因此，我们在后续实验中将λ的值设置为1.8。

图3评估了不同字典大小对重建结果的影响。显示了使用不同大小的字典重建的自行车图像的结果。我们训练四个词典，大小分别为 128、256、512 和 1 024。我们将字典应用于相同的输入图像。我们还使用100 000个图像补丁作为字典进行比较。我们可以看到，随着字典大小的快速增加，PSNR的增长并不高。将联合词典的训练时间与重建图像的质量进行比较，我们选择了大小为 512 的稀疏字典。

为了验证所提方法的有效性，我们将我们的方法与几种方法进行了比较。我们使用 100，000 个大小为 6×6 的 HR/LR 补丁，并带有 4 像素的超圈数来训练联合词典。我们设置上采样因子为 2，迭代为 20。实验结果如表1所示。从表1中，我们可以看到我们的方法在PSNR和SSIM值上比其他方法取得了更好的结果。

图4是上述五个实验的重建结果之一。可以看出，BI算法产生平滑的边缘并丢失一些细节，使重建的图像看起来非常模糊。ScSR算法取得了较好的重建效果，但在重建图像中产生了一些明显的色彩伪影。NCSR 算法重建了一个良好的结果，没有明显的色彩伪影，但对于细节更丰富的区域，结果过度平滑，因此会丢失一些细节。MCcSR算法可以很好地重建彩色图像的颜色信息，但重建图像中仍然存在一些伪影。值得指出的是，通过我们的方法重建的纹理是最自然的。此外，重建的图像边缘清晰度大大提高。HR图像边缘区域的一些明显伪像被有效去除。产生平滑的边缘并丢失一些细节，使重建的图像看起来非常模糊。ScSR算法取得了较好的重建效果，但在重建图像中产生了一些明显的色彩伪影。NCSR 算法重建了一个良好的结果，没有明显的色彩伪影，但对于细节更丰富的区域，结果过度平滑，因此会丢失一些细节。MCcSR算法可以很好地重建彩色图像的颜色信息，但重建图像中仍然存在一些伪影。值得指出的是，通过我们的方法重建的纹理是最自然的。此外，重建的图像边缘清晰度大大提高。HR图像边缘区域的一些明显伪像被有效去除。

4. 结论

基于稀疏表示模型的彩色图像SR重构采用正则化范数（如L1或L2），导致稀疏解通常不够稀疏。此外，颜色通道相关性的先验信息往往被忽视。该文提出一种基于L2/3稀疏正则化模型和颜色通道约束的SR重构算法。该方法不仅采用基于L2/3正则化范数的稀疏模型重构LR图像，而且利用颜色通道相关约束模型消除了重构图像中的彩色伪影。从而提高了SR重建效果和重建彩色图像的保真度。实验结果表明，该方法能够实现与其他