一种无参考的通用立体图像质量度量方法
摘要
立体图像在图像处理领域已成为一种吸引人的工具。然而，与二维图像类似，这类图像也会受到某些类型退化的影响。本文关注这些退化类型中的一些对感知质量的影响，并提出一种新的基于退化识别和特征融合步骤的无参考立体图像质量度量（SNR-IQM）框架。该方法采用了支持向量机（SVM）模型。我们使用3D LIVE图像质量数据集评估了我们的方法预测主观评价的能力，并与一些被视为最先进的最新方法进行了比较。实验结果表明了我们工作的有效性。
关键词
立体图像质量 · 退化识别 · 主观判断 · 融合
1 引言
由于3D显示器的出现，越来越多的图像质量领域研究人员将工作重点放在适用于此类图像的质量度量开发上[1]。与2D图像类似，立体图像也可能受到一些常见类型的退化影响（如块效应和振铃效应、噪声、模糊等）。实际上，其传输过程相对一致（编码、压缩、传输等）。目前主要有三种方法：全参考（FR）[2]，使用原始图像和降质图像；降参考（RR）[3]，仅利用原始图像的部分特征；无参考（NR）[4]，仅使用降质图像。需要注意的是，目前文献中实际提出的无参考质量度量较少。
如[5]中所述，目前我们区分了两种主要策略来评估立体图像的质量。第一种策略是利用并结合一些选定的二维图像质量指标，而不添加任何其他信息[6]。第二种策略是在质量评估过程中考虑视差信息。需要注意的是，即使在这种情况下，通常也经常使用二维图像质量指标[7]。
本研究通过构建一个新框架，专注于无参考的立体图像质量度量。我们提出从某些选定的度量，一种质量测量方法通过结合步骤获得的结果根据退化识别步骤，已将其与一些近期的方法进行了比较。本文的组织结构如下：第2节描述了所使用的3D数据集。第3节介绍了该方法，第4节中接着介绍了实验结果，随后被展示并讨论，并在第5节中得出一些结论和评述。
2 使用的3D图像数据库
我们的方法已经测试，并使用3D LIVE图像质量数据集[8]。注意，一些其他数据库也可用[9]。我们的选择基于所包含退化类型的数量。该数据库由365对降质图像组成，从中提取了五个不同的退化类型（80对图像，JPEG2000压缩立体图像（使用Kakadu编码器）、JPEG压缩立体图像（MATLAB函数：imwrite）、白噪声（MATLAB函数：imnoise）、模糊（45对图像）以及快速衰落（80对图像，经JPEG2000压缩后通过瑞利衰落信道模拟）。
主观评分（DMOS），这些被视为所开发度量的真实基准，也一并提供。一个示例见图1。
3 提出的方法
如上所述，本研究的目标是开发一种盲度量，能够预测给定图像对的质量。这里仅考虑更常见的退化类型。该方法基于两个主要步骤（见图2）。
3.1 退化识别
此步骤的目标是识别给定退化的立体图像中所包含的退化类型。为此，首先提取一些特征，然后将其用作分类器的输入。文献中提供了大量可用的特征。这些特征必须能够很好地表征每种退化类型。本文提出使用几种常见的2D度量，这些度量最初是为了预测给定退化下的感知质量而开发的。其中一些是基于频率的，而另一些则在空间域中计算（见表1）。
为了识别并选择更合适的度量，使用了以高斯函数为核的多类（一对所有）SVM分类器，该分类器可在[16]中访问。采用了五折交叉验证方法。因此，输入数量等于6。所得结果在第4节中进行了展示和讨论。
| 退化类型 | 特征数量 | 基于 |
|---|---|---|
| 噪声 | 3 |
空间[10]
离散余弦变换[11] 空间[12] |
| Blur | 1 | 空间[13] |
| 块效应 | 1 | 快速傅里叶变换[14] |
| 振铃 | 1 | 小波[15] |
3.2 按退化类型的立体图像质量度量
一旦识别出退化类型，便使用相应的度量来估计每幅立体图像的质量。此外，为了提高性能，还结合了若干选定的度量，从而针对每种退化类型获得一个比其他度量更适应且更高效的度量。需要注意的是，此处的指标值是从独眼图像计算得到的。本节将介绍独眼图像的计算过程以及针对所有考虑的退化类型所选择的度量。
3.2.1 独眼图像 (CI)
双眼竞争是一种众所周知的视觉感知现象，当呈现给左眼和右眼的两个图像差异足够大时，该现象就会出现。每次只能看到其中一个图像（一个占主导地位，另一个被抑制）。文献中已提出了多种环视图像（CI）模型。本文采用了[5]中提出的模型。作者提出了一种改进的Levellt模型[17]，该模型考虑了局部权重和双视图的强度。该图像按如下方式计算：
$$
CI(x,y) = WL(x,y) \cdot IL(x,y) + WR(x+d,y) \cdot IR(x+d,y)
$$
其中CI表示独眼图像，IL和IR分别为左右视图。WL和WR是由归一化的伽abor滤波器幅值响应计算得到的权重系数，d表示视差指数。
3.2.2 组合步骤
表2展示了针对每种考虑的退化类型所选择的特征。对于每种退化类型，均使用了一个支持向量机模型来组合这些选定的特征。在识别步骤中，同样采用了具有相同类型核函数的五折交叉验证方法。
最后，我们方法的整体架构由5个支持向量机模型组成（1个用于分类，4个用于组合），每个模型具有不同数量的输入。
| 退化类型 | 每个de的特征数量 | 渐变类型 | 基于 |
|---|---|---|---|
| 噪声 | 4 |
空间[10]
离散余弦变换[11] 空间[12] 空间[18] | |
| Blur | 1 | 空间[19] | |
| 块效应 | 2 |
快速傅里叶变换[20]
快速傅里叶变换[14] | |
| 振铃 | 3 |
小波[15]
快速傅里叶变换[21] 空间[13] | |
| ## 4 实验结果 |
我们的方法与一些常见的立体图像度量进行了比较。每种方法的简要描述如下：
- 阿赫特等人[2] ：提出了一种针对JPEG编码立体图像的无参考图像质量评估方法。该方法基于对伪影和视差的局部信息提取（如边缘、块效应、模糊等）。
- 贝努瓦等人[22] ：该方法基于二维质量指标（原始图像和失真图像之间的差异）与深度信息（对应视差图之间的差异）的结合。SSIM[23]和C度量[24]被选为二维图像质量指标。
- 休瓦吉等人[4] ：提出了一种基于PSNR的Reduced Reference图像质量度量。此处同样利用了视差信息。首先从参考深度图及其失真版本中提取边缘，然后比较得到的二值边缘图，并用于生成质量指数。
- 尤等人[25] ：作者提出通过融合视差信息，研究二维图像质量指标估计立体图像质量的能力。共使用了十一种二维图像质量指标。
- 哈奇查等人[26] ：作者提出了一种基于人类视觉系统（HVS）某些特性的立体图像质量评估方法。首先，使用一些常见的HVS模型（如[27]中所述的对比度敏感函数、皮层变换和掩盖模型）计算参考图像和失真图像的感知版本。然后计算双目恰可察觉差异（BJND）模型，并用于推导出质量指数。
在本节中，我们首先展示第3节中的分类率，然后展示与主观评价的相关性。
4.1 分类率
表3显示了获得的混淆矩阵。所有退化类型的分类值均较高，且优于80%。然而，对于振铃、快速衰落和模糊失真类型，可以观察到一些混淆现象。这些混淆主要源于这些退化之间的相似性。事实上，振铃效应可定义为高对比度区域周围的振荡。然而，根据比特率的不同，可能会出现模糊，这解释了振铃与模糊之间的混淆程度高于振铃与快速衰落之间的原因。对于快速衰落失真也可得出相同的观察结果。需要注意的是，快速衰落退化类型也被考虑在内，因为它由模糊和振铃效应组成。因此，我们可以利用所选特征对其进行表征。
| True类别 (%) / 估计的类别 (%) | 噪声 | 块效应 | 振铃 | Fast衰落 | Blur |
|---|---|---|---|---|---|
| 噪声 | 100 | 0 | 0 | 0 | 0 |
| 块效应 | 0 | 100 | 0 | 0 | 0 |
| 振铃 | 0 | 0 | 92.5 | 2.5 | 5 |
| 快速衰落 | 0 | 0 | 6.25 | 85 | 8.75 |
| Blur | 4.44 | 0 | 8.88 | 4.44 | 82.22 |
我们还可以看到，模糊与不同类别（噪声、振铃、快速衰落）混淆。对于噪声，这可能是由于所选特征无法完全区分各类别。总体分类率为92.88%，该值更高且有效。
4.2 相关性结果
为了评估我们的方法与主观评分的相关性，采用了五折交叉验证原则（训练时占80%，测试时占20%）。
作为评估标准，使用皮尔逊线性相关系数（PCC），其计算方式如下：
$$
CORR_i = \frac{\sum_{k=1}^{K}(SFRIQM(k)
i - \overline{SFRIQM_i})(DMOS(k)_i - \overline{DMOS_i})}{\sqrt{\sum
{k=1}^{K}(SFRIQM(k)
i - \overline{SFRIQM_i})^2} \cdot \sqrt{\sum
{k=1}^{K}(DMOS(k)_i - \overline{DMOS_i})^2}}
$$
其中，$i$ 表示第 $i$th 种退化类型。$k$ 表示第 $k$th 幅图像，$K$ 是实验中考虑的图像对总数。SFRIQM 对应客观评分，而 DMOS 是主观评分。
表4显示了每种考虑的退化类型的获得的PCC值。对于无参考和全参考方法，最佳PCC分别用红色和蓝色表示，而无论采用何种方法的最佳结果则用黑色背景表示。获得的值较高，除了块效应外，其相关性较低。对于快速衰落，所获得的结果接近于最佳指标（哈奇查的方法）。
| 方法 | 退化类型 |
|---|---|
| 噪声 | |
| ------ | ------ |
| NR 我们的方法 | 0.9612 |
| NR 阿赫特尔 | 0.9047 |
| FR 休厄奇 | 0.9253 |
| FR You | 0.8955 |
| FR 贝诺瓦 | 0.9412 |
| FR 哈奇查 | 0.9502 |
与无参考度量（Akhter的方法）相比，我们的方法在除块效应（0.7294）之外的所有情况下均提供了更好的结果，其中PCC值较低（0.6657）。需要注意的是，该度量（Akhter的方法）是针对此特定退化类型（块效应）开发的。此外，在所有被比较的度量（无参考和全参考方法）中，块效应上的PCC值普遍偏低。而对于其他退化类型，则获得了较高的相关性。
与全参考度量相比，噪声、模糊、块效应和振铃退化的结果更优。对于快速衰落，我们的方法优于所有对比方法，除了Hachicha的方法。所获得的PCC值略低于Hachicha的方法。需要记住的是，这类度量（FR）使用原始图像来预测质量，而无参考度量（我们的方法）仅使用退化图像。
5 结论与展望
本文提出了一种基于分类和融合步骤的无参考立体图像质量度量。我们的方法通过分类以及与主观评分的相关性进行了评估。所获得的相关性表明了所提出框架的有效性，并且优于大多数对比方法。
作为展望，我们将考虑其他类型的退化，并尝试使用特征选择方法以提高性能。
扫一扫
18
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
