基于梯度与距离变换的图像质量评估

基于梯度相似性的彩色图像质量评估和距离变换

摘要

本文提出了一种新的全参考图像质量评估（IQA）指标，该指标基于距离变换（DT）和梯度相似性。梯度图像对图像失真较为敏感。因此，通过研究梯度的全局变化和图像骨架来计算整体图像质量预测。首先，将彩色图像转换到 YIQ空间；其次，从 Y分量中提取梯度图像和距离变换（DT）；然后，利用 I和 Q分量计算颜色失真；接着，定义参考图像和测试图像之间的最大 DT相似性；最后，结合前述各项指标推导出测试图像与参考图像之间的差异。实验结果表明了所提方法的有效性。

关键词： DT · Gradient相似性 · IQA · Color空间

1 引言

图像质量评估（IQA）[15]在评估和提升图像处理系统的有效性方面起着主要作用。这些系统面向人类用户，因此图像质量的评估必须与数字图像和视频的感知质量保持一致。已有多种度量方法被提出，以比较方式评估这些方法的性能，并研究这些指标的优势与不足至关重要。IQA 可分为主观和客观方法。主观评价方法是对图像质量评估最一致的判断，由人类观察者执行。客观图像质量算法评估参考图像和测试图像之间的差异。已提出的用于客观图像质量评估的方法大多可分为三类：全参考度量（FR）、无参考度量（NR）和降参考度量（RR）。本文讨论限于可获得参考图像的全参考度量（FR）指标。目前最流行的全参考图像质量评估方法是结构相似性指数[1]（SSIM）。它包含三个部分：亮度、对比度和

结构比较。然而，该方法在测量严重模糊的图像[2]时表现不佳。在[3],中，提出了一种基于边缘区域信息、失真和位移像素（ERDDM）的方法。首先将测试图像和参考图像划分为 11× 11像素块，然后计算失真和位移像素以生成全局误差。在[4],中提出了考虑纹理掩蔽效应和对比敏感度函数的DTex度量。在[5],中表明，掩蔽效应和可见性阈值可与结构、亮度和对比度比较相结合，从而构建图像质量度量（梯度相似性度量（GSM））。在[6,7]中设计的最明显失真（MAD）产生两个质量评分，即可见性加权误差和对数‐伽博子带统计的差异。

在[16]中，作者提出了一种基于相位一致性[17]的质量度量。然而，该度量虽与主观质量相关性良好，但耗时较长。在[28],中，齐亚努等人提出了一种基于梯度相似性的颜色失真度量（GSCDM），该度量是对梯度幅度相似性偏差（GMSD）[29]的扩展，以考虑颜色失真的影响。

在本研究中，假设图像的重要信息主要由边缘[30]‐[32]表示。因此，对梯度和DT变换进行了分析，同时考虑了颜色失真。所提出的度量方法结合了这些结构和颜色信息，旨在给出更接近人类判断的评分值。该图像质量度量方法可以避免耗时费力的主观评估研究。

本文的其余部分组织如下。在第2节中，提出了图像质量度量方法。在第 3节中，通过不同类型的失真图像将该方法与文献中已建立良好的方法进行比较。最后，在第4节中给出了一些结论。

2 所提出的方法

人眼的主要功能是从视觉场中提取结构信息。因此，人类视觉系统（HVS）完全适应于场景识别。所提出的方法的核心思想是确定图像结构信息在质量评估中的贡献。为此，开发了一种基于梯度相似性和距离变换的新型图像质量评估指标。参考图像和测试图像分别用 Ref和 Dis表示。此外，下文将定义所提出的方法中使用的所有变量。

• 参考图像 ：参考图像。
• 失真图像 ：测试图像。
• M × N ：图像尺寸。
• G1 ：参考图像的梯度图像Ref。
• G2 ：失真图像的梯度图像Dis。
• 梯度图 ：参考图像和失真图像之间的梯度相似性图 G1和 G2。
• DT1 ：参考图像的距离变换Ref。
• DT2 ：失真图像的距离变换Dis。
• DT max ：表示 DT1和 DT2中的最大值。
• DT map ：距离变换图。
• CFI map和CFQ map ：色度特征。
• C1, C2, C3, α, β ：正的常数。
• GSDTM ：梯度相似性和距离变换度量。

2.1 颜色空间变换

在此步骤中，将用RGB颜色空间编码的彩色图像转换为 YIQ颜色空间。因此，该公式近似了RGB颜色空间与 YIQ[10]之间的转换

$$
\begin{bmatrix}
Y \
I \
Q
\end{bmatrix}
=
\begin{bmatrix}
0.299 & 0.587 & 0.144 \
0.596 & -0.275 & -0.321 \
0.212 & -0.528 & 0.311
\end{bmatrix}
\begin{bmatrix}
R \
G \
B
\end{bmatrix}
$$

YIQ旨在利用人类的色彩响应特性。人眼对橙蓝色（I）范围内的变化比对紫绿色（Q）范围内的变化更敏感。因此，Q所需的带宽比I更少。颜色空间的选择将在下一节中讨论。

2.2 距离变换 (DT)

距离变换（DT）在图像比较中起着核心作用，特别是在由边缘或角点检测等局部特征检测技术生成的图像中。在所提出的方法中，DT被用作计算测试图像质量图的特征。然后，它被用作加权函数，以反映局部区域在池化函数中的显著性。此外，DT图包含最多的信息。

我们已使用在[25, 26]中开发的算法来计算DT图像。该图像是利用 YIQ空间的灰度分量 Y计算得到的。函数DT()通过调用DTA()来获取图像的距离变换。对于输入图像Y和输出图像D，二维DT的定义为

算法 DT(Y)
for i = 1到 M
D(i, 1..N) =DTA(Y(i, 1..N))
end
for j =1到 N
D(1..M, j) =DTA(D(1..M, j))
end

其中：
Y(i , 1.. N) 和 D(i ,1.. N) 是 Y 和 D 的行向量。Y(1.. M, j) 和 D(1.. M, j) 是 Y 和 D 的列向量。M 和 N 分别是 Y 的行数和列数。

算法DTA(f)
1. k ← 0(*下包络中最右侧抛物线的索引 *)
2. v[0] ← 0(*下包络中抛物线的位置 *)
3. z[0] ← −∞(*抛物线之间边界的位置 *)
4. z[1] ←+∞
5. for q = 1to n ‐ 1 (*计算下包络 *)
6. s ←((f(q) + q²) ‐ (f(v[k]) + v[k]²))/(2q ‐ 2v[k])
7. if s ≤z[k]
8. then k ← k ‐ 1
9. goto 6
10. else k ←k + 1
11. v[k] ← q
12. z[k] ← s
13. z[k + 1] ←+∞
14. k ← 0
15. for q = 0 to n ‐ 1(* 填充距离变换的值 *)
16. while z[k + 1]< q
17. k ← k+ 1
18. Df(q) ←(q ‐ v[k])²+ f(v[k])

参考图像和测试图像的DT1和 DT2分别生成。为了计算DT图（距离变换图），使用以下公式：

$$
DT\ map(I, J) = \frac{2|DT1||DT2| + C2}{DT1^2 + DT2^2 + C2}
$$

其中 | 。 | 是绝对值函数。C2是一个正数常量，用于提高 DT map的稳定性。这一概念也在SSIM[1]中被采用。公式(2)、(5)、(6)和(7)用于描述两个正数[1]的相似性，其结果范围在[0, 1]内。

然后，计算距离变换的DT最大值

$$
DT\ Max = \max(DT1, DT2)
$$

两幅图像之间的差异已在距离变换图中进行了量化。给定一幅参考图像和一幅变形图像，则距离变换图中系数的总和可以表示被比较图像之间的变换评估。

2.3 梯度相似性

梯度可用于提取图像中的信息。引入Prewitt掩模以生成梯度图像。该方法包含一对 3 × 3卷积核，用于检测图像中的垂直和水平边缘。梯度幅值由以下公式给出：

$$
G = \sqrt{Gradient_{x1}^2 + Gradient_{y2}^2}
$$

参考图像和测试图像的梯度算子（G）被计算。因此，分别生成了测试图像和参考图像的 G1和 G2。在所提出的方法中计算了梯度相似性。因此，梯度图（Gradient map）的构造如下：

$$
Gradient\ map = \frac{2G1 \cdot G2 + C1}{G1^2 + G2^2 + C1}
$$

测试图像和参考图像的G2和 G1分别从 YIQ颜色空间的 Y1和 Y2计算得到。

2.4 颜色空间变换

颜色失真无法通过梯度进行区分。因此，为了使图像质量评估指标具备处理颜色失真的能力，需要对色度信息给予特殊考虑。设 I1(I2)和 Q1(Q2)分别为图像 Ref(Dis)的 I和 Q色度通道。类似于CFI图和CFQ图的定义，色度特征之间的相似性定义如下：

$$
CFI\ map = \frac{2I1 \cdot I2 + C3}{I1^2 + I2^2 + C3}
$$

$$
CFQ\ map = \frac{2Q1 \cdot Q2 + C3}{Q1^2 + Q2^2 + C3}
$$

2.5 结构池化

在此步骤中，使用空间池化方法[11]将映射合并为单个质量值。在所提出的方法中，引入了一种结构池化度量，其表达式为：

$$
F = \frac{\sum_u v_u f_u}{\sum_u v_u}
$$

其中，u为索引，fu为质量测度， vu为结构权重，其值越大表示结构信息越重要。所提出的方法的池化方法如(9)式所示，其中质量值实际上是GSDT图（梯度相似性、颜色失真和距离变换图）以DT最大值作为权重的加权平均。总梯度相似性距离变换测度（GSDTM）定义如下：

$$
GSDT\ M = \frac{\sum_{i=1}^{M}\sum_{j=1}^{N} DT\ Max(i, j) \cdot GSDT\ map(i, j)}{\sum_{i=1}^{M}\sum_{j=1}^{N} DT\ Max(i, j)}
$$

在哪里

$$
GSDT\ map = DT\ map \cdot (Gradient\ map)^\alpha \cdot (CFI\ map \cdot CFQ\ map)^\beta
$$

i和j表示像素， M×N表示像素总数。GSDT图是一种乘法模型。当测试图像质量最佳时，所提出的度量方法接近于1，而在其他情况下则接近于0。图1是描述所提出的度量方法计算过程的流程图。

3 结果

为了测试所提出方法的有效性，已在图像集上进行了实验。遵循了视频质量专家组（VQEG）[18]采用的标准性能评估程序。使用逻辑函数[18]将客观分数与主观分数进行拟合。该函数基于五个参数（θ₁、θ₂、θ₃、θ₄和θ₅），用于将客观质量度量映射到一组预测的差值平均意见得分（DMOS/MOS）值（DMOSP/MOSP）。在公式(11)中，引入了用于非线性回归的逻辑回归函数。

$$
DMOS_p = \theta_1\left( \frac{1}{2} - \frac{1}{\exp(\theta_2(VQR - \theta_3))} \right) + \theta_4 VQR + \theta_5
$$

其中VQR是客观方法的值，θ₁、θ₂、θ₃、θ₄、θ₅被选为最优拟合参数。在本测试中，使用了四个指标：均方根预测误差（RMSE）、斯皮尔曼等级相关系数（ROCC）、肯德尔等级相关系数（KROCC）和皮尔逊线性相关系数（CC）。ROCC和KROCC用于评估预测单调性，CC和RMSE用于评估预测准确性。ROCC、KROCC和CC的值越接近1或‐1越好，RMSE的值越小越好。为了评估所提方法的性能，使用了四种数据库：TID2008数据库[12]、CSIQ数据库[13]、LIVE数据库[14]和TID2013数据库[27]。GSDTM指标的性能与 PSNR、SSIM[1,24]、多尺度SSIM（MS‐SSIM）[19,24]、视觉信噪比（VSNR）[20,24]、视觉信息保真度（VIF）[21,24]、信息保真度准则（IFC）[22,24]、噪声质量度量（NQM）[23,24]、DTex[4]、GSM[5]、MAD[6,7]、ERDDM[3]以及Fsim[16]进行了比较。

在表1中展现了使用索贝尔、普鲁伊特和沙尔边缘检测的比较研究（本实验使用TID2008数据库），注意到普鲁伊特算子的表现优于其他方法。此外，YIQ颜色空间的选择仍需验证。为此，我们使用四种不同的颜色空间运行所提出的方法。结果总结于表2。

表1. ROCC和 KROCC值使用三种梯度算子

Gradient operator	Sobel	Prewitt	Scharr
ROCC	0.8923	0.8931	0.8908
KROCC	0.7071	0.7093	0.7039

表2. ROCC和 KROCC值使用四种颜色空间

Color space	Lab	ycbcr	HSV	YIQ
ROCC	0.8225	0.8898	0.793	0.8931
KROCC	0.6331	0.7056	0.6084	0.7093

表7总结了所用方法根据其ROCC值的性能分类。表3、4、5和6展示了获得的结果。每项评估指标中排名前三的方法以粗体标出。可以看出，表现最佳的方法主要是GSDTM、FSIM和MAD。并且GSDTM与主观结果（即 DMOS/MOS，通过平均一组主观测试中人类受试者的结果生成，作为感知图像质量的指标）的相关性明显优于其他度量方法。从表7可以看出，GSDTM在几乎所有数据库上都表现出色。特别地，在CSIQ、TID2008和TID2013三个数据库上，其表现优于其他方法。在LIVE数据库上，即使不是最好，GSDTM相比最佳结果也能排在第五位。另一方面，对于其他方法而言，它们可能在某些数据库上表现良好，但在其他数据库上则表现不佳。从表7可以看出，尽管 MAD和 VIF在LIVE数据库上给出了最佳结果，但它们在TID2008和 TID2013数据库上未能取得最佳得分。

中的曲线表明，GSDTM值与DMOS和MOS非常接近，说明该度量方法具有较高的评估效率。此外，从表4中对GSDTM与GSM、DTex和MAD的比较中得到了一个有趣的结果。ROOC的值接近于1，这意味着GSDTM的表现与现有方法相似。这些结果清楚地表明，所提出的度量方法表现相当出色，并且与其他IQA度量方法具有竞争力。

此外，为了比较不同模型的效率，计算了处理一幅大小为 512×384的图像所需的平均执行时间。所有指标均在配备英特尔酷睿U4100 CPU@1.30 GHz和 3G内存的东芝Satellite T130‐11U笔记本电脑上运行。用于运行所有指标的软件平台是MATLAB R2007a（7.4.0）。表8显示了每幅图像所需的时间（秒）。

表8表明，所提出的度量方法比Fsim、VIF、VSNR、IFC、GSM、MAD、NQM和ERDDM更快，但比PSNR、SSIM、DCTex和MS-SSIM耗时更多。

表3. 图像质量评估指标在LIVE数据库上的性能比较

Method	ROCC	KROCC	CC	RMSE
PSNR	0.8756	0.6865	0.8723	13.3597
SSIM	0.9479	0.7963	0.9449	8.9454
MS-SSIM	0.9513	0.8044	0.9409	9.2593
VSNR	0.9280	0.7625	0.9237	0.4694
VIF	0.9632	0.8270	0.9598	7.6670
IFC	0.9259	0.7579	0.9268	10.2643
NQM	0.9086	0.7413	0.9122	11.1926
ERDDM	0.9496	0.8128	0.9619	6.3204
DCTex	0.9483	0.8066	0.9443	8.9897
GSM	0.9554	0.8131	0.9437	9.0376
MAD	0.9669	0.8421	0.9674	6.9235
Fsim	0.9645	0.8363	0.9613	7.5296
GSDTM	0.9548	0.8129	0.9495	8.5751

表4. 图像质量评估指标在TID2008数据库上的性能比较

Method	ROCC	KROCC	CC	RMSE
PSNR	0.5794	0.4210	0.5726	1.1003
SSIM	0.7749	0.5768	0.7710	0.8546
MS-SSIM	0.8542	0.6568	0.8451	0.7173
VSNR	0.7049	0.5345	0.6823	0.9810
VIF	0.7496	0.5868	0.8090	0.7888
IFC	0.5675	0.4236	0.7340	0.9113
NQM	0.6243	0.4608	0.6142	1.0590
ERDDM	0.5961	0.4411	0.6685	0.998
DCTex	0.4973	0.4095	0.5605	1.1113
GSM	0.8554	0.6651	0.8462	0.7151
MAD	0.8340	0.6445	0.8306	0.7474
Fsim	0.8840	0.6991	0.8762	0.6468
GSDTM	0.8931	0.7093	0.8769	0.6449

此外，参数已根据TID2008和TID2013数据库进行了调整。对于每个评估的GSDTM，相关参数均通过实验进行调优，选择能产生较高ROCC值的参数值。所提出的方法中所需的参数已设置为：C₁ = 180, C₂ = 2.4, C₃ = 290, α = 0.30, β = 0.03。

表5. TID2013数据库上图像质量评估指标的性能比较

Method	ROCC	KROCC	CC	RMSE
PSNR	0.6396	0.4698	0.669	0.9214
SSIM	0.7417	0.5588	0.7895	0.7608
MS-SSIM	0.7859	0.6047	0.8329	0.6861
VSNR	0.6812	0.5084	0.7402	0.8392
VIF	0.6769	0.5147	0.7720	0.7880
IFC	0.5389	0.3939	0.5538	1.0322
NQM	0.6432	0.474	0.6858	0.9023
ERDDM	0.5623	0.4124	0.6352	1.230
DCTex	0.5863	0.4573	0.6495	0.9425
GSM	0.7946	0.6255	0.8464	0.6603
MAD	0.7807	0.6035	0.8267	0.6975
Fsim	0.8510	0.6665	0.8769	0.5959
GSDTM	0.8720	0.6893	0.8858	0.5752

表6. CSIQ数据库上图像质量评估指标的性能比较

Method	ROCC	KROCC	CC	RMSE
PSNR	0.8005	0.5984	0.7998	0.1576
SSIM	0.8756	0.6907	0.8612	0.1334
MS-SSIM	0.9133	0.7393	0.8990	0.1150
VSNR	0.8104	0.6237	0.7993	0.1578
VIF	0.9195	0.7537	0.9277	0.0980
IFC	0.7671	0.5897	0.8384	0.1431
NQM	0.7402	0.5638	0.7433	0.1756
ERDDM	0.8626	0.6781	0.8295	0.1466
DCTex	0.8042	0.6420	0.7915	0.1605
GSM	0.9126	0.7403	0.8979	0.1156
MAD	0.9467	0.7970	0.9502	0.0818
Fsim	0.9310	0.7690	0.9192	0.1034
GSDTM	0.9531	0.8086	0.9431	0.0873

表7. 四个数据库上IQA指标性能排名

Method	Live	TID2008	TID2013	CSIQ
PSNR	13	11	11	11
SSIM	9	6	6	7
MS-SSIM	6	4	4	5
VSNR	10	8	7	9
VIF	2	7	8	4
IFC	11	12	9	12
NQM	12	9	10	13
ERDDM	7	10	13	8
DCTex	8	13	12	10
GSM	4	3	3	6
MAD	1	5	5	2
Fsim	3	2	2	3
GSDTM	5	1	1	1

表8. 竞争性IQA模型的运行时间

Method	Time(second)	Method	Time(second)
PSNR	0.0493	ERDDM	9.6089
SSIM	0.1917	DCTex	0.5327
MS-SSIM	1.1304	GSM	1.4003
VSNR	1.5018	MAD	15.6235
VIF	5.1429	Fsim	2.4990
IFC	4.6738	NQM	1.8846
GSDTM	1.3584

4 结论

本文提出了一种用于评估彩色图像质量的新度量方法。所提出的方法除了使用颜色失真参数外，还利用了两种结构信息，即图像边缘和图像变换距离。与现有方法相比，所提出的度量方法取得了具有竞争力的结果。未来工作将包括对颜色分量失真的进一步研究。