图像质量评估（IQA）方法 · 深度解析

原创

于 2026-10-22 14:34:54 发布 · 120 阅读

本文系统梳理图像质量评估（IQA）技术体系，涵盖主观评分（MOS/DMOS）基准、全参考指标（PSNR、SSIM及其局限）、深度感知指标（LPIPS/DISTS）、无参考指标三代演进（NSS→深度学习→多模态大模型），以及工程中常用单维度失真评估（清晰度、噪声、压缩伪影等）。强调FR/NR分类、合成/真实失真差异对指标性能的根本影响，并指出任务驱动评估与下游KPI对齐才是工程落地核心。

0 · 导读：IQA 在解决什么问题

图像质量评估（Image Quality Assessment, IQA）要做的事只有一件：把"人眼觉得这张图好不好"变成一个可计算、可比较、可优化的数字。这个数字有三个典型用途：

选型与验收：ISP 调参后到底变好还是变坏？编码器码率-失真曲线往哪走？
系统门控与选帧：几十路摄像头、无人机航拍的大量帧里，哪些帧值得送给下游模型？
训练信号：超分、增强、生成的 loss 里加一项"感知质量"，让输出更像人眼认可的好图。

所有 IQA 方法按"是否持有原始参考图"分为三类，这是全领域的第一性分类：

类别	英文	有无参考图	代表方法	典型场景
全参考	FR (Full-Reference)	有，逐像素对齐	PSNR、SSIM、MS-SSIM、VIF、LPIPS	编码器 RDO、算法 A/B 对比、回归测试
半参考	RR (Reduced-Reference)	只有参考图的少量特征	RRIQA、ST-RRED、RRVMAF	流媒体端到端监测（服务端发侧特征，客户端比对）
无参考	NR (No-Reference / Blind)	无	BRISQUE、NIQE、MUSIQ、Q-Align	在线质检、选帧、ISP 3A 调参闭环

第二刀分类是失真来源：

合成失真（synthetic）：对原图人工加高斯模糊、白噪声、JPEG/JPEG2000 压缩、对比度变化、过/欠曝光等。可控、可复现，但与真实场景有分布差。
真实失真（authentic）：真实拍摄、真实压缩、真实传播链产生的退化。分布不可控，但更贴近工程现场。

IQA 领域的核心张力几乎都源于这两刀分类的交叉：FR 指标在合成失真上和主观分相关性尚可，放到真实失真上普遍崩塌；NR 指标在合成库上刷分很高，跨库泛化却经常大幅下滑。

Q1 · 起点：主观分是怎么来的（MOS / DMOS）

一切 IQA 指标的上游都是主观实验。标准流程（ITU-R BT.500 / ITU-T P.910 系列）：

选一批观察者（通常 15–30+ 人），在受控光照、距离、显示器下观看图像；
打分（绝对类别评分 ACR，5 分制 1=Bad → 5=Excellent；或成对比较 PC，二选一）；
异常观察者剔除（按 ITU 推荐的 K 倍标准差或与总体相关性过低剔除）；
对剩余分数取平均，得到 MOS（Mean Opinion Score）；若相对参考图打分则得 DMOS（Difference MOS，分数方向视实验而定）；
报告原始分的均值 ± 置信区间。

关键性质，直接决定了后面所有客观指标的宿命：

MOS 是序数（ordinal）量，不是等距的。"1 分和 2 分的差距"与"4 分和 5 分的差距"未必相同；所以主相关系数用 Spearman / Kendall 这类秩相关，而不是 Pearson。
MOS 有饱和与压缩：多数图落在 2–4 分，好图与坏图的分布高度不对称。
主观分与"下游任务指标"（检测 mAP、OCR 准确率）并不同向：雾图可能人眼评分尚可，但检测 mAP 已经崩了。这是 Q9 要展开的工程结论。

交互 W1（配套 HTML）： FR / RR / NR 三分支概念图，标出每支的代表方法与"是否需要参考图"。

Q2 · FR 第一性指标：PSNR 与它的天花板

定义与推导

对两幅 $L$ 位量化（通常 $L = 8$ ， $I_{\max}=255$ ）的同尺寸图像 $I$ 与 $I^\hat{I}$ ：

$MSE=1N∑i=1N(Ii−I^i)2,PSNR=10log⁡10Imax⁡2MSE=20log⁡10Imax⁡−10log⁡10MSE\text{MSE} = \frac{1}{N}\sum_{i=1}^{N}\left(I_i - \hat{I}_i\right)^2, \qquad \text{PSNR} = 10\log_{10}\frac{I_{\max}^2}{\text{MSE}} = 20\log_{10} I_{\max} - 10\log_{10}\text{MSE}$

单位是 dB。几个必须记住的数值锚点：

噪声标准差 σ（加性噪声时 MSE≈σ²）	PSNR (dB)
1	48.13
2	42.11
5	34.15
10	28.13
16	24.05
25	20.17

48.13 dB 是 8-bit 图像的 PSNR 上限（MSE 最小为 1，即只差 1 个量化级）。见到"PSNR 50 dB"先怀疑是不是算了浮点或 16-bit 数据。
每降低 6.02 dB = MSE 翻 4 倍 = σ 翻倍。

PSNR 为什么"够用但不靠谱"

PSNR 的三个结构性缺陷，每一个都有经典反例：

与感知不同构：等 MSE ≠ 等感知。给图像加微小高频噪声 vs 整体轻微模糊，MSE 可以完全相同，但前者肉眼几乎不可见、后者明显发糊。配套 HTML 的 W3 把这个实验做成了可实时拖动的 demo（PSNR 恒定、SSIM 单调变化）。
不考虑 HVS 的掩蔽与带通特性：人眼对高频（纹理区）不敏感、对平坦区的台阶敏感，对亮度比对色度敏感。PSNR 对所有像素一视同仁。改进版 PSNR-HVS / PSNR-HMA（Ponomarenko 等）把 MSE 搬到 DCT 域并乘上对比敏感度权重，能小涨一截相关性，但仍属同一思想。
结构盲：整幅图平移 1 像素、或把内容换成另一张同统计量的图，PSNR 都会给出荒谬的低分/高分组合。

结论：PSNR 的正确用法是"编码器 RDO 的内部成本函数"和"工程回归的 sanity check"，不是"感知质量"的裁判。 但它在工程里依然不可替代——便宜、可微、可解析，视频编码标准（H.264/H.265/VVC）的率失真优化至今以 SSE（PSNR 的原子）为核心成本。