Q-Doc: Benchmarking Document Image Quality Assessment Capabilities in Multi-modal Large Language ...

文章总结与翻译

一、主要内容

本文聚焦多模态大型语言模型（MLLMs）在文档图像质量评估（DIQA）领域的能力缺口，提出了名为Q-Doc的三级评估基准框架，系统探究MLLMs在文档图像质量感知上的表现。

1. 数据集构建：基于SmartDoc-QA数据集，整理了4260张真实世界文档图像，涵盖现代表单、历史信件、收据三大类共30份文档，包含单失真（如曝光不足、运动模糊、失焦等）和复合失真两种类型，提供了细粒度标注。
2. 三级评估框架：
   • 粗粒度层面：要求模型对文档图像质量进行评分（优秀/良好/一般/较差/糟糕），通过Spearman等级相关系数（SRCC）和Pearson线性相关系数（PLCC）衡量与人工标注的一致性；
   • 中粒度层面：设计单失真分类（四选一）和多失真识别（多选）任务，采用原始准确率和平衡准确率评估模型对失真类型的识别能力；
   • 细粒度层面：让模型判断每种失真的严重程度（良好/中等/较差），针对单失真和多失真图像分别评估，对多失真图像采用分层查询策略以区分不同失真维度。
3. 优化与实验：引入思维链（CoT）提示策略，通过引导模型思考文本可读性、光照均匀性等关键因素提升评估性能；对6款代表性MLLMs（含开源模型如DeepSeek-VL2、GLM-4V和商业模型GPT-4o）进行零样本评估，发现MLLMs虽具备初步DIQA能力，但存在评分不一致、失真识别错误、严重程度误判等问题，而CoT提示能显著改善各层面