2025_NIPS_UVE: Are MLLMs Unified Evaluators for AI-Generated Videos?

文章主要内容总结

本文聚焦AI生成视频（AIGV）的统一评估问题，提出利用多模态大语言模型（MLLMs）作为统一评估器，解决现有评估方法局限于特定维度、难以扩展的痛点。核心工作包括三点：一是设计了基于MLLM的零样本评估框架，支持单视频评分和视频对比较；二是构建了UVE-Bench基准数据集，涵盖15个评估维度、4042组人类偏好标注和1230个SOTA模型生成视频；三是对18个MLLM进行全面评估，发现Qwen2-VL-72B等先进模型显著优于传统专项评估方法，但在时序动态理解等维度仍与人类存在差距，并分析了提示策略、评分方式等关键设计对性能的影响。

创新点

1. 统一评估框架：首次提出基于预训练MLLM的零样本AIGV评估方案，无需针对特定维度训练专项模型，仅通过修改提示即可适配任意评估需求。
2. 全面基准数据集：构建UVE-Bench，覆盖静态质量、时序质量等4大类15个细分维度，采用人类 pairwise 偏好标注（避免绝对评分主观性），包含最新VGM生成的视频，更贴合当前技术水平。
3. 系统实证分析：大规模评估18个MLLM与5种专项评估方法，揭示MLLM在统一评估中的优势与短板，明确提示设计、评分策略、模型规模等关键因素的影响规律。

---

翻译部分（Markdown格式）

Abstract

随着视频生成模型（VGMs）的快速发展，开发