2025_NIPS_VisIT-Bench: A Dynamic Benchmark for Evaluating Instruction-Following Vision-and-Langua...

VisIT-Bench 论文核心总结与翻译

一、主要内容总结

VisIT-Bench（Visual InsTruction Benchmark）是一个面向真实场景的视觉-语言指令跟随模型评估基准，核心目标是填补现有基准在开放域、真实世界查询评估上的空白。

1. 基准构建核心

• 任务覆盖：包含70个“指令家族”，涵盖从基础识别、图表推理、艺术知识到游戏博弈、创意生成、家居装修等多样化任务，既整合了25个现有基准的重构任务（如VQA、NLVR2），也新增45个真实场景导向的任务，支持单图和多图查询（10个多图任务家族）。
• 数据规模：最终包含678个实例、1159张公开授权图像，经人工验证后保留592个有效测试查询，每个实例均配备“指令条件描述”（instruction-conditioned caption）和人工验证的参考输出。
• 数据构建流程：通过众包标注完成三步流程——生成符合任务家族的新指令与对应图像、构建面向指令的详细描述（确保文本-only模型可基于描述执行指令）、利用GPT-4生成候选输出并经人工验证正确性。

2. 评估体系设计

• 人工评估：收集5000组 pairwise 偏好判断，采用Elo评分（相对性能指标）和“与参考输出胜率”（绝对性能指标）量化模型表现，结果显示最优模型（LLaMA-