2025_NIPS_ChartMuseum: Testing Visual Reasoning Capabilities of Large Vision-Language Models

文章核心总结与创新点

主要内容

文章聚焦大型视觉语言模型（LVLMs）在图表理解任务中的视觉推理短板，指出当前模型存在文本推理与视觉推理能力失衡的问题。通过合成数据集实验验证，随着视觉复杂度提升，模型性能显著下降，而人类表现保持稳定。为此，作者提出CHARTMUSEUM基准数据集，包含1162条由专家标注的真实世界图表问答样本，覆盖184个来源的928张独特图表，专门用于评估复杂视觉与文本推理能力。实验显示，人类在该基准上准确率达93%，最优专有模型Gemini-2.5-Pro仅63.0%，领先开源模型Qwen2.5-VL-72B-Instruct为38.5%，且所有模型在视觉推理类问题上的性能比文本推理类低35%-55%。最后通过定性分析，明确了模型在视觉比较、符号选择等具体视觉任务中的核心缺陷。

创新点

1. 揭示现有图表基准的局限性：指出过往基准过度侧重文本推理，难以有效评估模型的视觉推理能力，通过实验证明仅依赖图表中的显性文本即可回答现有基准中74.1%的问题。
2. 构建高质量基准数据集：CHARTMUSEUM采用全人工标注，无LLM辅助，涵盖多样化真实图表与复杂推理问题，能有效区分不同模型性能，暴露模型与人类的能力差距。
3. 精准定位模型视觉推理短板：提出视觉任务分类体系（符号选择、视觉比较、轨迹追踪、坐标值识别），通过错误分析明确模型过度依赖文本推理、在复杂视觉任务中表现薄弱的核心问题。
4. 提供合成数据集验证：设计无文本信息的合成数据集，验证模型在纯视觉推理场景下的性能退化趋势，为视觉推理能力评估提供新视角。

<