2025_NIPS_COLORBENCH: Can VLMs See and Understand the Colorful World? A Comprehensive Benchmark for

文章核心总结与创新点

核心内容

文章提出首个专注于评估视觉语言模型（VLMs）色彩理解能力的基准测试集COLORBENCH，从色彩感知、色彩推理、色彩鲁棒性三个核心维度设计11项细分任务，涵盖1448个实例和5814个图文问题，覆盖绘画分析、卫星图像解读等多种真实应用场景。通过对32个不同规模、不同架构的VLMs（含开源与闭源模型）进行全面评估，揭示了当前VLMs在色彩理解方面的关键特征：缩放定律仍适用但强度较弱，且主要依赖语言模型；各模型整体性能偏低且差距不大，表明色彩理解被现有模型忽视；思维链（CoT）推理能提升色彩相关任务表现；色彩线索在多数任务中发挥作用，但在色彩错觉等任务中可能误导模型。

创新点

1. 首次构建全面的色彩理解评估基准，系统覆盖感知、推理、鲁棒性三大核心维度，填补现有VLMs评估在色彩专项的空白。
2. 设计11项细粒度任务，结合真实应用场景与受控合成数据，确保评估的实用性与严谨性。
3. 对32个主流VLMs进行大规模评估，揭示色彩理解与模型结构（语言模型/视觉编码器）的关联，为模型优化提供关键洞察。
4. 发现CoT推理对色彩鲁棒性的提升作用，以及灰度转换在特定任务中的优化效果，为改进模型性能提供新方向。

---

翻译部分（Markdown格式）

Abstract

色彩在人类感知中扮演着重要角色，通常为视觉推理提供关键线索。然而，目前尚不清楚视觉语言模型（VLM