2025_NIPS_IR3D-Bench: Evaluating Vision-Language Model Scene Understanding as Agentic Inverse Render

一、文章主要内容总结

本文针对视觉语言模型（VLMs）在场景理解中多停留在表面描述（如字幕生成、视觉问答）、缺乏深度理解的问题，提出了IR3D-Bench基准测试，以“通过创造验证理解”为核心思想，构建了基于“分析-合成”范式的智能体逆渲染（agentic inverse rendering）任务。

1. 核心任务设计：要求视觉语言智能体（VLAs）通过编写可执行的Python脚本（适配Blender渲染工具），从单张2D图像反向重建其背后的3D场景结构，脚本执行后需生成与原图高度匹配的渲染结果，以此测试模型的深度场景理解能力。
2. 数据集与流程：基于CLEVR数据集（含15,000张合成图像及精确标注）构建测试集，固定相机内参和外参以控制变量；流程分为两阶段：① 逆渲染阶段（VLA生成JSON格式的场景属性描述，经Blender渲染后与真实标注对齐）；② 多维度评估阶段（从定位精度、视觉外观、语言对齐语义三大维度进行量化与质性评估）。
3. 实验结果：测试了20余种主流VLMs（闭源如GPT-4o、Gemini-2.5-pro，开源如InternVL3、Qwen2.5-VL等），发现模型在物体属性识别（颜色、材质）上表现优异，但在空间关系推理、物体尺度估计等方面存在显著不足；迭代优化和精细化提示设计可有效提升重建质量。</