2025_NIPS_LTD-Bench: Evaluating Large Language Models by Letting Them Draw

一、文章主要内容总结

本文针对当前大型语言模型（LLMs）评估范式的核心缺陷——依赖模糊的数值指标，无法直观反映模型空间推理能力，且与实际物理世界应用需求脱节——提出了LTD-Bench（Let Them Draw Benchmark）评估框架。该框架通过让模型生成可视化输出（点阵图或可执行绘图代码），将抽象的模型能力转化为直接可观察的视觉结果，填补了统计性能与直观评估之间的鸿沟。

LTD-Bench的核心设计包括：

1. 双路径评估：涵盖生成任务（空间想象力，将文本描述转化为视觉表征）和识别任务（空间感知力，将视觉模式解读为语言），全面测试语言-空间双向映射能力；
2. 三级难度递进：从简单级（有限网格内的离散点阵字符）、普通级（无限坐标空间的曲线字符）到困难级（复杂现实物体的多曲线组合），精准定位模型能力阈值；
3. 多元评估方式：简单级和普通级采用人工评估与GPT-4.1自动评估结合，困难级因开放性采用GPT-4.1标准化评分，识别任务直接对比标准答案计算准确率。

实验结果显示，即使在传统基准中表现优异的LLMs（如GPT-4o、Llama3.3-70B等），在空间推理任务中也存在显著短板：仅Deepseek-r1平均准确率超70%，多数模型不足40%；深度推理能力仅提升识别任务性能，对生成任务帮助有限；多模态模型并未展现出明显优势。此外，通过分析困难级任务中生成图像的风格相似性，LTD-Bench还提供了一种评估模型相似性的新视角。

二、文章创新点