2025_NIPS_PHYBench: Holistic Evaluation of Physical Perception and Reasoning in Large Language Model

文章主要内容总结

该研究针对现有大语言模型（LLMs）推理能力评估基准的缺陷，提出了PHYBench——一个包含500道原创物理题的评估基准，涵盖高中到物理竞赛难度，涉及力学、电磁学等多个物理领域。同时引入EED Score（表达式编辑距离分数） 作为细粒度评估指标，解决传统二元评分的局限性。实验显示，即使最优模型Gemini 2.5 Pro的准确率仅36.9%，远低于人类专家的61.9%；PHYBench能更有效区分模型推理能力，且EED Score将样本效率提升204%。此外，通过错误分析发现，LLMs的主要问题出在语义推理阶段，且存在表面推理现象，缺乏真正的物理理解。

核心创新点

1. 原创高质量基准PHYBench：500道题目均为原创，避免数据污染，经过严格人工审核，覆盖多领域和难度梯度，聚焦真实物理场景的多步推理。
2. 细粒度评估指标EED Score：基于表达式树编辑距离，量化模型答案与标准答案的结构相似度，支持部分正确性评分，提升评估精准度和样本效率。
3. 深入的LLM推理分析：揭示了LLMs与人类在复杂物理推理中的差距，定位出模型在语义推理阶段的核心缺陷，以及表面推理的普遍存在。

---

翻译部分（Markdown格式）

Abstract

现有评估大语言模型（LL