PhySense: Principle-Based Physics Reasoning Benchmarking for Large Language Models

文章主要内容

本文聚焦于大型语言模型（LLMs）在物理问题中基于原理的推理能力，指出当前LLMs在解决物理问题时，常采用冗长、复杂的推理路径，难以像人类专家那样运用核心物理原理（如对称性、守恒定律、量纲分析等）进行简洁、高效且可解释的推理。为此，作者提出了PhySense——首个基于物理原理的推理基准，包含380个精心设计的物理问题，这些问题利用核心原理可轻松解决，但对未采用“原理优先”推理的LLMs颇具挑战性。

通过零样本、提示和无计算提示三种策略，对7个先进LLMs进行评估，发现：

1. 推理准确性：即便在提示下，LLMs整体准确率仍较低，尤其在对称性等原理的应用上存在显著不足。
2. 推理效率：LLMs消耗的token量远超人类专家（推理模型约为人类的100倍），凸显其在原理驱动的高效推理上的巨大差距。
3. 提示效果：提示和无计算指令仅带来边际改进，表明LLMs需深度整合原理性推理。

创新点

1. 首个基于原理的物理推理基准：PhySense专注于测试LLMs对核心物理原理的理解和应用能力，不同于以往聚焦特定领域或复杂计算的基准。
2. 双指标评估体系：同时使用准确率和标记效率（token efficiency），量化LLMs的推理准确性与计算成本，精准刻画其与人类专家的差距。