Symbolic or Numerical? Understanding Physics Problem Solving in Reasoning LLMs

文章主要内容总结

本文聚焦推理型大语言模型（LLMs）在物理问题解决中的能力，以Deepseek-R1及其蒸馏模型为研究对象，通过SciBench基准中的三个物理数据集（经典力学、热力学、基础物理），系统评估了零样本思维链（Zero-Shot CoT）和少样本思维链（Few-Shot CoT）两种提示策略的效果。研究发现：

1. 推理型LLM无需复杂提示工程或外部工具，即可在物理问题上实现高性能，Deepseek-R1的零样本平均准确率达75.9%，显著优于GPT-4-Turbo（43.9%）；
2. 少样本提示仍能提升先进模型的表现，如Deepseek-R1的准确率从75.9%提升至81.3%，尤其在经典力学领域效果显著；
3. 推理型模型更倾向于符号推导（先通过代数运算处理方程，再代入数值），而聊天型模型偏好逐步数值替换，符号推导是推理型模型在多步骤物理问题中表现更优的关键；
4. 蒸馏模型（如R1-distill-Qwen-32B）在保持高性能的同时降低了计算成本，验证了任务特定优化的价值。

创新点

1. 首次系统验证推理型LLM的独立解决物理问题能力：证明先进指令微调推理模型无需外部工具或复杂提示工程，即可在物理推理任务中达到高准确率，填补了领域内对“纯模型能力”研究的空白。
2. 揭示推理模式差异的关键作用：通过对比分析思维链输出，明确符号推导与数值替换两种策略的差异，解释了推理型模型在复杂物理问题中表现更优的