QCBench: Evaluating Large Language Models on Domain-Specific Quantitative Chemistry

一、文章主要内容总结

本文提出了一个名为QCBench的定量化学基准（Quantitative Chemistry Benchmark），旨在系统评估大型语言模型（LLMs）在特定领域的定量化学推理能力。该基准包含350个计算化学问题，覆盖7个化学子领域（分析化学、生物/有机化学、普通化学、无机化学、物理化学、聚合物化学、量子化学），并分为基础、中级、专家三个层级的难度。

QCBench的设计聚焦于纯计算问题（基于真实化学场景的公式应用和逐步计算），以减少模型依赖捷径的可能，更精准地评估其数值推理能力。通过对19个LLMs（包括开源和闭源模型）的评估发现：随着任务复杂度提升，所有模型的性能均呈现下降趋势，凸显了当前LLMs在语言流畅性与科学计算准确性之间的显著差距；分析化学和聚合物化学是模型表现最差的领域，而无机化学和物理化学表现相对较好；闭源模型整体优于开源模型（如Grok-3表现最佳，平均准确率51.43%）；“思考模式”（Thinking Mode）能显著提升部分模型的复杂问题解决能力，但并非通用；严格的验证工具（如xVerify）可能因形式僵化惩罚正确但非标准的答案，存在“验证缺口”。

二、创新点总结

1. 构建专注于定量化学的基准：QCBench是首个专门针对定量化学问题的基准，覆盖7个化学子领域和三个难度等级，填补了现有化学基准中定量计算问题不足、领域覆盖有限的空白。
2. 提出更 robust 的评估框架：结合xVerify工具和容错评估机制（允许微小相对误差），区分定量任务与定性/预测性化学任务，更精准地评估LLMs的多步数学推理能力