ChemVTS-Bench: Evaluating Visual-Textual-Symbolic Reasoning of Multimodal Large Language Models i...

一、文章主要内容总结

本文针对现有化学领域多模态大语言模型（MLLMs）评估基准的不足，提出了ChemVTS-Bench——一个专注于评估MLLMs化学领域视觉-文本-符号（VTS）推理能力的领域真实基准。

1. 现有基准的局限性：现有化学相关基准多依赖简单图文对，化学语义有限，未覆盖视觉、文本、SMILES（简化分子输入行项系统）等核心模态，且难以评估模型跨模态整合能力，存在对模型推理能力的高估问题。
2. ChemVTS-Bench的核心设计：
   • 数据来源：筛选自高中化学考题，经Qwen3-VL模型过滤和专业化学教师二次审核，共445道题，覆盖结构化学、有机化学及其他化学领域，包含选择题和填空题。
   • 输入模态：提供三种互补输入模式——纯视觉输入、视觉-文本混合输入、SMILES符号输入，支持细粒度分析模型的模态依赖推理行为。
   • 评估流程：设计自动化智能体工作流，标准化推理过程、验证答案正确性，并将错误分为视觉识别错误（VRE）、符号解析错误（SPE）、数值计算错误（NCE）、知识型错误（KBE）、逻辑推理错误（LRE）五类进行诊断。
3. 实验结果与发现：
   • 模型表现：闭源模型（如Gemini-2.5-Pro、GPT-5）跨模态一致性更强，开源模型（如Llama 3.2）在纯视觉输入下表现薄弱，视觉接地能力不足。
   • 领域难度：结构化学是最难领域（依赖空间/拓扑线索和精细原子排列识别）