2025_NIPS_FGBench: A Dataset and Benchmark for Molecular Property Reasoning at Functional Group-Leve

一、文章主要内容总结

该研究聚焦于大型语言模型（LLMs）在化学领域的分子性质推理能力，针对现有数据集多关注分子层面预测、忽略官能团（FG）细粒度信息的缺陷，提出了FGBench数据集及相关基准测试框架，核心内容如下：

1. 研究背景：官能团是分子中决定物理化学性质的关键原子组，现有分子性质数据库缺乏官能团与分子性质的明确关联，导致LLMs难以进行细粒度结构-性质关系推理，限制了其在分子设计、药物发现等场景的应用。
2. 数据集构建：
   • 基于MoleculeNet的10个分子性质数据集（如ESOL、HIV、QM9等），构建包含625K个问答对（QA pairs）的FGBench数据集，覆盖245种官能团和8类分子性质。
   • 数据集包含三类推理任务：单官能团影响、多官能团相互作用、分子直接比较，每类任务又分为布尔型（判断性质变化趋势）和数值型（预测性质变化量）子任务。
   • 采用“重构验证”数据处理流程，确保官能团标注的准确性和分子结构的化学有效性，并提供原子级定位信息，支持多模态应用。
3. 基准测试：
   • 选取9个主流LLMs（含GPT-4o、Llama-3.1系列、化学专用模型ChemLLM等），在7K精选数据子集上进行测试，以准确率（ACC）和均方根误差（RMSE）为评估指标。
   • 核心发现：现有LLMs在官能团层面推理能力薄弱，尤其是多官能团相互作用任务表现显著下降；化学专用模型未体现明显