2025_NIPS_What can Large Language Models do in chemistry? A comprehensive benchmark on eight tasks

一、文章主要内容总结

该研究聚焦大型语言模型（LLMs）在化学领域的应用能力，通过构建全面基准测试，系统评估了5种主流LLMs（GPT-4、GPT-3.5、Davinci-003、Llama、Galactica）在8项核心化学任务中的表现，核心内容如下：

1. 研究背景与目标：LLMs在自然语言处理及部分科学领域已展现潜力，但在化学领域的系统性评估缺失。研究旨在通过标准化基准，探究LLMs在化学任务中的理解、推理与解释能力，为AI研究者和化学家提供实用参考。

2. 基准测试设计：

   • 核心能力维度：围绕化学领域的理解、推理、解释三大核心能力展开。
   • 8项化学任务：涵盖名称预测（如SMILES与IUPAC名称互译）、性质预测（如血脑屏障穿透性）、产率预测、反应预测、逆合成分析、文本驱动分子设计、分子描述生成、试剂选择，覆盖合成化学、药物发现等关键场景。
   • 数据集与评估方式：采用BBBP、Tox21、PubChem、USPTO等权威数据集，设计零样本（zero-shot）和少样本（few-shot）上下文学习（ICL）设置，通过准确率、F1分数、BLEU、化学有效性等量化指标，结合化学家定性评估，确保结果可靠性。

3. 关键研究发现：

   • 模型性能差异：GPT-4在所