LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction

本文是LLM系列文章，针对《LLM4Mat-Bench: Benchmarking Large Language Models for Materials Property Prediction》的翻译。

摘要

大型语言模型（LLMs）在材料科学中的应用越来越多。然而，基于LLM的材料性能预测的基准测试和标准化评估却很少受到关注，这阻碍了进展。我们介绍LLM4Mat Bench，这是迄今为止评估LLM在预测晶体材料性能方面的性能的最大基准。LLM4Mat Bench总共包含约1.9M个晶体结构，这些结构是从10个公开可用的材料数据源收集的，具有45种不同的性质。LLM4Mat Bench具有不同的输入模式：晶体成分、CIF和晶体文本描述，每种模式分别有4.7M、615.5M和3.1Btoken。我们使用LLM4Mat-Bench来微调不同大小的模型，包括LLM-Prop和MatBERT，并提供零样本和小样本提示来评估LLM-chat-like模型的属性预测能力，包括Llama、Gemma和Mistral。研究结果突出了材料科学中通用LLM的挑战，以及在材料性能预测中对特定任务预测模型和特定任务指令调优LLM的需求。

1 引言

2 LLM4Mat-Bench

3 结果