The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4

本文是LLM系列文章，针对《The Impact of Large Language Models on Scientific Discovery: a Preliminary Study using GPT-4》的翻译。

摘要

近年来，自然语言处理领域的突破性进展最终导致了强大的大型语言模型（LLM）的出现，这些模型在广泛的领域展示了非凡的能力，包括自然语言的理解、生成和翻译，甚至是语言处理之外的任务。在本报告中，我们深入研究了LLM在科学发现/研究背景下的性能，重点关注最先进的语言模型GPT-4。我们的研究涵盖了多种科学领域，包括药物发现、生物学、计算化学（密度泛函理论（DFT）和分子动力学（MD））、材料设计和偏微分方程（PDE）。
评估GPT-4的科学任务对于揭示其在各个研究领域的潜力、验证其特定领域的专业知识、加速科学进步、优化资源分配、指导未来模型开发和促进跨学科研究至关重要。我们的探索方法主要包括专家驱动的案例评估，它为模型对复杂科学概念和关系的理解提供定性见解，偶尔还包括基准测试，它定量评估模型解决明确定义的特定领域问题的能力。
我们的初步探索表明，GPT-4在各种科学应用中表现出了很好的潜力，证明了它在处理复杂的问题解决和知识集成任务方面的能力。我们对GPT-4在上述领域（如药物发现、生物学、计算化学、材料设计等）的性能进行了分析，强调了其优势和局限性。广义上讲，我们评估GPT-4的知识库、科学理解、科学数值计算能力和各种科学预测能力。
在生物学和材料设计方面，GPT-4拥有广泛的领域知识，可以帮助满足特定的要求。在其他领域，如药物发现，GPT-4显示出强大的预测特性的能力。然而，在计算化学和PDE等研究领域，尽管GPT-4有望帮助研究人员进行预测和计算，但还需要进一步努力来提高其准确性。尽管GPT-4具有令人印象深刻的功能，但它可以在定量计算任务中得到改进，例如，需要进行微调以获得更好的精度。
我们希望这份报告能为寻求利用LLM的力量进行科学研究和应用的研究人员和从