Integrating Chemistry Knowledge in Large Language Models via Prompt Engineering

本文是LLM系列文章，针对《Integrating Chemistry Knowledge in Large Language Models via Prompt Engineering》的翻译。

摘要

本文研究了在提示工程中整合领域特定知识，以提高科学领域中大型语言模型（LLM）的性能。一个基准数据集被精心策划，以封装小分子的复杂物理化学性质、它们对药理学的可药用性，以及酶和晶体材料的功能属性，强调其在生物和化学领域的相关性和适用性。所提出的领域知识嵌入提示工程方法在各种指标上优于传统的提示工程策略，包括能力、准确性、F1得分和幻觉下降。通过对包括麦克米兰催化剂、紫杉醇和锂钴氧化物在内的复杂材料的案例研究，证明了该方法的有效性。结果表明，领域知识提示可以指导LLM生成更准确和相关的响应，突出了LLM在配备特定领域提示时作为科学发现和创新的强大工具的潜力。该研究还讨论了特定领域提示工程开发的局限性和未来方向。

1 引言

2 方法

3 结果

4 结论和未来方向

将特定领域的知识整合到提示工程中，已经证明了它在提高化学、材料科学和生物学中各种任务的LLM性能方面的有效性。我们提出的领域知识嵌入式提示工程方法在能力、准确性、F1得分和幻觉下降等指标上优于传统的通用提示工程策略。将领域专业知识纳入提示不仅可以指导LLM综合更多相关知识，还可以为复杂任务提供清晰的推理路径。我们的案例研究进一步验证了这种方法在分析麦克米兰催化剂、紫杉醇和LiCoO2等复杂材料方面的有效性，展示了LLM在配备领域特定提示时协助专家进行分子设计和优化的潜力。我们工作的完整代码实现见补充S.1。
我们工作的局限性和潜在的未来方向也总结如下：
领域覆盖范围的扩大