FeynTune: Large Language Models for High-Energy Theory

文章主要内容总结

本文介绍了针对高能理论物理领域的专用大型语言模型（LLM）——FeynTune，其基于80亿参数的Llama-3.1模型通过微调得到20个变体。这些模型的训练数据来自arXiv平台中高能理论物理（hep-th）、高能物理唯象学（hep-ph）、广义相对论与量子引力（gr-qc）等类别的论文摘要（截至2024年8月），部分模型还纳入了计算机科学（cs）、定量生物学（q-bio）等较远领域的摘要作为对比。

研究采用两种低秩适应（LoRA）微调方法（仅应用于Query-Key-Value矩阵的LoRA-QKV，以及应用于所有投影矩阵的LoRA-all），并通过困惑度、语义相似度和人类评估等多维度验证模型性能。结果显示，所有基于hep-th摘要微调的模型在hep-th摘要补全任务上均优于基础模型；纳入相邻或较远领域数据可提升性能（尤其对文献量较小的hep-th）；与ChatGPT等商业LLM相比，微调模型能使用专业术语生成相关内容，但事实准确性有限。最后，作者提出了未来将模型扩展为对话式助手、结合检索增强生成（RAG）等改进方向。

创新点

1. 首次针对高能理论物理领域微调LLM：填补了该领域专用语言模型的空白，此前相关模型多集中于天文学和宇宙学。
2. 系统对比跨领域数据的影响：通过10种不同领域组合的数据集（如hep-th与hep-ph/gr-qc、hep-th与cs/q-bio等），揭示了跨领域数据增强对小领域（如hep-th）模型性能的提升作用。
3. 两种LoRA微调方法的对比分析：