Large Language Model Adaptation for Financial Sentiment Analysis

本文是LLM系列文章，针对《Large Language Model Adaptation for Financial Sentiment Analysis》的翻译。

摘要

自然语言处理（NLP）最近通过提供对公司和市场财务文件的高度有价值的见解，在金融机构中获得了相关性。然而，由于文本的复杂性和特定术语的使用，金融领域的前景给NLP带来了额外的挑战。即使在使用具有良好自然语言理解和生成能力的大型语言模型（LLM）时，泛化语言模型也往往无法完成专门为金融量身定制的任务。本文针对金融领域，高度重视金融情绪分析，对LLM自适应方法进行了研究。为此，使用多种策略对两个参数小于1.5B的基础模型进行了调整。我们表明，通过对财务文件和说明进行仔细的微调，这些基础模型可以适应目标领域。此外，我们观察到，小型LLM的性能与大型模型相当，同时在参数和数据方面更高效。除了模型之外，我们还展示了如何通过LLM生成人工指令，以增加指令数据集的样本数量。

1 引言

2 相关工作

3 方法

4 结果

5 结论

该项目涵盖了财务LLM的广泛方面。通过一系列实验，以Pythia-1.4B和OPT-1.3B为基础模型，研究了相对较小的LLM对金融的适应性。我们首先进行的实验表明，通过进一步的预训练和指令微调适应金融领域的LLM在金融任务上比目前最好的通才LLM（如GPT-4）表现得更好。其次，它验证了我们的训练策略，因为我们的LLM比使用更多参数和更大数据集训练的其他金融LLM获得更高或相似的分数。
降低针对这一特定行业的LLM微调要求可能是几家公司未来的关键，因为这可以使较小的组织能够托管自己的LL