Large Language Model Adaptation for Financial Sentiment Analysis

原创已于 2024-03-06 17:42:42 修改 · 531 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型 #人工智能 #自然语言处理

于 2024-02-29 10:08:04 首次发布

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM for finance

16 篇文章

订阅专栏

本文研究了大型语言模型（LLM）在金融情绪分析中的应用，通过微调和适应策略，使得小型LLM在金融任务上的性能与大型模型相当，同时更高效。实验表明，针对金融领域的LLM在特定任务上超越了通用LLM，且提出了一种生成指令数据集的方法。尽管有局限性，如生成任务和未见过的任务上的表现，但未来可能通过低秩适配器等技术进一步改进。

本文是LLM系列文章，针对《Large Language Model Adaptation for Financial Sentiment Analysis》的翻译。

摘要

自然语言处理（NLP）最近通过提供对公司和市场财务文件的高度有价值的见解，在金融机构中获得了相关性。然而，由于文本的复杂性和特定术语的使用，金融领域的前景给NLP带来了额外的挑战。即使在使用具有良好自然语言理解和生成能力的大型语言模型（LLM）时，泛化语言模型也往往无法完成专门为金融量身定制的任务。本文针对金融领域，高度重视金融情绪分析，对LLM自适应方法进行了研究。为此，使用多种策略对两个参数小于1.5B的基础模型进行了调整。我们表明，通过对财务文件和说明进行仔细的微调，这些基础模型可以适应目标领域。此外，我们观察到，小型LLM的性能与大型模型相当，同时在参数和数据方面更高效。除了模型之外，我们还展示了如何通过LLM生成人工指令，以增加指令数据集的样本数量。

1 引言

2 相关工作

3 方法

4 结果

5 结论

该项目涵盖了财务LLM的广泛方面。通过一系列实验，以Pythia-1.4B和OPT-1.3B为基础模型，研究了相对较小的LLM对金融的适应性。我们首先进行的实验表明，通过进一步的预训练和指令微调适应金融领域的LLM在金融任务上比目前最好的通才LLM（如GPT-4）表现得更好。其次，它验证了我们的训练策略，因为我们的LLM比使用更多参数和更大数据集训练的其他金融LLM获得更高或相似的分数。
降低针对这一特定行业的LLM微调要求可能是几家公司未来的关键，因为这可以使较小的组织能够托管自己的LL

了解本专栏