Pre-trained Large Language Models for Financial Sentiment Analysis-优快云博客

本文是LLM系列文章，针对《Pre-trained Large Language Models for Financial Sentiment Analysis》的翻译。

用于金融情绪分析的预训练大型语言模型

摘要
1 引言
2 相关工作
3 方法
4 实验
5 结论

摘要

金融情绪分析是指将金融文本内容分为情绪类别（如积极、消极和中性）。在本文中，我们重点研究财经新闻标题的分类，由于缺乏大量的训练样本，这是一项具有挑战性的任务。为了克服这一困难，我们建议微调预训练的大型语言模型（LLM）来解决这个问题。LLM是从大量的文本语料库中训练出来的，在文本理解方面具有优势，并且可以有效地适应特定领域的任务，同时只需要很少的训练样本。特别是，我们将开源的Llama2-7B模型（2023）与监督微调（SFT）技术相结合。实验评估表明，即使使用7B模型（LLM相对较小），我们的方法也显著优于以前最先进的算法。数据和代码在https://github.com/luosting/LLaMA-Financialsentiment-analysis可用。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们探讨了使用LLM进行金融情绪分析的潜力。我们进行了系统的实证分析，并就如何有效利用LLM来提高分类精度提供了新的见解。具体来说，只进行小样本的方法可以获得相对不错的精度，而进一步的预训练并没有比基线有明显的改善。最后，我们的SFT算法比基线方法显著改进，并实现了新的最先进的性能。未来的工作包括使用具有更多参数的LLM（例如LLaM