A Survey of Large Language Models in Finance (FinLLMs)

本文是LLM系列文章，针对《A Survey of Large Language Models in Finance (FinLLMs)》的翻译。

摘要

大型语言模型（LLM）在各种自然语言处理（NLP）任务中表现出了非凡的能力，并吸引了包括金融服务在内的多个领域的关注。尽管对一般领域LLM进行了广泛的研究，并在金融领域具有巨大的潜力，但金融LLM（FinLLM）的研究仍然有限。本调查全面概述了FinLLM，包括其历史、技术、性能以及机遇和挑战。首先，我们按时间顺序概述了从通用领域预训练语言模型（PLM）到当前的FinLLM，包括GPT系列、选定的开源LLM和金融LM。其次，我们比较了金融PLM和FinLLM使用的五种技术，包括训练方法、训练数据和微调方法。第三，我们总结了六个基准任务和数据集的性能评估。此外，我们还提供了八个高级金融NLP任务和数据集，用于开发更复杂的FinLLM。最后，我们讨论了FinLLM面临的机遇和挑战，如幻觉、隐私和效率。为了支持金融领域的人工智能研究，我们在GitHub上汇编了一组可访问的数据集和评估基准。

1 引言

大型语言模型（LLM）的研究在学术界和工业界都得到了迅速发展，尤其是对ChatGPT等LLM应用的关注。受预训练语言模型（PLM）的启发，LLM通过迁移学习获得授权，并使用大规模文本语料库建立在Transformer架构的基础上。研究人员发现，将模型缩放到足够的大小不仅可以增强模型容量，还可以实现小规模语言模型中没有的令人惊讶的涌现特性，如上下文学习。语言模型（LMs）可以根据参数大小进行分类，研究界已经为大型PLM创建了“大型语言模型（LLM）”一词，通常超过70亿个参数。LLM的技术演变导致了显著的同质化水平，这意味着单个模型可以在广