Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

本文是LLM系列文章，针对《Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications》的翻译。

摘要

大型语言模型 (LLM) 具有先进的金融应用，但它们通常缺乏足够的金融知识，并且难以处理涉及表格和时间序列数据等多模态输入的任务。为了解决这些限制，我们引入了 Open-FinLLM，这是一系列金融 LLM。我们从 FinLLaMA 开始，它在 520 亿个token金融语料库上进行了预训练，结合文本、表格和时间序列数据来嵌入全面的金融知识。然后，FinLLaMA 使用 573K 财务指令进行指令微调，形成 FinLLaMA 指令，从而提高任务性能。最后，我们提出了 FinLLaVA，这是一种多模态LLM，经过 143 万个图像文本指令的训练来处理复杂的金融数据类型。广泛的评估表明，FinLLaMA 在 19 个和 4 个数据集的零样本和少样本设置中分别优于 LLaMA3-8B、LLaMA3.1-8B 和 BloombergGPT。 FinLLaMA-instruct 在 15 个数据集上优于 GPT4 和其他金融 LLM。 FinLLaVA 擅长理解 4 种多模态任务中的表格和图表。此外，FinLLaMA 在交易模拟中实现了令人印象深刻的夏普比率，凸显了其强大的金融应用能力。我们将不断维护和改进我们的模型和基准，以支持学术界和工业界的