FINANCEBENCH: A New Benchmark for Financial Question Answering

本文是LLM系列文章，针对《FINANCEBENCH: A New Benchmark for Financial Question Answering》的翻译。
@TOC

摘要

FINANCEBENCH是第一个用于评估LLM在开放财务问答（QA）方面的性能的测试套件。它包括10231个关于上市公司的问题，以及相应的答案和证据串。FINANCEBENCH中的问题在生态上是有效的，涵盖了一系列不同的场景。它们旨在明确而直接地回答，作为最低性能标准。我们在来自FINANCEBENCH的150个案例样本上测试了16种最先进的模型配置（包括GPT-4-Turbo、Llama2和Claude2，带有矢量存储和长上下文提示），并手动审查了它们的答案（n=2400）。这些案例都是开源的。我们发现，现有的LLM在财务QA方面有明显的局限性。值得注意的是，GPT-4-Turbo与检索系统一起使用时，81%的问题被错误回答或拒绝回答。虽然使用更长的上下文窗口来输入相关证据等增强技术可以提高性能，但由于延迟增加，这些技术对于企业设置来说是不现实的，并且无法支持更大的财务文档。我们发现，所有被检查的模型都表现出弱点，如幻觉，这限制了它们对企业使用的适用性。

1 引言

2 先前工作

3 FINANCEBENCH数据集

4 实验设置

5 FINANCEBENCH上的结果