Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency

本文是LLM系列文章，针对《Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency》的翻译。

摘要

由于缺乏领域专家和使用成本较高，在金融领域收集标记数据集具有挑战性。虽然大型语言模型（LLM）在一般领域数据集的数据注释任务中表现出了显著的性能，但其在特定领域数据集上的有效性仍有待探索。为了解决这一差距，我们研究了LLM作为提取财务文档中关系的有效数据注释器的潜力。我们将三个LLM（GPT-4、PaLM 2和MPT Instruction）生成的注释与专家注释器和众包工作者进行了比较。我们证明，目前最先进的LLM可以充分替代非专家众包工作者。我们使用各种提示和参数设置来分析模型，发现通过提供属于每个关系组的特定示例来自定义这些组的提示是至关重要的。此外，我们引入了一个可靠性指数（LLM RelIndex），用于识别可能需要专家关注的输出。最后，我们进行了大量的时间、成本和错误分析，并为在特定领域的设置中收集和使用自动注释提供了建议。

引言

相关工作

数据集

实验

结果

讨论

局限性

结论

在这项研究中，我们通过比较三种不同大小的LLM，展示了使用LLM作为非专家众包工作者执行特定领域任务的强大替代方案的显著潜力。由于金融领域中有大量非结构化文档，利用LLM进行注释大大减少了人工注释所花费的时间，同时为做出明智的下游决策和推动高效的业务成果提供了宝贵的见解。我们的评估表明，G