Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency

本文是LLM系列文章，针对《Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency》的翻译。

摘要

由于缺乏领域专家和使用成本较高，在金融领域收集标记数据集具有挑战性。虽然大型语言模型（LLM）在一般领域数据集的数据注释任务中表现出了显著的性能，但其在特定领域数据集上的有效性仍有待探索。为了解决这一差距，我们研究了LLM作为提取财务文档中关系的有效数据注释器的潜力。我们将三个LLM（GPT-4、PaLM 2和MPT Instruction）生成的注释与专家注释器和众包工作者进行了比较。我们证明，目前最先进的LLM可以充分替代非专家众包工作者。我们使用各种提示和参数设置来分析模型，发现通过提供属于每个关系组的特定示例来自定义这些组的提示是至关重要的。此外，我们引入了一个可靠性指数（LLM RelIndex），用于识别可能需要专家关注的输出。最后，我们进行了大量的时间、成本和错误分析，并为在特定领域的设置中收集和使用自动注释提供了建议。

引言

相关工作

数据集

实验

结果