Exploring the use of a Large Language Model for data extraction in systematic reviews

本文是LLM系列文章，针对《Exploring the use of a Large Language Model for data extraction in systematic reviews: a rapid feasibility study》的翻译。

摘要

本文描述了使用大型语言模型 (LLM) GPT-4 在系统评价中（半）自动化数据提取的快速可行性研究。尽管最近人们对LLM的兴趣激增，但对于如何设计基于LLM的自动化工具以及如何稳健地评估其性能仍然缺乏了解。
在 2023 年证据合成黑客马拉松期间，我们进行了两项可行性研究。首先，从人类临床、动物和社会科学领域研究中自动提取研究特征。我们使用每个类别的两项研究来进行快速开发；和十个用于评估。其次，我们使用 LLM 来预测 EBM-NLP 数据集中 100 个摘要内标记的参与者、干预、控制和结果 (PICO)。
总体而言，结果表明准确度约为 80%，不同领域之间存在一定差异（人类临床为 82%，动物为 80%，人类社会科学研究为 72%）。因果推理方法和研究设计是错误最多的数据提取项目。在 PICO 研究中，参与者和干预/对照显示出较高的准确性（>80%），结果更具挑战性。评估是手动完成的； BLEU 和 ROUGE 等评分方法的价值有限。我们观察到LLM预测的可变性和响应质量的变化。
本文提出了一个模板，用于在系统审查自动化的数据提取背景下对LLM进行未来评估。我们的结果表明，使用LLM可能有价值，例如作为第二或第三审稿人。但是，在将 GPT-4 等模型集成到工具中时，建议谨慎。对于LLM处理的每种类型的数据，有必要对实际环境中的稳定性和可靠性进行进一步研究。

1 引言

2 方法

3 数据

4 Prompt开发

<