Expediting data extraction using a large language model (LLM) and scoping review protocol

文章主要内容总结

本文是一项方法学研究，探索在复杂范围审查（scoping review）中使用大型语言模型（LLM，具体为Claude 3.5 Sonnet）加速数据提取的可行性。研究以10个证据源为样本，测试了两种基于审查协议的LLM数据提取方法，并评估其表现，同时探索了LLM对人工提取数据的审查效果。

主要发现包括：

1. 数据提取表现：提取简单、定义明确的引用信息（如作者、年份、标题）时，两种方法准确率较高（83.3%和100%）；但提取复杂、主观的数据项（如政策实施原则、优缺点等）时，准确率显著降低（9.6%和15.8%）。整体而言，两种方法的精确率均>90%，但召回率<25%，F1分数<40%。
2. LLM审查效果：LLM对人工提取数据的反馈中，仅26.7%的引用信息修正和21.1%的关键发现补充被认为有价值；在含故意错误的数据集上，仅检测出5%的错误。
3. 局限性与建议：复杂审查场景、开放式响应类型和方法学设计影响了LLM表现。研究建议需在更多LLM和审查场景中进行更严格的性能评估，并建议研究者使用LLM时需评估并报告其表现。

创新点

1. 首次探索使用范围审查协议（而非传统的提示工程）作为LLM的提示词，以加速数据提取，而非优化提取性能。
2. 同时评估了LLM在数据提取和审查人工提取数据两方面的表现，尤其关注复杂、主观数据项的处理能力。
3. 发现LLM反馈可辅助审查协议的调整，为未来协议起草提供参