Expediting data extraction using a large language model (LLM) and scoping review protocol

文章主要内容总结

本文是一项方法学研究，旨在探索在复杂的范围审查（scoping review）中，利用大型语言模型（LLM，具体为Claude 3.5 Sonnet）和审查协议加速数据提取的可行性。研究通过两种基于范围审查协议的方法，从10个证据源中提取数据，并对其性能进行了评估，同时测试了LLM对人工提取数据的审查能力。

• 核心发现：

  • 提取简单、定义明确的数据（如引文细节）时，两种方法的准确率较高（分别为83.3%和100%）；但提取复杂、主观的数据（如关键发现中的实施原则、优势、劣势等）时，准确率显著降低（分别为9.6%和15.8%）。
  • 整体来看，两种方法的精确率（precision）均超过90%，但召回率（recall）低（<25%），F1分数（<40%），主要因数据遗漏和错误归因导致。
  • LLM用于审查人工提取的数据时，反馈有一定价值（如26.7%的引文细节修正和21.1%的关键发现补充被认为有价值），但检测故意引入的错误的能力较弱（仅5%的错误被发现）。

• 结论建议：基于审查协议的LLM数据提取方法需在更多LLM和审查场景中进行更严格的性能评估，且研究者在使用LLM进行数据提取或审查时，应评估并报告其性能。LLM反馈可辅助协议优化，或对未来审查协议的起草有帮助。

创新点

1. 首次探索了在复杂范围审查中，使用范围审查协议而非传统提示工程（prompt engi