Automating Adjudication of Cardiovascular Events Using Large Language Models

主要内容总结

本文提出了一种基于大型语言模型（LLMs）的自动化框架，用于临床心血管事件（如心脏病、中风）的裁决。该框架分为两个阶段：

1. 信息提取阶段：使用LLM从非结构化临床文档（如电子健康记录、医生笔记）中提取关键事件信息（如诊断、手术、药物、时间戳）。
2. 裁决阶段：结合Tree of Thoughts（ToT）方法和临床终点委员会（CEC）指南，通过多步骤推理路径对事件进行分类（心血管或非心血管）。

研究结果表明，信息提取的F1分数为0.82，裁决准确率为0.68。此外，作者提出了CLEART评分，一种评估AI临床推理质量的新指标，综合考量逻辑一致性、指南遵循性等六个维度。

创新点

1. 两阶段框架：首次将LLMs与ToT方法结合，实现从信息提取到复杂裁决的全流程自动化。
2. CLEART评分：提出首个针对AI临床推理质量的量化评估体系，解决传统指标无法衡量推理过程的局限性。
3. 多准则融合：在裁决阶段严格遵循CEC指南，通过动态推理路径模拟人类专家的多维度