Root Cause Analysis of Radiation Oncology Incidents Using Large Language Models

文章总结与翻译

一、文章主要内容

该研究聚焦大型语言模型（LLMs）在放射肿瘤学事件根本原因分析（RCA）中的应用，旨在评估其推理能力及对患者安全工作的支持潜力。

1. 研究方法

• 数据来源：采用2025年5月前放射肿瘤学事件学习系统（RO-ILS）公开的19个案例，案例包含背景与事件概述、根本原因及影响因素、经验教训、建议与措施等部分，作为评估“基准事实”。
• 模型选择：测试4个主流LLMs，即Gemini 2.5 Pro（谷歌）、GPT-4o（OpenAI）、o3（OpenAI）、Grok 3（Grok）。
• 提示策略：依据美国医学物理学家协会（AAPM）RCA指南设计标准化提示，要求模型基于案例“背景与事件概述”生成时间序列、因果图、因果陈述，以及经验教训和建议措施。
• 评估体系：结合客观、半主观与主观评估。客观层面用Sentence Transformers计算余弦相似度；半主观层面由5名持证医学物理学家评估精确率、召回率、F1分数、准确率、幻觉率及相关性等指标；主观层面由物理学家对模型推理质量和整体表现打分，同时用Friedman检验分析模型性能差异的统计学意义（p<0.05为显著）。

2. 核心结果

• 客观指标：GPT-4o整体文本余弦相似度最高（0.83