《Development and Testing of a Novel Large Language Model-Based Clinical Decision Support Systems for Medication Safety in 12 Clinical Specialties》介绍了一种新的检索增强生成 (RAG) 框架的开发和评估,该框架利用大语言模型 (LLM) 作为临床决策支持系统 (CDSS),旨在提高 12 个临床专业的用药安全。这项研究通过与人类专家小组进行全面分析,评估了这种基于 LLM 的 CDSS 在识别用药错误方面的有效性,并比较了其在自主模式和辅助模式下的性能。
引言
用药错误是医疗保健领域的一个重大问题,会导致药物不良事件 (ADE),从而导致严重的患者伤害。世界卫生组织已将用药安全确定为全球优先事项,旨在显著减少可避免的药物相关伤害。传统的 CDSS 通常存在局限性,例如不相关的警报和缺乏情境意识,这促使人们需要利用先进人工智能技术的创新解决方案。
目标
本研究的主要目标是评估基于 RAG-LLM 的 CDSS 在各种临床场景中准确识别用药错误的有效性。该研究比较了两种集成模式:
全自主模式:基于 LLM 的 CDSS 独立运行。
协同模式:初级药剂师利用 LLM 作为辅助工具。
方法
1)设计和设置
该研究采用混合方法设计,使用了来自不同内科和外科专业的 23 个复杂临床案例中的 61 个处方错误场景。一个多学科专家小组使用 PCNE 分类系统评估了这些病例中的药物相关问题 (DRP),该系统根据问题的严重程度和潜在危害对问题进行分类。
2)参与者
该研究涉及初级药剂师和 LLM,特别是利用了最先进的模型,如 GPT-4、Gemini Pro 1.0 和 Med-PaLM 2。
结果
研究结果表明,在识别 DRP 方面,RAG-LLM 的表现明显优于传统的 LLM。在协同模式下,该系统在检测中度至重度 DRP 方面取得了更高的准确率、召回率和 F1 分数。然而,尽管在各个类别的准确率有所提高,但精确度却有所下降。
讨论
结果表明,将 LLM 集成到临床工作流程中可以通过为医疗专业人员提供及时且与情境相关的支持来显著提高用药安全。协同模式不仅增强了决策能力,还通过人工智能驱动的见解增强初级药剂师的知识,从而赋能他们。
局限性
尽管结果令人鼓舞,但本研究承认存在局限性,例如 LLM 训练数据中潜在的偏见以及需要在更广泛的临床环境中进行进一步验证。
结论
基于 RAG-LLM 的 CDSS 的开发代表了用药安全临床决策支持的重大进步。这项研究强调了人工智能技术通过改进错误检测和增强患者安全结果来改变医疗保健服务的潜力。未来的工作将集中于提高模型的准确性并将其应用扩展到更多专业。
欢迎关注“赛文AI药学”!
赛文AI药学,致力于探索人工智能在药学场景中的创新与应用,聚焦药师的AI赋能与专业素养提升。我们提供前沿的AI技术动态、实用的药学场景案例分享以及个性化学习资源,助力药师在智能化时代实现价值跃升。