Human-Level and Beyond: Benchmarking Large Language Models Against Clinical Pharmacists in Prescr...

一、文章主要内容总结

该研究聚焦大型语言模型（LLMs）在处方审核场景的性能评估，核心围绕自主构建的基准测试集RxBench展开，具体内容如下：

1. 研究背景：用药错误是患者伤害和医疗成本增加的主要原因，75%以上的用药错误发生在处方开具或给药阶段，临床药师审核虽能提升用药安全性，但存在人力短缺、耗时久、依赖个人经验等局限，LLMs为处方审核提供了新的解决方案，但缺乏标准化评估框架。
2. RxBench基准构建：整合权威药学参考资料中的14类常见处方错误，包含1150道单选题、230道多选题和879道简答题，覆盖抗肿瘤药、高危药品、中药等多种处方类型，经资深临床药师审核验证，确保数据的临床代表性和科学性。
3. 实验设计：选取2024年11月至2025年5月发布的18个主流LLMs（涵盖OpenAI、Qwen、Gemini等系列），采用零样本评估范式，从准确率、F1分数、语义相似度等多维度评估模型在不同题型中的表现；同时招募27名不同级别临床药师（药师、副主任药师、主任药师）进行标准化测试，对比人机性能。此外，基于LoRA方法对中层模型Qwen3-32B进行领域微调，验证微调效果。
4. 核心结果：
   • 模型分层明显：Gemini2.5-pro-preview-05-06、Grok-4-0709、DeepSeek-R1-0528为第一梯队，在准确率和鲁棒性上显著优于其他模型；
   • 人机对比：顶尖LLMs在单选题（部分模型准确率超0.9）、多选题（F1分数超0.92）任务中