HIVMedQA: Benchmarking large language models for HIV medical decision support

文章主要内容和创新点

主要内容

本文聚焦大型语言模型（LLMs）在HIV医疗决策支持中的应用，通过开发HIVMedQA基准评估其性能。研究团队构建了包含HIV相关问题的数据集（经传染病医生验证），评估了10个模型（7个通用LLM和3个医疗专用LLM），采用提示工程优化性能，并结合词汇相似性和“LLM-as-a-judge”（MedGPT评分）等方法，从问题理解、推理能力、知识回忆、偏见、潜在危害和事实准确性等维度进行评估。

结果显示：

• Gemini 2.5 Pro在多数维度中表现最佳，前两名模型多为专有模型；
• 随着临床问题复杂度提升，仅少数LLM能保持强性能；
• 医疗微调模型未必优于通用模型，模型大小并非性能的可靠预测指标；
• 推理和理解对LLM的挑战大于知识回忆，模型易受近因、频率、现状等认知偏见影响；
• “LLM-as-a-judge”比传统词汇匹配更能有效捕捉临床准确性。

创新点

1. 构建专业基准：开发HIVMedQA基准，专门针对HIV患者管理的开放式医疗问答，由跨学科团队（含医生和AI研究者）设计，涵盖不同复杂度和认知偏见场景，填补了HIV领域LLM评估的空白。
2. 扩展评估方法：结合词汇相似性（优化同义词和词形还原的MedSynF1）和“LLM-as-a-judge”（MedGPT评分），更精准捕捉医疗领域的细微差别（如临床推理、潜在