HealthQA-BR: A System-Wide Benchmark Reveals Critical Knowledge Gaps in Large Language Models

文章主要内容和创新点

主要内容

本文针对现有大型语言模型（LLMs）医疗领域评估中存在的“以医生为中心”“英语主导”等局限，提出了首个大规模、系统级的葡萄牙语医疗基准数据集HealthQA-BR。该数据集包含5,632个问题，来源于巴西国家执照考试（Revalida）和住院医师考试（Enare），覆盖医学及其亚专科、护理、牙科、心理学、社会工作等多个医疗相关职业。

研究对20多个主流LLMs进行了零样本评估，结果显示：

• 顶级模型（如GPT 4.1）整体准确率较高（86.6%），但存在显著的“尖峰”知识分布——在眼科（98.7%）等领域表现接近完美，而在神经外科（60.0%）、社会工作（68.4%）等领域仅勉强达标；
• 所有模型均存在跨专业的知识缺口，单一准确率分数会掩盖关键缺陷；
• 公开HealthQA-BR数据集及评估工具，旨在推动LLMs评估从“单一分数”转向“细粒度专业审计”，促进AI在医疗团队中的安全应用。

创新点

1. 首个系统级葡萄牙语医疗基准：突破现有以医生和英语为中心的局限，涵盖医学、护理、社会工作等多职业，反映真实医疗系统的跨专业协作特性。
2. 细粒度专业级分析：通过对5,632个问题的分类标注，实现对LLMs在30多个医疗亚专科的精准评估，揭示“尖峰”知识分布这一系统性问题。
3. 揭示跨模型共性缺陷：发现所有LLMs