Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions

本文是LLM系列文章，针对《Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions》的翻译。

摘要

LLM在回答医学问题方面表现出色，例如通过医学执照考试。然而，医学委员会考试问题或一般临床问题并不能反映现实临床病例的复杂性。此外，缺乏参考解释意味着我们无法轻易评估模型决策的推理，这是支持医生做出复杂医疗决策的关键组成部分。为了应对这些挑战，我们构建了两个新的数据集：《美国医学会杂志》临床挑战和Medbullets。1《美国医学会刊》临床挑战包括基于具有挑战性的临床病例的问题，而Medbullets包括USMLE第2步和第3步式的临床问题。这两个数据集都被构造为多项选择题回答任务，其中每个问题都附有专家的书面解释。我们使用各种提示在两个数据集上评估四个LLM。实验表明，我们的数据集比以前的基准测试更难。模型生成解释的自动评估和人工评估之间的不一致突出了开发新指标的必要性，以支持未来对可解释医疗QA的研究。

1 引言

2 数据集

3 实验设置

4 结果和讨论

5 相关工作

6 结论

我们介绍了两个具有挑战性的医学问答数据集，JAMA Clinical Challenge和Medbullets，它们分别由真实世界的临床问题和最近的USMLE Step 2/3类型的问题组成。我们使用不同的提示策略在两个数据集上测试了四个LLM——GPT-3.5、GPT-4、PaLM 2和Llama 2。我们发现，这些数据集对LLM来说更难，并且产生更低的分数。由于这些更能