OpenMedLM: Prompt engineering can out-perform fine-tuning in medical question-answering

本文是LLM系列文章，针对《OpenMedLM: Prompt engineering can out-perform fine-tuning in medical question-answering with open-source large language models》的翻译。

摘要

背景：LLM越来越有能力完成一系列专业任务，并可用于扩大公平获得医学知识的机会。大多数医学LLM都涉及广泛的微调，利用专门的医学数据和大量的计算能力，因此成本高昂。许多表现最好的LLM都是专有的，其访问权限仅限于极少数研究小组。然而，开源（OS）模型代表了医疗LLM的一个关键增长领域，因为其性能显著提高，并且具有提供医疗保健所需透明度和合规性的内在能力。在这里，我们介绍了OpenMedLM，这是一个提示平台，可在医疗基准上为操作系统LLM提供最先进的（SOTA）性能。
方法：我们在四个医学基准（MedQA、MedMCQA、PubMedQA、MMLU医学子集）上评估了一系列OS基础LLM（7B-70B）。Yi 34B在基线时表现最好，因此被用于开发OpenMedLM。我们采用了一系列提示策略，包括零样本、少搜索、思维链（随机选择和kNN选择）和集合/自主投票。
结果：通过一系列稳健的提示工程技术，我们发现OpenMedLM在三个常见的医学LLM基准上提供了OS SOTA结果，超过了以前使用计算成本高昂的广泛微调的性能最好的OS模型。OpenMedLM显示了迄今为止的第一个结果，证明了OS基础模型在没有专门微调的情况下显著优化性能的能力。该模型在MedQA基准上的准确率为72.6%，比之前的SOTA高出2.4%，在MMLU医学子集上的准确度为81.7%，成为第一个在该基准上超过80%准确度的OS LLM。
结论：我们的研究结果突出了OS LLM的医疗特定紧急特性，这些特性迄今为止尚未在其他地方得到记录，并展示了进一步利用提示工程来提高医疗