Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine

本文是LLM系列文章，针对《Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine》的翻译。

摘要

GPT-4等广义基础模型在各种领域和任务中显示出令人惊讶的能力。然而，有一种普遍的假设是，如果没有对具有专业知识的模型进行深入训练，它们就无法与专业能力相匹配。例如，迄今为止，大多数关于医疗能力基准的探索都利用了特定领域的训练，例如BioGPT和Med-PaLM的努力。我们建立在先前对GPT-4在没有特殊训练的情况下的医学挑战基准方面的专业能力的研究基础上。与有意使用简单提示来突出模型的开箱即用功能不同，我们对提示工程进行了系统的探索，以提高性能。我们发现，促进创新可以释放更深层次的专家能力，并表明GPT-4在医学问答数据集方面轻松超过先前的领先结果。我们探索的提示工程方法是通用的，不具体使用领域专业知识，不需要专家策划的内容。我们的实验设计在快速的工程过程中仔细控制过拟合。作为研究的高潮，我们介绍了Medprompt，基于几种提示策略的组合。Medprompt大大增强了GPT-4的性能，并在MultiMedQA套件中的所有九个基准数据集上实现了最先进的结果。该方法大大优于最先进的专家模型，如Med PaLM 2，对该模型的调用减少了一个数量级。与迄今为止使用专业模型实现的最佳方法相比，使用Medprompt指导GPT-4在MedQA数据集（USMLE考试）上的错误率降低了27%，并首次超过90%的分数。超越医学挑战问题，我们通过对电气工程、机器学习、哲学、会计、法律、护理和临床心理学能力考试策略的研究，展示了Medprompt推广到其他领域的能力，并为该方法的广泛适用性提供了证据。

1 引言

2 背景

3 实验设计