Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine

最新推荐文章于 2025-11-25 12:11:01 发布

UnknownBody

最新推荐文章于 2025-11-25 12:11:01 发布

阅读量479

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能深度学习算法

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134734721

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

研究发现，通过提示工程，GPT-4在未进行医疗领域微调的情况下，其在医学问答数据集上的性能超越了专业模型Med PaLM 2，错误率降低27%，并在多个基准数据集上取得最佳结果。Medprompt是一种提示策略，它提高了GPT-4在医学及其他领域的能力，如电气工程、机器学习等。

本文是LLM系列文章，针对《Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine》的翻译。

摘要

GPT-4等广义基础模型在各种领域和任务中显示出令人惊讶的能力。然而，有一种普遍的假设是，如果没有对具有专业知识的模型进行深入训练，它们就无法与专业能力相匹配。例如，迄今为止，大多数关于医疗能力基准的探索都利用了特定领域的训练，例如BioGPT和Med-PaLM的努力。我们建立在先前对GPT-4在没有特殊训练的情况下的医学挑战基准方面的专业能力的研究基础上。与有意使用简单提示来突出模型的开箱即用功能不同，我们对提示工程进行了系统的探索，以提高性能。我们发现，促进创新可以释放更深层次的专家能力，并表明GPT-4在医学问答数据集方面轻松超过先前的领先结果。我们探索的提示工程方法是通用的，不具体使用领域专业知识，不需要专家策划的内容。我们的实验设计在快速的工程过程中仔细控制过拟合。作为研究的高潮，我们介绍了Medprompt，基于几种提示策略的组合。Medprompt大大增强了GPT-4的性能，并在MultiMedQA套件中的所有九个基准数据集上实现了最先进的结果。该方法大大优于最先进的专家模型，如Med PaLM 2，对该模型的调用减少了一个数量级。与迄今为止使用专业模型实现的最佳方法相比，使用Medprompt指导GPT-4在MedQA数据集（USMLE考试）上的错误率降低了27%，并首次超过90%的分数。超越医学挑战问题，我们通过对电气工程、机器学习、哲学、会计、法律、护理和临床心理学能力考试策略的研究，展示了Medprompt推广到其他领域的能力，并为该方法的广泛适用性提供了证据。