BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models

本文是LLM系列文章，针对《BLADE: Enhancing Black-box Large Language Models with Small
Domain Specific Models》的翻译。

摘要

像ChatGPT和GPT-4这样的大型语言模型（LLM）是通用的，能够处理各种各样的任务。然而，基于开放领域数据开发的通用LLM可能缺乏垂直领域（如法律、医学等）任务所必需的特定领域知识。为了解决这个问题，以前的方法要么对特定领域的数据进行连续的预训练，要么采用检索增强来支持通用LLM。不幸的是，这些策略在实际应用中要么成本密集，要么不可靠。为此，我们提出了一个名为BLADE的新框架，该框架用小领域特定模型增强了黑箱LArge语言模型。BLADE由一个黑盒LLM和一个小型域特定LM组成。小型LM保留特定领域的知识并提供专业见解，而通用LLM则有助于增强语言理解和推理能力。具体而言，我们的方法包括三个步骤：1）用特定领域的数据预训练小LM，2）使用知识指令数据微调该模型，以及3）对通用LLM和小LM进行联合贝叶斯优化。在公共法律和医学基准上进行的广泛实验表明，BLADE显著优于现有方法。这表明了BLADE作为一种有效且经济高效的解决方案在将通用LLM应用于垂直域方面的潜力。

1 引言

<