BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models

本文是LLM系列文章，针对《BLADE: Enhancing Black-box Large Language Models with Small
Domain Specific Models》的翻译。

摘要

像ChatGPT和GPT-4这样的大型语言模型（LLM）是通用的，能够处理各种各样的任务。然而，基于开放领域数据开发的通用LLM可能缺乏垂直领域（如法律、医学等）任务所必需的特定领域知识。为了解决这个问题，以前的方法要么对特定领域的数据进行连续的预训练，要么采用检索增强来支持通用LLM。不幸的是，这些策略在实际应用中要么成本密集，要么不可靠。为此，我们提出了一个名为BLADE的新框架，该框架用小领域特定模型增强了黑箱LArge语言模型。BLADE由一个黑盒LLM和一个小型域特定LM组成。小型LM保留特定领域的知识并提供专业见解，而通用LLM则有助于增强语言理解和推理能力。具体而言，我们的方法包括三个步骤：1）用特定领域的数据预训练小LM，2）使用知识指令数据微调该模型，以及3）对通用LLM和小LM进行联合贝叶斯优化。在公共法律和医学基准上进行的广泛实验表明，BLADE显著优于现有方法。这表明了BLADE作为一种有效且经济高效的解决方案在将通用LLM应用于垂直域方面的潜力。

1 引言

2 相关工作

3 方法

4 实验

5 结论

本文提出了一种将通用大型语言模型应用于新领域的新框架BLADE。BLADE的核心是采用小型语言模型来吸收和不断更新特定领域的知识。该框架通过实现通用大型语言模型和小型领域特定模型之间的协作来解决问题。它包括三个主要阶段：特定领域的预训练、知识指令调整和贝叶斯提示优化。领域特定的预训练将