A Scalable and Adaptable Medical Domain Knowledge Injection Framework for Large Language Models

本文是LLM系列文章，针对《SA-MDKIF: A Scalable and Adaptable Medical Domain Knowledge
Injection Framework for Large Language Models》的翻译。

摘要

大型语言模型（LLM）的最新进展在各种自然语言处理（NLP）任务中表现出了卓越的性能。然而，由于缺乏医学领域的知识，它们在医学领域的有效应用受到了阻碍。在这项研究中，我们提出了SA-MDKIF，这是一个可扩展和适应性强的框架，旨在通过指令调整将医学知识注入通用LLM，从而实现对各种下游任务的适应性。SAMDKIF包括两个阶段：技能训练和技能适应。在第一阶段，我们定义了12项基本医疗技能，并使用AdaLoRA基于我们构建的统一格式的指令数据集来训练这些技能。在下一阶段，我们使用特定于任务的下游数据来训练技能路由器，并在推理过程中使用该路由器将所获得的技能与LLM集成。在9种不同医疗任务上的实验结果表明，与原始LLM相比，SA-MDKIF的性能提高了10-20%。值得注意的是，这种改善在看不见的医疗任务中尤为明显，显示出高达30%的改善。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在这项工作中，我们提出了一个可扩展和自适应的LLM医学领域知识注入框架（SA-MDKIF）。为此，我们首先设计了12种医疗技能，然后用第一阶段